Amazon ha anunciado nuevas capacidades de preparación de datos con IA para SageMaker AI. Apuntan a la parte más lenta del trabajo con modelos a medida: dejar en condiciones los datos de entrenamiento y evaluación. Están disponibles de forma general en US East (N. Virginia) y US West (Oregon).
Qué se ha añadido
La novedad es un conjunto de piezas independientes que se pueden usar por separado o encadenar:
- Etiquetado automático. Etiqueta un conjunto de datos partiendo de filas sin etiquetar, de una pequeña muestra ya etiquetada o de cero. Incluye tipos de tarea ya preparados, como clasificar elementos en categorías, extraer entidades con nombre, responder preguntas localizando fragmentos dentro de un texto, asignar valoraciones ordenadas y resumir contenido. También se pueden definir tareas a medida. Una especificación de etiquetado breve se valida con vuestros propios ejemplos antes de lanzar la ejecución completa. En las tareas con respuestas cerradas, varios modelos etiquetan cada fila y el grado de acuerdo entre ellos se convierte en una puntuación de confianza.
- Revisión humana. Las filas que quedan por debajo del umbral de confianza que fijéis pasan a una cola en SageMaker Studio, construida sobre Label Studio Community Edition, de código abierto. Expertos externos pueden acceder mediante un enlace y sus correcciones alimentan la siguiente pasada de etiquetado.
- Generación de datos sintéticos. Produce datos de entrenamiento, evaluación y prueba a partir de una especificación, apoyándose en vuestros datos semilla y documentos. El servicio escribe un flujo de trabajo en código que podéis leer, modificar y reutilizar.
- Evaluación de la calidad de los datos. Contrasta un conjunto de datos con vuestras reglas de negocio, con métricas integradas y con métricas basadas en un LLM como juez. Señala duplicados, casi duplicados, ruido en las etiquetas y filtraciones de respuestas.
- Transformación de datos. Limpia y reformatea los datos para el método de entrenamiento elegido, como SFT, DPO o aprendizaje por refuerzo. Se hace con instrucciones en lenguaje natural, con operaciones integradas (deduplicar, combinar, dividir, filtrar) o con vuestro propio código Python.
Cómo se usa
Se puede llamar directamente al SDK de Python de SageMaker, o bien darle a un agente de código la habilidad AI-ML para que elija y ejecute las capacidades en SageMaker Studio JupyterLab, Kiro o un IDE local. El SDK recibe una especificación como entrada y AWS recomienda redactarla primero con ayuda del agente.
AWS describe un ejemplo para equipos de soporte: se aporta una guía de producto, se piden preguntas con respuestas de referencia y se exige que las respuestas sobre un restablecimiento de fábrica mantengan el aviso de que se borran los ajustes guardados. El equipo genera una muestra pequeña, la compara con la guía, ejecuta una evaluación de calidad, hace que un experto revise las filas ambiguas y repite hasta que el conjunto sirve para probar un asistente.
Control y ubicación de los datos
El servicio funciona con un rol de ejecución de IAM que controláis vosotros. Los datos de origen, los conjuntos generados y las etiquetas permanecen en vuestros propios buckets de S3, en la región que elijáis.
Splunk es el único cliente mencionado. Un director de ingeniería de su producto Agent Observability afirma que la generación sintética le ayuda a escalar los modelos de evaluación y a obtener rápidamente conjuntos de datos representativos. Es un testimonio aportado por el proveedor y la fuente no da cifras de velocidad ni de precisión.
Lo que la fuente no dice
El anuncio no da precios ni plazos para más regiones, así que el coste y una disponibilidad más amplia siguen sin confirmar.