Saltar al contenido

AWS suma herramientas de preparación de datos a SageMaker AI

Respuesta corta

AWS ha incorporado a SageMaker AI la preparación de datos con IA: generación de datos sintéticos, etiquetado automático con un jurado de modelos, revisión humana, controles de calidad y conversión de formatos. Se usan desde el SDK de Python o con un agente de código. Están disponibles en US East (N. Virginia) y US West (Oregon).

Qué significa para las operaciones

La mayoría de las empresas B2B de 10 a 200 personas nunca harán fine-tuning de un modelo, así que esto interesa sobre todo si tenéis a alguien de datos en AWS o un consultor que trabaje sobre esa plataforma. El uso práctico es un conjunto de evaluación para un asistente de soporte o ventas: redactad las reglas que debe cumplir el bot, generad preguntas de prueba con respuestas de referencia a partir de vuestros propios documentos, pedid a un experto de la materia que corrija las filas dudosas y volved a pasar el conjunto tras cada cambio de prompt o de modelo. Comprobad antes que vuestros datos pueden estar en US East o US West, porque son las únicas regiones que aparecen en el anuncio.

Amazon ha anunciado nuevas capacidades de preparación de datos con IA para SageMaker AI. Apuntan a la parte más lenta del trabajo con modelos a medida: dejar en condiciones los datos de entrenamiento y evaluación. Están disponibles de forma general en US East (N. Virginia) y US West (Oregon).

Qué se ha añadido

La novedad es un conjunto de piezas independientes que se pueden usar por separado o encadenar:

  • Etiquetado automático. Etiqueta un conjunto de datos partiendo de filas sin etiquetar, de una pequeña muestra ya etiquetada o de cero. Incluye tipos de tarea ya preparados, como clasificar elementos en categorías, extraer entidades con nombre, responder preguntas localizando fragmentos dentro de un texto, asignar valoraciones ordenadas y resumir contenido. También se pueden definir tareas a medida. Una especificación de etiquetado breve se valida con vuestros propios ejemplos antes de lanzar la ejecución completa. En las tareas con respuestas cerradas, varios modelos etiquetan cada fila y el grado de acuerdo entre ellos se convierte en una puntuación de confianza.
  • Revisión humana. Las filas que quedan por debajo del umbral de confianza que fijéis pasan a una cola en SageMaker Studio, construida sobre Label Studio Community Edition, de código abierto. Expertos externos pueden acceder mediante un enlace y sus correcciones alimentan la siguiente pasada de etiquetado.
  • Generación de datos sintéticos. Produce datos de entrenamiento, evaluación y prueba a partir de una especificación, apoyándose en vuestros datos semilla y documentos. El servicio escribe un flujo de trabajo en código que podéis leer, modificar y reutilizar.
  • Evaluación de la calidad de los datos. Contrasta un conjunto de datos con vuestras reglas de negocio, con métricas integradas y con métricas basadas en un LLM como juez. Señala duplicados, casi duplicados, ruido en las etiquetas y filtraciones de respuestas.
  • Transformación de datos. Limpia y reformatea los datos para el método de entrenamiento elegido, como SFT, DPO o aprendizaje por refuerzo. Se hace con instrucciones en lenguaje natural, con operaciones integradas (deduplicar, combinar, dividir, filtrar) o con vuestro propio código Python.

Cómo se usa

Se puede llamar directamente al SDK de Python de SageMaker, o bien darle a un agente de código la habilidad AI-ML para que elija y ejecute las capacidades en SageMaker Studio JupyterLab, Kiro o un IDE local. El SDK recibe una especificación como entrada y AWS recomienda redactarla primero con ayuda del agente.

AWS describe un ejemplo para equipos de soporte: se aporta una guía de producto, se piden preguntas con respuestas de referencia y se exige que las respuestas sobre un restablecimiento de fábrica mantengan el aviso de que se borran los ajustes guardados. El equipo genera una muestra pequeña, la compara con la guía, ejecuta una evaluación de calidad, hace que un experto revise las filas ambiguas y repite hasta que el conjunto sirve para probar un asistente.

Control y ubicación de los datos

El servicio funciona con un rol de ejecución de IAM que controláis vosotros. Los datos de origen, los conjuntos generados y las etiquetas permanecen en vuestros propios buckets de S3, en la región que elijáis.

Splunk es el único cliente mencionado. Un director de ingeniería de su producto Agent Observability afirma que la generación sintética le ayuda a escalar los modelos de evaluación y a obtener rápidamente conjuntos de datos representativos. Es un testimonio aportado por el proveedor y la fuente no da cifras de velocidad ni de precisión.

Lo que la fuente no dice

El anuncio no da precios ni plazos para más regiones, así que el coste y una disponibilidad más amplia siguen sin confirmar.

Fuente: AWS Machine Learning Blog

Las herramientas de esta noticia

  • Kiro - precio, quién la usa, alternativas
Siguiente paso

Visibility Analyzer

Una noticia sobre IA no dice cómo los asistentes ven tu sitio. El Visibility Analyzer lo comprueba en el sitio real: qué respuestas te citan, qué páginas el motor no puede recuperar y qué arreglar primero. Ejecutarlo es gratis.

Lanzar una auditoría de visibilidad gratuita

Lanzarlo es gratis. Sin tarjeta.

Precio
Gratis
Duración
Una ejecución, minutos

Plan gratuito: dos análisis al día, sin tarjeta.