A Amazon anunciou novos recursos de preparação de dados com IA para o SageMaker AI, voltados à etapa mais demorada do trabalho com modelos customizados: deixar os dados de treino e de avaliação em ordem. Os recursos estão em disponibilidade geral em US East (N. Virginia) e US West (Oregon).
O que foi adicionado
O lançamento é um conjunto de blocos independentes, que podem ser usados isoladamente ou encadeados:
- Rotulagem automática. Rotula um conjunto de dados a partir de linhas sem rótulo, de um pequeno conjunto inicial já rotulado ou até sem nenhum dos dois. O sistema traz vários tipos de tarefa prontos, como classificar itens em categorias, extrair entidades nomeadas, responder perguntas localizando trechos no texto, atribuir notas ordenadas e resumir conteúdo, e também permite criar tarefas sob medida. Uma especificação curta de rotulagem é validada com os seus exemplos antes da execução completa. Em tarefas com respostas de conjunto fechado, vários modelos rotulam cada linha, e o grau de concordância entre eles vira uma nota de confiança.
- Revisão humana. As linhas abaixo do limite de confiança que você define vão para uma fila no SageMaker Studio, construída sobre o Label Studio Community Edition, de código aberto. Especialistas externos acessam por link, e as correções deles alimentam a rodada seguinte de rotulagem.
- Geração de dados sintéticos. Produz dados de treino, avaliação e teste a partir de uma especificação, com base nos seus dados iniciais e documentos. O serviço escreve um pipeline em código que você pode ler, alterar e reaproveitar.
- Avaliação de qualidade dos dados. Testa o conjunto contra as suas regras de negócio, métricas internas e métricas com LLM como juiz, e sinaliza duplicatas, quase duplicatas, ruído nos rótulos e vazamento de respostas.
- Transformação de dados. Limpa e reorganiza os dados para o método de treino escolhido, como SFT, DPO ou aprendizado por reforço, por instruções em linguagem natural, operações prontas (deduplicar, mesclar, dividir, filtrar) ou Python próprio.
Como usar
É possível chamar o SDK Python do SageMaker diretamente ou entregar a um agente de código a skill AI-ML, para que ele escolha e execute os recursos no JupyterLab do SageMaker Studio, no Kiro ou em uma IDE local. O SDK recebe uma especificação como entrada, e a AWS recomenda esboçá-la antes com o agente.
A AWS descreve um exemplo para equipes de suporte: você envia um guia do produto, pede perguntas e respostas de referência e exige que as respostas sobre restaurar o aparelho de fábrica mantenham o aviso de que as configurações salvas serão apagadas. A equipe gera uma amostra pequena, confere com o guia, roda uma avaliação de qualidade, pede a um especialista que revise as linhas ambíguas e repete até o conjunto estar pronto para testar um assistente.
Controle e localização dos dados
O serviço roda sob uma função de execução do IAM controlada por você. Os dados de origem, os conjuntos gerados e os rótulos ficam nos seus próprios buckets do S3, na região que você escolher.
A Splunk é o único cliente citado. Um diretor de engenharia do produto Agent Observability da empresa diz que a geração sintética ajuda a escalar modelos de avaliação e produz conjuntos representativos com rapidez. É um depoimento fornecido pelo fornecedor, e a fonte não traz números de velocidade nem de precisão.
O que a fonte não informa
O anúncio não traz preços nem prazo para outras regiões, então custo e disponibilidade ampliada continuam sem confirmação.