Ir para o conteúdo

AWS lança ferramentas de preparação de dados no SageMaker AI

Resposta curta

A AWS incluiu preparação de dados com IA no SageMaker AI: geração de dados sintéticos, rotulagem automática com um júri de modelos, revisão humana, checagens de qualidade e conversão de formato. Dá para chamar tudo pelo SDK Python ou por um agente de código. Já estão em disponibilidade geral em US East (N. Virginia) e US West (Oregon).

O que isso significa na operação

A maioria das empresas B2B de 10 a 200 pessoas nunca vai fazer fine-tuning de modelo, então isso interessa sobretudo a quem tem um profissional de dados na AWS ou um consultor que constrói em cima dela. O uso prático é montar um conjunto de avaliação para um assistente de suporte ou de vendas: escreva as regras que o bot deve seguir, gere perguntas de teste com respostas de referência a partir dos seus próprios documentos, peça a um especialista da área que corrija as linhas duvidosas e rode o conjunto de novo a cada mudança de prompt ou de modelo. Antes de tudo, confirme se seus dados podem ficar em US East ou US West, as únicas regiões listadas.

A Amazon anunciou novos recursos de preparação de dados com IA para o SageMaker AI, voltados à etapa mais demorada do trabalho com modelos customizados: deixar os dados de treino e de avaliação em ordem. Os recursos estão em disponibilidade geral em US East (N. Virginia) e US West (Oregon).

O que foi adicionado

O lançamento é um conjunto de blocos independentes, que podem ser usados isoladamente ou encadeados:

  • Rotulagem automática. Rotula um conjunto de dados a partir de linhas sem rótulo, de um pequeno conjunto inicial já rotulado ou até sem nenhum dos dois. O sistema traz vários tipos de tarefa prontos, como classificar itens em categorias, extrair entidades nomeadas, responder perguntas localizando trechos no texto, atribuir notas ordenadas e resumir conteúdo, e também permite criar tarefas sob medida. Uma especificação curta de rotulagem é validada com os seus exemplos antes da execução completa. Em tarefas com respostas de conjunto fechado, vários modelos rotulam cada linha, e o grau de concordância entre eles vira uma nota de confiança.
  • Revisão humana. As linhas abaixo do limite de confiança que você define vão para uma fila no SageMaker Studio, construída sobre o Label Studio Community Edition, de código aberto. Especialistas externos acessam por link, e as correções deles alimentam a rodada seguinte de rotulagem.
  • Geração de dados sintéticos. Produz dados de treino, avaliação e teste a partir de uma especificação, com base nos seus dados iniciais e documentos. O serviço escreve um pipeline em código que você pode ler, alterar e reaproveitar.
  • Avaliação de qualidade dos dados. Testa o conjunto contra as suas regras de negócio, métricas internas e métricas com LLM como juiz, e sinaliza duplicatas, quase duplicatas, ruído nos rótulos e vazamento de respostas.
  • Transformação de dados. Limpa e reorganiza os dados para o método de treino escolhido, como SFT, DPO ou aprendizado por reforço, por instruções em linguagem natural, operações prontas (deduplicar, mesclar, dividir, filtrar) ou Python próprio.

Como usar

É possível chamar o SDK Python do SageMaker diretamente ou entregar a um agente de código a skill AI-ML, para que ele escolha e execute os recursos no JupyterLab do SageMaker Studio, no Kiro ou em uma IDE local. O SDK recebe uma especificação como entrada, e a AWS recomenda esboçá-la antes com o agente.

A AWS descreve um exemplo para equipes de suporte: você envia um guia do produto, pede perguntas e respostas de referência e exige que as respostas sobre restaurar o aparelho de fábrica mantenham o aviso de que as configurações salvas serão apagadas. A equipe gera uma amostra pequena, confere com o guia, roda uma avaliação de qualidade, pede a um especialista que revise as linhas ambíguas e repete até o conjunto estar pronto para testar um assistente.

Controle e localização dos dados

O serviço roda sob uma função de execução do IAM controlada por você. Os dados de origem, os conjuntos gerados e os rótulos ficam nos seus próprios buckets do S3, na região que você escolher.

A Splunk é o único cliente citado. Um diretor de engenharia do produto Agent Observability da empresa diz que a geração sintética ajuda a escalar modelos de avaliação e produz conjuntos representativos com rapidez. É um depoimento fornecido pelo fornecedor, e a fonte não traz números de velocidade nem de precisão.

O que a fonte não informa

O anúncio não traz preços nem prazo para outras regiões, então custo e disponibilidade ampliada continuam sem confirmação.

Fonte: AWS Machine Learning Blog

As ferramentas desta notícia

  • Kiro - preço, quem usa, alternativas
Próximo passo

Visibility Analyzer

Uma notícia sobre IA não diz como os assistentes veem o seu site. O Visibility Analyzer verifica isso no site real: quais respostas citam você, quais páginas o motor não consegue recuperar e o que corrigir primeiro. Rodar é grátis.

Rodar uma auditoria de visibilidade grátis

Rodar é grátis. Sem cartão.

Preço
Grátis
Duração
Uma rodada, minutos

Plano grátis: duas análises por dia, sem cartão.