Ir para o conteúdo

SageMaker ganha full fine-tuning na personalização serverless

Resposta curta

O Amazon SageMaker AI Serverless Model Customization agora aceita full fine-tuning, que atualiza todos os pesos do modelo. Nos testes da própria AWS em uma tarefa de código, ele supera o LoRA quando os dados de treino passam de 100 mil exemplos. Os mesmos testes mostram que pode apagar conhecimento geral se a taxa de aprendizado ou as épocas forem altas demais.

O que isso significa na operação

A maioria das empresas B2B de 10 a 200 pessoas não vai precisar disso: se o seu assistente de suporte ou vendas funciona com alguns milhares de exemplos, o LoRA continua sendo o padrão sensato, e a fonte não relata vantagem do full fine-tuning nessa escala. O recurso passa a importar se você tem um arquivo grande e limpo de tickets, resumos de ligações ou saídas estruturadas e quer que um modelo pequeno e especializado substitua um modelo geral mais caro. Antes de decidir, rode os dois métodos no seu próprio conjunto de teste reservado, já que, nos testes da AWS, a troca entre eles é uma única linha de código. Inclua também uma checagem de conhecimento geral, porque um modelo que melhora na sua tarefa pode piorar em silêncio em todo o resto.

A AWS incluiu o full fine-tuning (FFT) no Amazon SageMaker AI Serverless Model Customization, segundo um post no AWS Machine Learning Blog. O serviço já oferecia o LoRA, um método mais leve que treina pequenas matrizes adicionais. O FFT, por sua vez, atualiza todos os pesos do modelo. A AWS afirma que o usuário não precisa provisionar GPUs, montar clusters nem configurar treinamento distribuído. O post não informa preço nem data de liberação.

O que a AWS testou

Os experimentos usaram supervised fine-tuning no modelo base Qwen3-4B, com o dataset Magicoder-Evol-Instruct-110K, de 110 mil pares de instruções de programação. A AWS dividiu os dados em 99 mil registros de treino, 5.500 de validação e 5.500 reservados para teste. Os dois métodos receberam os mesmos prompts, os mesmos alvos e o mesmo código de avaliação. O post acrescenta que a equipe também fez experimentos com DeepSeek-R1-1.5B, Nemotron-30B e Gemma-4-26B. Cada execução levou algumas horas entre o envio e o resultado, e os modelos finalizados foram registrados automaticamente no SageMaker Model Registry.

Com 100 mil exemplos ou mais, o FFT chegou a 90,0% na nota de correção LLM-as-Judge para geração de código. A AWS relata que a distância para o LoRA aumenta conforme o dataset cresce, e que o LoRA estaciona em um patamar em tarefas complexas, que mais parâmetros treináveis não resolvem. São resultados da própria AWS em uma única tarefa de programação, então dizem pouco sobre textos de suporte ao cliente ou de vendas.

Onde dá errado

O post é franco sobre os pontos fracos:

  • O FFT nem sempre vence. Em uma comparação, o LoRA fez 81,5% no LLM-as-Judge contra 79,5% do FFT.
  • Os dois métodos ficaram abaixo do modelo base na correspondência exata do MATH.
  • Taxas de aprendizado de 5e-5 ou mais foram destrutivas. As notas no MATH caíram para 2 a 3% e a acurácia no MMLU para 3,6%, o que a AWS chama de esquecimento catastrófico.
  • Passar de três épocas degradou todas as variantes testadas, embora a perda de treino continuasse melhorando.

A configuração que melhor preservou o conhecimento geral, medido no MMLU, usou 5% de warmup, batch size 8 e taxa de aprendizado de 2e-5. A AWS apresenta esses valores como ponto de partida, já que os bons valores variam conforme a tarefa.

Como começar

O job é disparado pelo SageMaker Python SDK. Para alternar entre FFT e LoRA, basta mudar uma configuração de tipo de treinamento no trainer, e o restante do código permanece igual. A avaliação integrada cobre o LLM-as-Judge, um avaliador de similaridade de código chamado PRIMECODE e o MMLU, usado para checar o conhecimento geral esquecido. O post remete à documentação da AWS para a lista de modelos base que aceitam FFT.

Fonte: AWS Machine Learning Blog

Próximo passo

Visibility Analyzer

Uma notícia sobre IA não diz como os assistentes veem o seu site. O Visibility Analyzer verifica isso no site real: quais respostas citam você, quais páginas o motor não consegue recuperar e o que corrigir primeiro. Rodar é grátis.

Rodar uma auditoria de visibilidade grátis

Rodar é grátis. Sem cartão.

Preço
Grátis
Duração
Uma rodada, minutos

Plano grátis: duas análises por dia, sem cartão.