A AWS incluiu o full fine-tuning (FFT) no Amazon SageMaker AI Serverless Model Customization, segundo um post no AWS Machine Learning Blog. O serviço já oferecia o LoRA, um método mais leve que treina pequenas matrizes adicionais. O FFT, por sua vez, atualiza todos os pesos do modelo. A AWS afirma que o usuário não precisa provisionar GPUs, montar clusters nem configurar treinamento distribuído. O post não informa preço nem data de liberação.
O que a AWS testou
Os experimentos usaram supervised fine-tuning no modelo base Qwen3-4B, com o dataset Magicoder-Evol-Instruct-110K, de 110 mil pares de instruções de programação. A AWS dividiu os dados em 99 mil registros de treino, 5.500 de validação e 5.500 reservados para teste. Os dois métodos receberam os mesmos prompts, os mesmos alvos e o mesmo código de avaliação. O post acrescenta que a equipe também fez experimentos com DeepSeek-R1-1.5B, Nemotron-30B e Gemma-4-26B. Cada execução levou algumas horas entre o envio e o resultado, e os modelos finalizados foram registrados automaticamente no SageMaker Model Registry.
Com 100 mil exemplos ou mais, o FFT chegou a 90,0% na nota de correção LLM-as-Judge para geração de código. A AWS relata que a distância para o LoRA aumenta conforme o dataset cresce, e que o LoRA estaciona em um patamar em tarefas complexas, que mais parâmetros treináveis não resolvem. São resultados da própria AWS em uma única tarefa de programação, então dizem pouco sobre textos de suporte ao cliente ou de vendas.
Onde dá errado
O post é franco sobre os pontos fracos:
- O FFT nem sempre vence. Em uma comparação, o LoRA fez 81,5% no LLM-as-Judge contra 79,5% do FFT.
- Os dois métodos ficaram abaixo do modelo base na correspondência exata do MATH.
- Taxas de aprendizado de 5e-5 ou mais foram destrutivas. As notas no MATH caíram para 2 a 3% e a acurácia no MMLU para 3,6%, o que a AWS chama de esquecimento catastrófico.
- Passar de três épocas degradou todas as variantes testadas, embora a perda de treino continuasse melhorando.
A configuração que melhor preservou o conhecimento geral, medido no MMLU, usou 5% de warmup, batch size 8 e taxa de aprendizado de 2e-5. A AWS apresenta esses valores como ponto de partida, já que os bons valores variam conforme a tarefa.
Como começar
O job é disparado pelo SageMaker Python SDK. Para alternar entre FFT e LoRA, basta mudar uma configuração de tipo de treinamento no trainer, e o restante do código permanece igual. A avaliação integrada cobre o LLM-as-Judge, um avaliador de similaridade de código chamado PRIMECODE e o MMLU, usado para checar o conhecimento geral esquecido. O post remete à documentação da AWS para a lista de modelos base que aceitam FFT.