AWS добавила полное дообучение (full fine-tuning, FFT) в Amazon SageMaker AI Serverless Model Customization - об этом сообщается в блоге AWS Machine Learning. Раньше сервис работал с LoRA - более лёгким методом, при котором обучаются небольшие дополнительные матрицы. FFT обновляет все веса модели. По словам AWS, пользователям не нужно выделять GPU, поднимать кластеры или настраивать распределённое обучение. Цены и даты запуска в публикации нет.
Что проверяла AWS
Эксперименты шли на supervised fine-tuning базовой модели Qwen3-4B с датасетом Magicoder-Evol-Instruct-110K: 110 000 пар «инструкция - код». AWS разделила его на 99 000 обучающих записей, 5 500 для валидации и 5 500 для финального теста. Оба метода получили одинаковые промпты, эталонные ответы и код оценки. Авторы добавляют, что также запускали эксперименты на DeepSeek-R1-1.5B, Nemotron-30B и Gemma-4-26B. Каждый запуск занимал несколько часов от отправки задачи до результатов, а готовые модели автоматически регистрировались в SageMaker Model Registry.
При 100 тысячах и более обучающих примеров FFT набрал 90,0 процента по оценке корректности генерации кода LLM-as-Judge. AWS сообщает, что отрыв от LoRA растёт вместе с датасетом: на сложных задачах LoRA упирается в потолок, который дополнительные обучаемые параметры не снимают. Это собственные результаты AWS на одной задаче с кодом, поэтому о текстах для поддержки или продаж они говорят мало.
Где метод подводит
Авторы открыто пишут о минусах:
- FFT выигрывает не всегда. В одном сравнении LoRA получил 81,5 процента по LLM-as-Judge, а FFT - 79,5 процента.
- По точному совпадению на MATH оба метода оказались ниже базовой модели.
- Learning rate 5e-5 и выше разрушал модель: результат на MATH падал до 2-3 процентов, а точность на MMLU - до 3,6 процента. AWS называет это катастрофическим забыванием.
- Больше трёх эпох ухудшали все протестированные варианты, хотя training loss продолжал снижаться.
Лучше всего общие знания, измеренные по MMLU, сохранила конфигурация с 5-процентным прогревом (warmup), размером батча 8 и learning rate 2e-5. AWS предлагает эти значения как отправную точку, потому что хорошие параметры зависят от задачи.
Как начать
Задачу запускают через SageMaker Python SDK. Чтобы переключиться между FFT и LoRA, достаточно изменить один параметр типа обучения в тренере, остальной код остаётся прежним. Встроенная оценка включает LLM-as-Judge, метрику сходства кода PRIMECODE и MMLU для проверки забытых общих знаний. Список базовых моделей, которые поддерживают FFT, публикация отсылает искать в документации AWS.