Перейти к содержимому

В SageMaker появилось полное дообучение моделей

Короткий ответ

Amazon SageMaker AI Serverless Model Customization теперь поддерживает полное дообучение: оно обновляет все веса модели. В собственных тестах AWS на задаче с кодом метод обходит LoRA, когда обучающих примеров больше 100 тысяч. Те же тесты показывают: при завышенных learning rate или числе эпох модель теряет общие знания.

Что это значит для операций

Большинству B2B-компаний на 10-200 человек это не понадобится: если ассистент для поддержки или продаж работает на нескольких тысячах примеров, разумным выбором по умолчанию остаётся LoRA, а преимущества полного дообучения на таком масштабе источник не показывает. Тема становится актуальной, если у вас есть большой чистый архив тикетов, саммари звонков или структурированных ответов и вы хотите, чтобы небольшая специализированная модель заменила более дорогую универсальную. Прежде чем вкладываться, прогоните оба метода на собственной отложенной выборке: по данным AWS, переключиться между ними можно одной строкой. И добавьте проверку общих знаний: модель, которая стала лучше на вашей задаче, может незаметно ухудшиться во всём остальном.

AWS добавила полное дообучение (full fine-tuning, FFT) в Amazon SageMaker AI Serverless Model Customization - об этом сообщается в блоге AWS Machine Learning. Раньше сервис работал с LoRA - более лёгким методом, при котором обучаются небольшие дополнительные матрицы. FFT обновляет все веса модели. По словам AWS, пользователям не нужно выделять GPU, поднимать кластеры или настраивать распределённое обучение. Цены и даты запуска в публикации нет.

Что проверяла AWS

Эксперименты шли на supervised fine-tuning базовой модели Qwen3-4B с датасетом Magicoder-Evol-Instruct-110K: 110 000 пар «инструкция - код». AWS разделила его на 99 000 обучающих записей, 5 500 для валидации и 5 500 для финального теста. Оба метода получили одинаковые промпты, эталонные ответы и код оценки. Авторы добавляют, что также запускали эксперименты на DeepSeek-R1-1.5B, Nemotron-30B и Gemma-4-26B. Каждый запуск занимал несколько часов от отправки задачи до результатов, а готовые модели автоматически регистрировались в SageMaker Model Registry.

При 100 тысячах и более обучающих примеров FFT набрал 90,0 процента по оценке корректности генерации кода LLM-as-Judge. AWS сообщает, что отрыв от LoRA растёт вместе с датасетом: на сложных задачах LoRA упирается в потолок, который дополнительные обучаемые параметры не снимают. Это собственные результаты AWS на одной задаче с кодом, поэтому о текстах для поддержки или продаж они говорят мало.

Где метод подводит

Авторы открыто пишут о минусах:

  • FFT выигрывает не всегда. В одном сравнении LoRA получил 81,5 процента по LLM-as-Judge, а FFT - 79,5 процента.
  • По точному совпадению на MATH оба метода оказались ниже базовой модели.
  • Learning rate 5e-5 и выше разрушал модель: результат на MATH падал до 2-3 процентов, а точность на MMLU - до 3,6 процента. AWS называет это катастрофическим забыванием.
  • Больше трёх эпох ухудшали все протестированные варианты, хотя training loss продолжал снижаться.

Лучше всего общие знания, измеренные по MMLU, сохранила конфигурация с 5-процентным прогревом (warmup), размером батча 8 и learning rate 2e-5. AWS предлагает эти значения как отправную точку, потому что хорошие параметры зависят от задачи.

Как начать

Задачу запускают через SageMaker Python SDK. Чтобы переключиться между FFT и LoRA, достаточно изменить один параметр типа обучения в тренере, остальной код остаётся прежним. Встроенная оценка включает LLM-as-Judge, метрику сходства кода PRIMECODE и MMLU для проверки забытых общих знаний. Список базовых моделей, которые поддерживают FFT, публикация отсылает искать в документации AWS.

Источник: AWS Machine Learning Blog

Следующий шаг

Visibility Analyzer

Новость об ИИ не скажет, как ассистенты видят ваш сайт. Это проверяет Visibility Analyzer на живом сайте: в каких ответах вас цитируют, до каких страниц ассистенты не добираются и что чинить первым. Запуск бесплатный.

Запустить бесплатный аудит видимости

Запуск бесплатный, карта не нужна.

Стоимость
Бесплатно
Срок
Один прогон, минуты

Бесплатный тариф: два анализа в день, без карты.

Ещё по теме