Amazon анонсировала новые возможности подготовки данных для SageMaker AI. Они нацелены на самый медленный этап работы над собственными моделями: приведение обучающих и оценочных данных в порядок. Функции общедоступны в регионах US East (N. Virginia) и US West (Oregon).
Что добавили
Релиз состоит из самостоятельных блоков, которые можно использовать по отдельности или соединять в цепочку:
- Авторазметка. Размечает набор данных, даже если исходно есть только неразмеченные строки, небольшая размеченная выборка или вообще ничего. В системе есть готовые типы задач: раскладка объектов по категориям, извлечение именованных сущностей, ответы на вопросы через поиск фрагментов в тексте, порядковые оценки, сокращение содержимого. Можно создать и собственные задачи. Короткая спецификация разметки сначала проверяется на ваших примерах и только потом запускается на всём наборе. Для задач с фиксированным набором ответов каждую строку размечают несколько моделей, а степень их согласия становится оценкой уверенности.
- Ручная проверка. Строки с уверенностью ниже вашего порога попадают в очередь в SageMaker Studio, построенную на открытом Label Studio Community Edition. Внешние профильные эксперты заходят в неё по ссылке, а их правки учитываются при следующем проходе разметки.
- Генерация синтетических данных. Создаёт обучающие, оценочные и тестовые данные по спецификации, опираясь на ваши исходные примеры и документы. Сервис пишет конвейер в виде кода, который можно прочитать, изменить и использовать повторно.
- Оценка качества данных. Проверяет набор по вашим бизнес-правилам, встроенным метрикам и метрикам на основе LLM-судьи. Находит дубликаты, почти-дубликаты, шум в метках и утечку ответов.
- Преобразование данных. Очищает и перестраивает данные под выбранный метод обучения, например SFT, DPO или обучение с подкреплением. Для этого есть инструкции простым языком, встроенные операции (дедупликация, слияние, разбиение, фильтрация) и собственный Python-код.
Как этим пользоваться
Можно вызывать SageMaker Python SDK напрямую или дать кодовому агенту навык AI-ML, и он сам подберёт и запустит нужные функции в SageMaker Studio JupyterLab, Kiro или локальной IDE. SDK принимает на вход спецификацию, и AWS советует сначала набросать её вместе с агентом.
AWS приводит пример для команд поддержки. Вы загружаете руководство по продукту, просите сгенерировать вопросы с эталонными ответами и требуете, чтобы ответы про сброс к заводским настройкам сохраняли предупреждение о стирании сохранённых параметров. Команда генерирует небольшую выборку, сверяет её с руководством, запускает оценку качества, отдаёт неоднозначные строки эксперту и повторяет цикл, пока набор не будет готов для проверки ассистента.
Контроль и расположение данных
Сервис работает под ролью выполнения IAM, которую вы контролируете. Исходные данные, сгенерированные наборы и метки остаются в ваших собственных S3-бакетах в выбранном вами регионе.
Из клиентов в анонсе назван только Splunk. Директор по разработке его продукта Agent Observability говорит, что синтетическая генерация помогает масштабировать модели оценки и быстро получать репрезентативные наборы данных. Это отзыв, предоставленный вендором, а цифр по скорости или точности источник не приводит.
Чего в источнике нет
В анонсе нет ни цен, ни сроков появления в других регионах, так что стоимость и расширение доступности не подтверждены.