Перейти к содержимому

AWS добавила в SageMaker AI подготовку данных

Короткий ответ

AWS добавила в SageMaker AI подготовку данных: генерацию синтетических данных, авторазметку с жюри из моделей, ручную проверку, оценку качества и преобразование форматов. Вызывать функции можно из Python SDK или через кодового агента. Они общедоступны в регионах US East (N. Virginia) и US West (Oregon).

Что это значит для операций

Большинство B2B-компаний на 10-200 человек никогда не будут дообучать модели, поэтому новость важна в основном тем, у кого есть специалист по данным на AWS или подрядчик, который строит на этой платформе. Практическая польза - тестовый набор для ассистента поддержки или продаж: записываете правила, которым бот обязан следовать, генерируете из своих документов тестовые вопросы с эталонными ответами, отдаёте сомнительные строки на правку профильному эксперту и прогоняете набор заново после каждой смены промпта или модели. Сначала проверьте, что ваши данные могут находиться в US East или US West: других регионов в анонсе нет.

Amazon анонсировала новые возможности подготовки данных для SageMaker AI. Они нацелены на самый медленный этап работы над собственными моделями: приведение обучающих и оценочных данных в порядок. Функции общедоступны в регионах US East (N. Virginia) и US West (Oregon).

Что добавили

Релиз состоит из самостоятельных блоков, которые можно использовать по отдельности или соединять в цепочку:

  • Авторазметка. Размечает набор данных, даже если исходно есть только неразмеченные строки, небольшая размеченная выборка или вообще ничего. В системе есть готовые типы задач: раскладка объектов по категориям, извлечение именованных сущностей, ответы на вопросы через поиск фрагментов в тексте, порядковые оценки, сокращение содержимого. Можно создать и собственные задачи. Короткая спецификация разметки сначала проверяется на ваших примерах и только потом запускается на всём наборе. Для задач с фиксированным набором ответов каждую строку размечают несколько моделей, а степень их согласия становится оценкой уверенности.
  • Ручная проверка. Строки с уверенностью ниже вашего порога попадают в очередь в SageMaker Studio, построенную на открытом Label Studio Community Edition. Внешние профильные эксперты заходят в неё по ссылке, а их правки учитываются при следующем проходе разметки.
  • Генерация синтетических данных. Создаёт обучающие, оценочные и тестовые данные по спецификации, опираясь на ваши исходные примеры и документы. Сервис пишет конвейер в виде кода, который можно прочитать, изменить и использовать повторно.
  • Оценка качества данных. Проверяет набор по вашим бизнес-правилам, встроенным метрикам и метрикам на основе LLM-судьи. Находит дубликаты, почти-дубликаты, шум в метках и утечку ответов.
  • Преобразование данных. Очищает и перестраивает данные под выбранный метод обучения, например SFT, DPO или обучение с подкреплением. Для этого есть инструкции простым языком, встроенные операции (дедупликация, слияние, разбиение, фильтрация) и собственный Python-код.

Как этим пользоваться

Можно вызывать SageMaker Python SDK напрямую или дать кодовому агенту навык AI-ML, и он сам подберёт и запустит нужные функции в SageMaker Studio JupyterLab, Kiro или локальной IDE. SDK принимает на вход спецификацию, и AWS советует сначала набросать её вместе с агентом.

AWS приводит пример для команд поддержки. Вы загружаете руководство по продукту, просите сгенерировать вопросы с эталонными ответами и требуете, чтобы ответы про сброс к заводским настройкам сохраняли предупреждение о стирании сохранённых параметров. Команда генерирует небольшую выборку, сверяет её с руководством, запускает оценку качества, отдаёт неоднозначные строки эксперту и повторяет цикл, пока набор не будет готов для проверки ассистента.

Контроль и расположение данных

Сервис работает под ролью выполнения IAM, которую вы контролируете. Исходные данные, сгенерированные наборы и метки остаются в ваших собственных S3-бакетах в выбранном вами регионе.

Из клиентов в анонсе назван только Splunk. Директор по разработке его продукта Agent Observability говорит, что синтетическая генерация помогает масштабировать модели оценки и быстро получать репрезентативные наборы данных. Это отзыв, предоставленный вендором, а цифр по скорости или точности источник не приводит.

Чего в источнике нет

В анонсе нет ни цен, ни сроков появления в других регионах, так что стоимость и расширение доступности не подтверждены.

Источник: AWS Machine Learning Blog

Инструменты из этой новости

  • Kiro - цена, кто пользуется, альтернативы
Следующий шаг

Visibility Analyzer

Новость об ИИ не скажет, как ассистенты видят ваш сайт. Это проверяет Visibility Analyzer на живом сайте: в каких ответах вас цитируют, до каких страниц ассистенты не добираются и что чинить первым. Запуск бесплатный.

Запустить бесплатный аудит видимости

Запуск бесплатный, карта не нужна.

Стоимость
Бесплатно
Срок
Один прогон, минуты

Бесплатный тариф: два анализа в день, без карты.

Ещё по теме