Together AI с точки зрения операций

Главное

Together AI запускает Compiler на рабочих эндпоинтах

Together AI анонсировала Together Compiler - систему, в которой ИИ-агенты поддерживают настройку инференса, пока меняются модели, трафик и железо. Она уже работает на части самых популярных serverless-эндпоинтов компании. Клиенты могут запросить доступ к ограниченной бете, а настройку выделенных эндпоинтов в один клик обещают позже.

Что меняется для операций — Если ваша команда вызывает открытые модели через Together AI для ответов в поддержке, скоринга лидов или обработки документов, serverless-часть уже настраивается этой системой, и включать ничего не нужно. Действовать стоит в отношении выделенных эндпоинтов: вендор обещает, что их можно будет настроить под вашу нагрузку в один клик, а доступ к бете сейчас выдают по запросу. Спросите у вашего аккаунт-менеджера, что даст именно ваш трафик, и замерьте задержку и стоимость запроса до и после, потому что в источнике нет цифр бенчмарков. Такую же проверку проведите, если соберётесь перейти на только что вышедшую модель.

Together AI запустила Post-Training для open-моделей

Для B2B-компании на 10-200 человек это актуально, только если одна узкая задача с большим объёмом, например ранжирование лидов или оценка кандидатов, обходится слишком дорого на закрытой модели. Кейс Jack & Jill из источника именно такой: открытая модель в офлайн-тестах сравнялась с закрытой, а обслуживать её дешевле. Оплата идёт за GPU-минуту, поэтому бюджет на эксперимент стоит заложить заранее. Если в штате нет ML-специалистов, придётся опираться на forward-deployed инженеров Together: источник предлагает их как партнёрский вариант.

Together AI: классификатор тикетов за 17 долларов

Для команды поддержки, обрабатывающей несколько сотен тикетов в день, это готовый чертёж бота первой линии: на входе - сообщение клиента и существующий список интентов, на выходе - один ярлык при минимальном объёме генерации, дальше можно сразу маршрутизировать. Стоимость обучения (около 17 долларов) и время (около 25 минут) делают эксперименты на собственных исторических тикетах дешевле, чем вызов универсальной LLM для каждой классификации, а фиксированные настройки temperature=0, max_tokens=8 делают вывод достаточно предсказуемым, чтобы подавать его напрямую в правило маршрутизации или вебхук CRM без ручной проверки в случаях с высокой уверенностью.