Инфраструктура и цены с точки зрения операций

Главное

Together AI запускает Compiler на рабочих эндпоинтах

Together AI анонсировала Together Compiler - систему, в которой ИИ-агенты поддерживают настройку инференса, пока меняются модели, трафик и железо. Она уже работает на части самых популярных serverless-эндпоинтов компании. Клиенты могут запросить доступ к ограниченной бете, а настройку выделенных эндпоинтов в один клик обещают позже.

Что меняется для операций — Если ваша команда вызывает открытые модели через Together AI для ответов в поддержке, скоринга лидов или обработки документов, serverless-часть уже настраивается этой системой, и включать ничего не нужно. Действовать стоит в отношении выделенных эндпоинтов: вендор обещает, что их можно будет настроить под вашу нагрузку в один клик, а доступ к бете сейчас выдают по запросу. Спросите у вашего аккаунт-менеджера, что даст именно ваш трафик, и замерьте задержку и стоимость запроса до и после, потому что в источнике нет цифр бенчмарков. Такую же проверку проведите, если соберётесь перейти на только что вышедшую модель.