Перейти к содержимому

Cloudflare добавил аудио и видео в Clef-omni

Короткий ответ

Cloudflare выпустила Clef-omni - decision-модель, которая оценивает аудио, видео, изображения и текст одним вызовом API вместо отдельных пайплайнов транскрибации. Также цена входных токенов Clef-flash снижена с $0.09 до $0.038 за миллион, инференс Clef ускорен до 2 раз, а контекстное окно Clef-flash сокращено с 64k до 24k токенов.

Что это значит для операций

Для команды поддержки или операций, использующей классификационные модели для сортировки тикетов, проверки загрузок на PII или выявления подозрительного контента, Clef-omni убирает необходимость собирать отдельные этапы speech-to-text и извлечения видеокадров перед оценкой - жалоба клиента с голосовым сообщением или видеовложением теперь проходит через один вызов. Снижение цены Clef-flash (теперь ниже цены Jev) и ускорение Clef в 2 раза делают такие проверки дешевле и быстрее при том объёме тикетов или документов, который реально генерирует компания на 10-200 человек, хотя командам с входными данными свыше 24k токенов на запрос придётся использовать более дорогую модель Clef вместо Clef-flash.

Cloudflare расширила свою открытую линейку decision-моделей Clef - лёгких моделей, созданных для классификации и оценки по заданной схеме, а не для генерации текста - тремя изменениями: новой мультимодальной моделью, снижением цены и ускорением.

Clef-omni - первая модель в линейке, которая нативно обрабатывает аудио (wav/mp3) и видео (mp4/webm) наряду с текстом и изображениями в едином пайплайне. Модель построена на основе Qwen3-Omni-30B-A3B-Instruct с удалёнными компонентами text-to-speech. Cloudflare сообщает о медианном времени отклика около 130 мс для текстового ввода, 150 мс для изображений и примерно 1,5 секунды для полного 21-секундного видеоклипа со звуком. Цена запуска - $0.15 за миллион входных токенов, веса модели опубликованы на Hugging Face.

Clef-flash снижает цену с $0.09 до $0.038 за миллион входных токенов, что, по словам Cloudflare, делает её дешевле модели Jev от TypeSafe. Компромисс - уменьшенное размещённое контекстное окно: с 64k до 24k токенов, хотя сами веса по-прежнему поддерживают 256k токенов для тех, кто размещает модель самостоятельно. По данным Cloudflare, только 0,24% наблюдаемых запросов превышали 24k входных токенов, поэтому компания пошла на сокращение, а не оставила окно без изменений.

Clef сохраняет цену $0.24 за миллион токенов и контекстное окно 64k, но получает оптимизации инфраструктуры обслуживания - включая переход на SGLang, - которые снижают медианную задержку до 2,0 раз в зависимости от размера входных данных, без изменений в весах модели.

Cloudflare перечисляет внутренние сценарии использования: закрытие спам-issue в репозитории документации GitHub, модерация библиотек плагинов на фишинг в системе управления контентом EmDash, сканирование персональных данных и выявление вредоносных доменов. Clef остаётся API-совместимым с Jev и доступен через Cloudflare AI Gateway.

Источник: Cloudflare Blog

Следующий шаг

Visibility Analyzer

Новость об ИИ не скажет, как ассистенты видят ваш сайт. Это проверяет Visibility Analyzer на живом сайте: в каких ответах вас цитируют, до каких страниц движок не дотягивается и что чинить первым. Запуск бесплатный.

Запустить бесплатный аудит видимости

Запуск бесплатный, карта не нужна.

Стоимость
Бесплатно
Срок
Один прогон, минуты

Бесплатный тариф: два анализа в день, без карты.