Главное
TypeSafe AI выпустила Jev - дешёвый слой решений вместо LLM для маршрутизации и отбора заявок
TypeSafe AI выпустила Jev - модель принятия решений без генерации текста, отвечающую да/нет, оценкой или выбором из вариантов с уровнем уверенности за 70-500 мс. Стоимость - $0,042 за миллион входных токенов, вывод бесплатный. Модель нацелена на маршрутизацию, классификацию и отбор - например, тикеты поддержки или резюме, - но точность составляет всего 67,8%.
Что меняется для операций — Для команды поддержки или операций, которая сейчас платит за LLM ради тегирования срочности тикета, отбора резюме или выбора модели под запрос, Jev - гораздо более дешёвое промежуточное звено: он возвращает структурированную оценку или выбор вместе с уровнем уверенности вместо свободного текста, поэтому случаи с высокой уверенностью можно маршрутизировать автоматически, а с низкой - передавать человеку. Проблема в заявленной точности 67,8% и полном отсутствии объяснения того, как модель пришла к решению, так что это слой предварительного отбора, а не замена суждения там, где ошибка стоит дорого, - а состязательные входные данные (специально составленное сообщение в поддержку, подделанное резюме) всё ещё могут увести её логику в сторону без сильных защитных механизмов вокруг неё.