Безопасность и риски с точки зрения операций

Главное

IBM выпустила Granite 4.1 с защитой от инъекций

IBM выпустила две экспериментальные модели Granite 4.1, 3B и 8B, обученные на LLMON - разметке, которая помечает каждый компонент промпта и привязывает инструкцию к данным, с которыми она работает. На одном из тестов они куда лучше других моделей сопротивлялись внедрённым командам. Для продакшена IBM их не рекомендует.

Что меняется для операций — Если автоматизация продаж, поддержки или операций передаёт модели письма клиентов, текст тикетов, загруженные файлы или заметки из CRM, в любом из них может сидеть скрытая инструкция. Эти превью стоит проверить в песочнице: можно прогнать их на своих самых неприятных входных данных и сравнить с моделью, которой вы пользуетесь сейчас. Готовьтесь к доработке интеграции: в промптах нужно явно выделять части (инструкция, данные, требование), чтобы шаблон мог их разметить. Переносить на эти модели что-либо клиентское пока рано: IBM называет релиз экспериментальным и говорит, что защита - выученное поведение, а не гарантия.