OpenAI опубликовала результаты сторонних оценок кибербезопасности своих моделей, говорится в сообщении в блоге OpenAI. Оценки проводились внешними исследователями и организациями, а не внутри самой OpenAI, с заявленной целью — выяснить, могут ли текущие модели существенно помочь кому-либо в проведении наступательных киберопераций: например, в обнаружении уязвимостей в ПО, разработке эксплойтов или автоматизации отдельных этапов цепочки атаки.
Публикация вписывается в более широкую отраслевую тенденцию, при которой ведущие ИИ-лаборатории всё чаще отдают свои модели на проверку внешним экспертам до или после релиза — отчасти в ответ на внимание регуляторов, отчасти для укрепления публичного доверия к заявлениям о безопасности моделей. В сообщении OpenAI описывается методология, использованная этими сторонними оценщиками, включая типы протестированных задач и общие категории оцениваемых возможностей, хотя конкретные технические бенчмарки и полные наборы результатов в публичном резюме подробно не раскрывались. Там, где результаты указывают на повышенные возможности в конкретной области, OpenAI заявляет, что это влияет на внутренние решения по снижению рисков и развёртыванию моделей — впрочем, детали этих мер защиты раскрыты не полностью, и их следует считать неподтверждёнными до появления дополнительной информации от компании.
Такое раскрытие информации происходит в рамках более широкой дискуссии о двойном назначении возможностей ИИ: те же поведенческие черты модели, которые делают её полезной для легитимных исследований в области безопасности — поиск багов, написание proof-of-concept кода, объяснение техник атак — в принципе могут снижать порог входа для злонамеренного использования. Независимая оценка — один из немногих доступных обществу механизмов контроля за тем, как лаборатории управляют этим противоречием, поскольку внутреннее «red-teaming» само по себе несёт очевидный конфликт интересов.
Для компаний, которые сами не разрабатывают ИИ-модели и не занимаются их исследованием, прямая значимость этого конкретного объявления ограничена — большинство компаний численностью 10-200 человек являются потребителями ИИ-инструментов, а не разработчиками передовых моделей, и не будут проводить собственные оценки на предмет наступательного кибериспользования. Но сам факт существования такого контроля — полезный сигнал для переговоров с поставщиками. По мере того как ИИ-инструменты встраиваются в поддержку клиентов, автоматизацию продаж и внутренние операции, вопрос о том, какой объём независимой оценки безопасности прошли эти инструменты, вполне уместно задавать любому поставщику, строящему решения на моделях OpenAI или любой другой лаборатории — не потому что есть известный инцидент, на который нужно реагировать, а потому что публично доступная отчётность о прозрачности — один из немногих артефактов, на которые операторы могут опереться при оценке рисков поставщика без собственной экспертизы в области безопасности. Компании, работающие с консалтингом по автоматизации или выбирающие такого партнёра, должны ожидать, что подобная документация станет частью ответов серьёзного поставщика при due diligence.
В рассмотренном исходном материале не раскрывались конкретные уязвимости, инциденты или использованные слабые места, связанные с моделями OpenAI, и делать такие выводы из данного материала не следует.