Anthropic совместно с NVIDIA представила Open Agent Safety Platform, добавив уровни безопасности и контроля в агентский стек Claude - по мере того как компании переходят от ИИ, отвечающего на вопросы, к агентам, действующим внутри бизнес-подразделений с конфиденциальными данными.
Речь идёт о двух компонентах. Claude Managed Agents - набор композируемых API Anthropic для создания промышленных агентов - теперь запускает цикл работы агента на отдельном сервере, не связанном с песочницей, где выполняется сама работа, а учётные данные (пароли и ключи доступа) хранит в отдельном хранилище, которое агент никогда не видит. Система также ведёт журнал аудита действий каждого агента и интегрируется с существующими системами контроля доступа компании.
OpenShell от NVIDIA - open-source защищённый рантайм, выпущенный под лицензией Apache 2.0, - управляет тем, к чему агент может обращаться во время работы. Он блокирует любое действие, если оно не разрешено правилом, проверяя каждый вызов инструмента по правилам доступа к файлам, сетевым соединениям и данным, фиксируя каждое решение в журнале. Встроенный в OpenShell модуль проверки политик использует математическое доказательство, чтобы подтвердить, к чему агент действительно может получить доступ при заданных командой правилах.
Anthropic описывает обе системы как независимые уровни: каждая рассчитана на то, чтобы соблюдать свои ограничения самостоятельно, поэтому защита не зависит от надёжности только одного уровня, а компании могут внедрять те компоненты, которые подходят под их существующую инфраструктуру песочниц.
Managed Agents доступен уже сейчас и может работать в песочнице на собственной инфраструктуре компании или у управляемого провайдера. OpenShell доступен на GitHub и на странице ресурсов для разработчиков NVIDIA. Anthropic называет Notion, Rakuten и Asana среди компаний, уже использующих специализированные и мультиагентные сценарии на Managed Agents, хотя подробностей о внедрении OpenShell конкретными компаниями не приводится.