На KubeCon + CloudNativeCon NVIDIA представила набор open source вкладов, о чём рассказывает блог NVIDIA. Главный пункт - OpenShell, рантайм для защиты и управления автономными ИИ-агентами. NVIDIA передаёт его Cloud Native Computing Foundation (CNCF) в статусе Sandbox-проекта.
Что делает OpenShell
OpenShell задаёт детерминированные ограничения на действия агента. Команды могут включать политики в тот момент, когда агент вызывает инструменты, обращается к сервисам инференса или запускает нагрузки. Архитектура расширяемая: организация подключает собственные вычислительные ресурсы, поставщиков инференса, хранилище учётных данных и мониторинг и применяет одни и те же правила в разных средах и в уже работающих корпоративных системах.
В статусе CNCF Sandbox проектом будут управлять организации, которые встраивают его в свои продукты. По словам NVIDIA, OpenShell уже используют сотни организаций, а за неполный год с запуска он собрал десятки тысяч вкладов.
Agent Substrate и масштабирование
NVIDIA также участвует в развитии Agent Substrate - фреймворка, который появился в Google и уже находится в CNCF Sandbox. Он запускает на Kubernetes долгоживущие нагрузки агентов: сохраняет среду агента между задачами и освобождает вычислительные ресурсы, пока агент простаивает, так что выделенные мощности под каждую сессию не нужны. NVIDIA настраивает его совместную работу со своим ПО для инференса Dynamo и планировщиком KAI Scheduler для общих ресурсов кластера. Кроме того, NVIDIA и Google прорабатывают интеграцию OpenShell и Agent Substrate, чтобы управлять агентами в разных облаках и в локальных системах. Источник описывает это как продолжающуюся совместную работу; готового продукта пока нет.
Новые компоненты Kubernetes для GPU-инфраструктуры
Платформу NVIDIA DSX AI Factory дополняют три компонента:
- NVIDIA Kubernetes Engine (NVKE) и Kubernetes Recipes (NVKR) вышли в публичное превью. Это строительные блоки для предложения управляемого Kubernetes на GPU-инфраструктуре: они автоматизируют жизненный цикл кластеров и поставляют подписанные образы с зафиксированными версиями. Включить их в свои предложения планируют Mirantis, Netris, OpenNebula Systems, Rafay, Spectro Cloud, vCluster, Firmus и SK Telecom.
- NVIDIA Snapshot за секунды восстанавливает реплики инференса из контрольных точек без повторной загрузки модели и прогрева, поэтому запуск и восстановление идут быстрее.
NVIDIA приводит результаты двух партнёров, которые работают на системах HGX B300. Crusoe проверила GLM-5.3 и сократила время до готовности примерно с восьми минут до 31 секунды. Saturn Cloud сообщила, что в тестах запуска с нуля старт vLLM ускорился: вместо 2-8,5 минут он занимает 6-34 секунды. Эти результаты опубликовал сам вендор по нагрузкам партнёров; независимых замеров нет.
Чего в источнике нет
Источник не называет сроков, к которым OpenShell дойдёт до того или иного уровня зрелости, не говорит о ценах и не объясняет, как планы перечисленных партнёров дойдут до клиентов.