Перейти к содержимому

NVIDIA выпускает открытую модель для локальных агентов

Короткий ответ

Ноутбуки RTX Spark поступают в продажу 16 октября, а накануне, 15 октября, NVIDIA выпускает Nemotron 3.5 Bolt 74B - открытую модель для локальных агентов. Вместе с ней выходят песочницы для агентов на базе OpenShell и MXC, роутер Switchyard между локальной и облачной моделью и PAIR, вышедший из беты.

Что это значит для операций

Для B2B-команды на 10-200 человек полезен не сам ноутбук, а схема: рутинную работу агента отдавать локальной модели, а в облако отправлять только сложные запросы. Switchyard, роутер с открытым кодом, сделан именно под такое разделение. Защита учётных данных и мониторинг в OpenShell важны, как только агента подпускают к логину в CRM или helpdesk. Всё это пока заявления вендора, пока вы не проверили сами. Цен на ноутбуки в источнике нет, а утверждения про гибридную маршрутизацию и экономию принадлежат самой NVIDIA. Разумный первый шаг - пилот на одной узкой повторяющейся задаче, например на классификации входящих обращений: сравните результат и расходы на облако с текущей схемой.

NVIDIA опубликовала подборку программных обновлений к выходу ноутбуков RTX Spark. По словам NVIDIA и Microsoft, они поступят в продажу в пятницу, 16 октября. В устройствах до 128GB единой памяти и 1 петафлопс вычислений для ИИ. Большая часть публикации посвящена играм и творческим приложениям, но несколько пунктов важны тем, кто строит агентов.

Модель для локальных агентов

Nemotron 3.5 Bolt 74B выходит в четверг, 15 октября. Это модель с архитектурой mixture-of-experts: 74B параметров, из которых одновременно активны 9B. Благодаря 2-битному квантованию она помещается в 24GB. NVIDIA называет её более быстрой, чем популярные плотные модели, и более умной, чем популярные MoE-модели с похожим объёмом памяти. Эти сравнения принадлежат самой компании, а данных бенчмарков в источнике нет. Обучающие данные, веса и рецепты открыты, так что модель можно дообучать. На старте она работает через llama.cpp, vLLM, Ollama, Unsloth и LM Studio, а агенты вроде Hermes и OpenClaw могут использовать её напрямую.

Безопасность и маршрутизация

Агенты, установленные на RTX Spark, получают изоляцию от NVIDIA OpenShell и Microsoft Execution Containers (MXC). MXC даёт защиту на уровне операционной системы. OpenShell упрощает агентам переход на MXC и добавляет защиту учётных данных и мониторинг безопасности. OpenClaw и GitHub Copilot уже поддерживают MXC, а Hermes Agent до конца месяца должен получить детальные настройки OpenShell и MXC.

NVIDIA Switchyard - библиотека-роутер с открытым кодом: она позволяет агенту отправлять запросы либо в локальную, либо в облачную модель. Цель - меньше пользоваться облаком и получать сопоставимый результат. Hermes добавит её позже в октябре. Perplexity Computer и GitHub Copilot построили собственную маршрутизацию.

PAIR и модели принятия решений

NVIDIA PAIR вышла из беты. Это бесплатный инструмент с открытым кодом: он находит компьютеры в локальной сети и распределяет между ними ИИ-нагрузку. Он устанавливает модели и движки инференса, теперь поддерживает llama.cpp и загрузку с Hugging Face и работает в Windows, Linux и macOS.

llama.cpp и Unsloth теперь поддерживают модели принятия решений. По словам NVIDIA, они позволяют агенту выбирать следующее действие, например классифицируя запрос, до 200 раз быстрее, чем традиционные агенты. Для llama.cpp также выходит приложение для Windows, работающее из системного трея: модели можно скачивать и запускать без командной строки.

Чего в источнике нет

Цен на ноутбуки и независимых тестов в публикации нет. Утверждение, что загрузок локальных моделей в 5 раз больше, чем за весь прошлый год, принадлежит самой NVIDIA. Пункты про игры, Adobe, Blender и ComfyUI в этот материал не входят.

Источник: NVIDIA Blog · В Атласе: NVIDIA →

Следующий шаг

Visibility Analyzer

Новость об ИИ не скажет, как ассистенты видят ваш сайт. Это проверяет Visibility Analyzer на живом сайте: в каких ответах вас цитируют, до каких страниц движок не дотягивается и что чинить первым. Запуск бесплатный.

Запустить бесплатный аудит видимости

Запуск бесплатный, карта не нужна.

Стоимость
Бесплатно
Срок
Один прогон, минуты

Бесплатный тариф: два анализа в день, без карты.