Meta выпустила Muse Spark Open - мультимодальную модель с открытыми весами. Об этом говорится в анонсе на Hugging Face от 15 октября 2026 года. В Hugging Face называют её самой мощной на сегодня американской моделью с открытыми весами.
Что это за модель
Muse Spark Open построена по схеме mixture-of-experts: всего около 816 млрд параметров, из них примерно 42 млрд задействуются на каждый токен. В каждом слое 256 экспертов, роутер выбирает 8 на токен. Модель принимает текст, изображения, аудио и видео, а отвечает только текстом. Контекстное окно - до миллиона токенов, причём для всех типов входных данных. Meta обучала её для агентного программирования: читать кодовую базу, писать и отлаживать код, вызывать инструменты. Вызов инструментов поддерживается и в текстовом, и в мультимодальном режиме.
Это полноразмерная модель серии Muse. Muse Glimmer - небольшая плотная модель из той же серии - вышла в августе и рассчитана на локальный запуск. У обеих общие токенизатор и словарь.
Что нужно для запуска
Все эксперты хранятся в памяти, поэтому по объёму она занимает столько же, сколько любая модель на 816B, хотя скорость ближе к модели на 42B. Чекпойнт в BF16 весит около 1,5 ТБ. Чекпойнт NVFP4 с 4-битной точностью рассчитан на GPU NVIDIA Blackwell; потерю точности авторы поста называют пренебрежимой.
В посте перечислено несколько способов запуска:
- Transformers: BF16 работает на четырёх узлах по восемь GPU H200; NVFP4 - на одном узле B200.
- SGLang: поддерживает текст, изображения, аудио и видео; в эталонной конфигурации NVFP4 используются четыре GPU GB300.
- vLLM: только текст и изображения, чекпойнт NVFP4 на GPU Blackwell. В примере конфигурации контекст - 128 тыс. токенов.
- Inference Endpoints: заранее проверенный рецепт NVFP4 работает на восьми GPU RTX Pro 6000 при контексте 131 072 токена или на восьми GPU H200 при полном контексте 1 048 576. Эндпоинт отдаёт OpenAI-совместимые API Chat Completions и Responses.
- Локально на Mac: на M3 Ultra с 512 ГБ 2-битная квантизация llama.cpp заняла 304 ГБ и выдавала 18 токенов в секунду. 3-битная квантизация MLX заняла около 344 ГБ и генерировала около 21 токена в секунду.
По расчёту самого поста, полный контекст в миллион токенов добавляет около 266 ГБ KV-кэша в BF16.
Reasoning и дообучение
Reasoning отключить нельзя. Уровень усилий настраивается от low до xhigh, по умолчанию стоит xhigh; для простых задач в посте советуют low, чтобы экономить токены. Для дообучения Hugging Face описывает запуск LoRA на слоях внимания с замороженными экспертами: используется TRL на восьми узлах по восемь GPU H100.
В отрывке из источника нет условий лицензии и результатов бенчмарков, поэтому перед планами на продакшен проверьте и то и другое в репозиториях модели.