Hugging Face объявила 20 октября 2026 года, что ее основные открытые библиотеки теперь работают на TPU - ускорителях ИИ от Google, доступных в Google Cloud. В основе изменения лежит TorchTPU: нативный бэкенд PyTorch, который делает TPU «просто еще одним устройством».
Что изменилось
Тем, кто работает на PyTorch и хотел использовать TPU, раньше приходилось идти через PyTorch/XLA (torch_xla) или осваивать JAX. В публикации этот путь называют рабочим, но неудобным: из-за ленивых тензоров код не всегда выполнялся тогда, когда ожидаешь, небольшие правки могли вызывать перекомпиляцию графа, а отладку было трудно предсказывать.
С TorchTPU вы пишете обычный PyTorch. В комплект входят ядра Pallas, настроенные под TPU, поддержка распределенного обучения и интеграция с torch.compile. Установка на виртуальной машине с TPU сводится к одной команде pip, причем используется CPU-сборка torch, чтобы не тянуть более тяжелую сборку под CUDA.
Что уже работает
- Transformers: при загрузке модели передайте device_map="tpu". По умолчанию работает eager-режим, а torch.compile и распределенные конфигурации доступны как опции.
- Diffusers: TPU теперь полноценное устройство. В eager-режиме достаточно pipe.to("tpu"), в компилируемом добавляется один вызов compile. Крупные модели можно разнести по чипам с помощью TensorParallelConfig.
- Kernels: в Kernels Hub есть готовые TPU-ядра на Pallas, а также можно использовать ядра из библиотеки Tokamax.
Optimum TPU, прежний пакет Hugging Face для TPU, больше не нужен, чтобы запускать модели через Transformers и Diffusers.
Цифры и их пределы
Hugging Face сообщает, что при размере батча 64 ядро ragged-dot из Hub ускорило декодирование в 21,5 раза на Qwen3-30B-A3B и в 12,8 раза на Gemma 4 26B-A4B по сравнению с реализацией по умолчанию. Замеры сделаны на TPU v6e-8. Там же говорится, что выигрыш растет с размером батча. Это собственные бенчмарки издателя.
Поддержка пока дозревает. Из тестов, которые выполняются на TPU, проходят 96,5%. В репозиторий TorchTPU Hugging Face передала 34 проблемы, 19 из них исправлены. Ночной прогон CI на TPU команда только собирается добавить, сейчас его нет.
Чего в публикации нет
В источнике нет цен, сравнения стоимости с другими ускорителями и рекомендаций, какие задачи лучше подходят TPU, чем GPU. Ответы на эти вопросы придется искать собственными тестами.