AI Radar — лентаGoogle и Meta открыли TorchTPU для нативной работы с TPU
Google и Meta открыли исходный код TorchTPU — нативного бэкенда PyTorch для TPU Google. В опубликованном запуске Qwen3 235B mixture-of-experts использовались 8 192 чипа TPU v7x при 28% model FLOPs.
Что изменилось. TorchTPU пришёл на смену мосту PyTorch/XLA, которому требовалось вмешиваться в исходный код. Теперь портирование может начинаться с замены model.to("cuda") на model.to("tpu"). Google и Meta также открыли код интеграций с vLLM, SGLang и TorchTitan.
Масштабирование. Google показала почти линейное масштабирование после порога в 8 000 чипов при примерно постоянной пропускной способности на один чип. На слайдах PyTorch Foundation модель DeepSeek Flash стала на 60% дешевле за 37 дней, а скорость Kimi K3 выросла на 68% за 33 дня на том же оборудовании.
Что это даёт. Модели Hugging Face работают с TorchTPU без предварительной адаптации, а vLLM и SGLang поддерживают TPU нативно. TorchTPU позволяет масштабировать нагрузки по TPU через Ray и llm-d в Kubernetes. Meta рассматривает его как способ переносить более крупные LLM-рабочие нагрузки на широкий набор архитектур оборудования, но сроки и масштаб переноса не указаны.
Однострочное изменение запускает модель, но не гарантирует пиковой производительности: для этого нужны дополнительные настройки шардинга и ядер, а первый релиз TorchNeuron пока пропускает около 22 000 тестов PyTorch.
Что это значит: для разработчиков появился более прямой путь к переносу моделей с GPU на TPU, но реальную выгоду пока нужно проверять на собственных нагрузках.
Оригинальная публикация в Telegram