AI Radar — лента⚡ PyTorch научили работать на Trainium и TPU
Amazon представила TorchNeuron для PyTorch на Trainium2 и Trainium3. Google вместе с командой PyTorch из Meta выпустила TorchTPU для TPU.
Что изменилось. Проекты на Trainium2 и Trainium3 теперь запускаются без масштабной переделки кода: достаточно указать нужный ускоритель. Рабочие нагрузки для TPU тоже переносятся с минимальными изменениями. Это заметно упрощает переход с оборудования Nvidia.
Что внутри. TorchNeuron получила готовые операции языка NKI и компилятор для низкоуровневой оптимизации. TorchTPU поддерживает стандартные API PyTorch, диагностические инструменты и примитивы распределённых вычислений. Google также добавила поддержку моделей Hugging Face с открытыми весами и ряда инструментов для разработки ИИ.
Почему это важно. Trainium и TPU становятся частью привычной среды PyTorch. Разработчикам не приходится сразу перестраивать всю программную систему под другое железо. Сюда же встраиваются инструменты обучения, инференса и распределённых вычислений, включая vLLM, SGLang, llm-d, Ray, TorchRec и LiteRT.
При этом в материале нет тестов производительности, прямого сравнения с Nvidia и точной оценки прироста скорости или снижения потребления ресурсов.
Что это значит: переносить модели с Nvidia на Trainium и TPU становится заметно проще, но реальный выигрыш пока не показан.
Оригинальная публикация в Telegram