NVIDIA выкатила в Dynamo-Triton поддержку TensorRT 11.0 для multi-device inference: одна модель теперь обслуживает несколько GPU через один gRPC-эндпоинт. На Cosmos 3 Nano латентность упала с 156.6 с на одном GPU до 34.2 с на восьми — это 4.58x ускорение end-to-end. Что внутри. TensorRT 11.0 научился распределять выполнение через NCCL-коллективы. Dynamo-Triton берёт такой план и оборачивает в KIND_MODEL — клиент снова отправляет один вызов, а сервер сам раскидывает рангов по GPU. На профиле Cosmos 3 Nano (36 слоёв трансформера, 35 шагов диффузии, 44 160 видео-токенов) RPC-часть трансформера ускоряется в 6.09x от одного до восьми GPU, а её доля в генерации падает с 93.4% до 70.2% — остальное съедают накладные расходы, которые стабильно держатся на уровне 10.2–10.5 с. Бенчмарк замерял однопоточный запуск — как система ведёт себя под параллельной нагрузкой, не известно. Идеального линейного масштабирования не вышло: 4.58x вместо 8x, потому что NCCL-коммуникация начинает есть время. Что это значит: один эндпоинт заменяет ручную координацию рангов — добавил GPU, получил ускорение, клиент не заметил. Организациям больше не нужно выбирать между сложностью инфраструктуры и скоростью ответа.