Ai2 выпустила Olmo-core 3: на 1.2 трлн параметров стек выдаёт 858 TFLOP/s/GPU на 512 ускорителях, а пропускная способность на экспертных моделях выросла в 2.7 раза. Это открытая замена проприетарной инфраструктуре — раньше такие масштабы были доступны только гигантам. Что внутри. Ключевое отличие — переход от FSDP к DDP с несколькими уровнями параллелизма: экспертный, конвейерный, распределённый оптимизатор. Добавили GPU-resident маршрутизацию, grouped GEMM и поддержку MXFP8. На 4 B300 картах MXFP8 даёт 21% прироста и снижает пиковую память с 103 до 95 ГБ. При этом пул экспертов расширили с 8 до 128, а падение скорости составило меньше 5%. На токен активируются 58.36 млрд параметров из 1.2 триллиона — остальные «спят». Все замеры на триллион-параметровых моделях проводились со случайной маршрутизацией, а не на реально обученной модели — это не полноценная проверка качества. DeepEP v2 масштабировался до 2.38 триллиона параметров в кратком тесте, а не в длительном запуске. Что это значит: академические команды и небольшие лаборатории получают инфраструктуру для обучения огромных MoE-моделей — без привязки к закрытым стекам гигантов.