ShardFlow объединил GCP Iowa, Oregon и AWS Ohio в одну связку и выжал 28 токенов в секунду на Qwen2.5-7B. Вчетверо быстрее, чем без оптимизаций. Суть в том, что speculative decoding превращает задержку WAN из per-token в per-round стоимость. Драфтер выдаёт 4 токена за round trip — и один раунд стоит столько же, сколько раньше стоил один токен. CUDA Graphs убрали Python-оверхед: 112ms просели до 25ms. Вот что это значит: GPU раньше простаивал 65% времени — на запуск каждого из полутора тысяч kernel из питоновского цикла уходило 8-10 микросекунд против 2-5 микросекунд на саму работу. Теперь это в прошлом. Распределённый инференс догоняет локальный.