AI Radar — лентаТокенизатор, а не модель: где реально умирает мультимодальный ИИ
Автор на dev.to показал, что в продакшене узкое место мультимодального ИИ — токенизатор, а не трансформер. Одно высокоразрешающее изображение при неудачной схеме тайлинга стоит сотни — тысячи токенов.
А 30 секунд видео при 1 fps легко съедают весь контекст задачи.
Что предлагает автор. Вместо забивать контекст — извлекать из него. Motion-aware семплирование кадров вместо равномерного. Resolution tiering: дешёвый проход на низком разрешении, дорогой — только для фрагментов, которые на нём отличились. Для аудио — семантическое чанкирование по паузам и сменам спикера, а не фиксированные окна по 10–30 секунд.
Почему это важно. Команды, которые думают «добавь видео в промпт», обнаруживают проблему на счёте за облако. Простой приём «побольше кадров» не улучшает точность, а разбавляет attention модели шумом — при переборе контекста результаты деградируют.
Тезис не подкреплён экспериментами: автор не приводит замеров точности или стоимости при motion-aware семплировании против uniform sampling.
Что это значит: токенизация — такая же инженерная задача, как архитектура модели, и заслуживает такого же внимания в проде.
Оригинальная публикация в Telegram