AI Radar — лентаGoogle впихнула мультимодальный поиск в телефон — 740M параметров, 567 МБ
Google DeepMind выкатила EmbeddingGemma 2 — мультимодальную модель эмбеддингов на 740M параметров, которая сжимает текст, картинки, видео и аудио в один 768-мерный вектор.
Контекст вырос в 4 раза (8192 токена), код улучшился на ~10 пунктов на MTEB code v1.
Что внутри. Текстовый бэкбон на 270M, энкодер зрения на 170M, аудио на 300M — всё сливается в единое пространство и выдаёт один вектор. В карточке модели 24 слоя трансформера, скользящее окно внимания 1024, словарь на 262 144 токена. На Pixel 11 Pro текстовая часть занимает ~191 МБ, полная мультимодальная — ~567 МБ.
Что умеет. Одно изображение стоит 280 токенов, один кадр видео — 140, одна секунда аудио — 25. Примерно 29 картинок или 327 секунд звука влезают в один запрос. Сжатие выходного вектора 768→128 сокращает хранение в 6 раз с потерей ~3.5 пункта на многоязычном бенчмарке.
На 128 измерениях мультимодальные задачи деградируют сильнее: MMEB v2 падает с 59,01 до 45,65 — рекомендуют проверять на своих данных. Качество на русском официально не оценено.
Что это значит: поиск по картинкам и видео текстовым запросом — теперь на телефоне, без отправки данных на сервер.
Оригинальная публикация в Telegram