AI RADAR

Понимать важнее,
чем успевать всё.

Выберите новость в ленте. Здесь будет удобно читать.

body{height:auto!important;overflow:auto!important}#app{display:none!important}.ssr-article{max-width:70ch;margin:0 auto;padding:32px 20px;font:18px/1.65 system-ui}.ssr-article p,.ssr-article li,.ssr-article blockquote{white-space:pre-line}AI Radar — лента

🧠 Gemma 4 запустили на видеокарте с 4 ГБ памяти

Автор показал запуск Gemma 4 E2B-it QAT на 4-ГБ NVIDIA GTX 1650 Ti: 87,8 токена в секунду и преимущество над llama.cpp в 1,07 раза при коротком контексте.

Что сделали. Шестнадцатибитные веса и штатный 4-битный путь Transformers не помещались в память, а послойная распаковка давала лишь 0,58 токена в секунду. Автор перевёл словарные таблицы в 4-битный формат, написал Triton-ядра для умножения по упакованным весам и декодирования внимания, добавил собственный кэш и скомпилировал шаг декодирования как CUDA Graph. Также он сделал OpenAI-совместимый сервер.

Сколько памяти. Вся модель занимает 2 483 MiB памяти GPU. С полным контекстом 131 072 токена она тоже помещается на карте: пиковое потребление при чтении промпта из 130 981 токена и декодировании достигло 3 471 MiB. Доступно PyTorch на этой карте было 3 732 MiB.

Где выиграло llama.cpp. На длинном контексте скорость PyTorch снизилась до 21,8 токена в секунду против 30,2 у llama.cpp. При чтении промпта длиной 4 081 токен 32-битные умножения дали 226,5 токена в секунду против 97,7 у 16-битных. Результаты на GSM8K и BFCL simple сопоставимы.

Дальний контекст проверили всего на четырёх промптах, поэтому частоту ошибок по нему оценить нельзя.

Что это значит: Gemma 4 E2B можно запускать локально на 4-ГБ видеокарте в обычном PyTorch, не отказываясь от полного контекста.

Оригинальная публикация в Telegram

Понимать важнее,
чем успевать всё.

Поиск по архиву

О проекте

Понимать важнее,чем успевать всё.

Понимать важнее,
чем успевать всё.