Gemma 4 E2B — локальный запуск открытой мультимодальной модели

Gemma 4 E2B — младшая модель семейства Gemma 4 от Google DeepMind. Она понимает текст, картинки и звук, помещается на обычный ноутбук и работает без интернета. Здесь собрано всё для локального запуска: требования к железу, три рабочих способа установки и настройки под задачу.

Что такое Gemma 4 E2B

Gemma 4 — семейство открытых моделей Google DeepMind под лицензией Apache 2.0. Веса можно скачать, запускать локально и использовать в коммерческих проектах. В линейке четыре размера: E2B, E4B, 26B A4B и 31B. E2B — самый лёгкий вариант, рассчитанный на телефоны и ноутбуки.

Главная хитрость младших моделей называется Per-Layer Embeddings (PLE). Формально в E2B 5,1 млрд параметров, но в память ускорителя загружается только ядро около 2,3 млрд. Остальное лежит в отдельных таблицах эмбеддингов и подтягивается по мере необходимости. Поэтому модель занимает мало видеопамяти и при этом держит достойное качество.

Что умеет E2B из коробки:

• Мультимодальность: текст, изображения и звук (аудио до 30 секунд за раз)
• Контекст до 128K токенов
• Режим размышления (thinking), который включается и выключается одним токеном
• Вызов функций и нативная поддержка системного промпта
• Более 140 языков в предобучении, включая русский

Кому и зачем нужен локальный запуск

Локальная модель закрывает три задачи, которые в облаке даются тяжело:

• Приватность. Данные не покидают ваш компьютер. Договоры, медицинские выписки, личные заметки обрабатываются офлайн.
• Автономность. Работает в самолёте, в поезде, на даче без сети, где облачный API просто недоступен.
• Стоимость. Никаких токенов и подписок: скачали один раз и пользуетесь сколько угодно.

E2B не заменит флагман на сложном ризонинге, зато отлично тянет повседневное: расшифровку речи, разбор документов, OCR, черновики текстов, быстрые ответы по картинке.

Сценарии применения

Пять повседневных задач, где лёгкая офлайн-модель на ноутбуке выручает без интернета, подписок и утечки данных.

Разбор документов без единого байта в облако

Договоры, счета, медицинские выписки. E2B делает OCR и разбирает PDF локально, поэтому чувствительные данные не покидают компьютер. Удобно, когда политика безопасности запрещает загружать файлы в сторонние сервисы.

Расшифровка голоса, когда сети нет

Модель принимает звук до 30 секунд за раз и работает офлайн. Записали мысль в самолёте или в метро — и тут же получили текст, без ожидания связи и без облачного сервиса транскрипции.

Карманный ассистент под рукой

Быстрые вопросы, черновики писем, короткие переводы на 140+ языках. Отвечает мгновенно и не зависит от того, есть ли вайфай в кафе.

Понять, что на картинке

Скриншот, схема или фото документа — модель прочитает текст, опишет содержимое, вытащит цифры из таблицы. Пригодится для быстрой сортировки скриншотов и заметок.

Локальный агент для кода и заметок

E2B поддерживает вызов функций, поэтому её можно подключить к своим скриптам как локального помощника: разложить заметки по папкам, подсказать команду, накидать болванку кода.

Требования к железу

Ориентируйтесь на объём памяти под выбранную квантизацию. Правило простое: свободной памяти должно быть больше, чем весит скачанный файл модели.

Как выбрать способ запуска

Три проверенных пути под разный уровень погружения.

Быстрый старт через Ollama

Самый короткий путь. Установите Ollama с официального сайта, затем одной командой скачайте и запустите модель:

ollama run gemma4:e2b

Первый запуск скачает веса (несколько гигабайт), дальше модель стартует за секунды. После загрузки открывается чат прямо в терминале. Точное имя модели в каталоге стоит сверить в библиотеке Ollama: теги иногда обновляются.

Запуск через Python и Transformers

Путь для тех, кто встраивает модель в свой код. Установите зависимости:

pip install -U transformers torch accelerate

Загрузите модель и сгенерируйте ответ:

from transformers import AutoProcessor, AutoModelForCausalLM

MODEL_ID = "google/gemma-4-E2B-it"
processor = AutoProcessor.from_pretrained(MODEL_ID)
model = AutoModelForCausalLM.from_pretrained(
    MODEL_ID,
    dtype="auto",
    device_map="auto",
)

messages = [
    {"role": "system", "content": "Ты полезный ассистент."},
    {"role": "user", "content": "Объясни, что такое локальная модель, в двух предложениях."},
]

text = processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True, enable_thinking=False
)
inputs = processor(text=text, return_tensors="pt").to(model.device)
input_len = inputs["input_ids"].shape[-1]

outputs = model.generate(**inputs, max_new_tokens=1024)
response = processor.decode(outputs[0][input_len:], skip_special_tokens=False)
print(processor.parse_response(response))

Для работы с изображениями и звуком вместо AutoModelForCausalLM используйте AutoModelForMultimodalLM и доставьте пакеты torchvision и librosa.

Правильные настройки генерации

Google рекомендует единые параметры сэмплирования для всех задач:

• temperature=1.0
• top_p=0.95
• top_k=64

Ещё три момента, которые влияют на качество:

• Режим размышления. Включается токеном <|think|> в начале системного промпта. Для простых ответов его лучше выключить, для логических задач — включить.
• Порядок модальностей. Картинку ставьте перед текстом, звук — после текста. Так модель отвечает точнее.
• История диалога. В многоходовых беседах не передавайте обратно «мысли» модели из прошлых ответов, только финальные реплики.

Проверка и типовые проблемы

Быстрый чеклист после запуска:

Ссылки

• Карточка модели на Hugging Face: google/gemma-4-E2B
• Документация Gemma: ai.google.dev/gemma/docs/core
• Ollama: ollama.com
• LM Studio: lmstudio.ai

По теме

• Статья: Minimax M2.7 на Mac Studio: 120 000 токенов контекста и живой код
• Блог: MiniMax M2.7 вышла в опенсорс — модель, которая тренировала сама себя, уже в Ollama
• База знаний: Ollama — локальный и облачный рантайм для языковых моделей

Локальные модели хорошо ложатся в приватные рабочие контуры: когда данные нельзя отдавать в облако, а инструмент нужен под рукой. Если захотите собрать такой контур под свои задачи или команду, есть о чём поговорить.

Если захотите обсудить, как это применить у себя или в команде — пишите в Telegram @pimenov.