Google выпустил два экспериментальных приложения на новой модели EmbeddingGemma 2. Foresight для Mac превращает короткие пометки во время встречи в подробный конспект и ищет ответы в ваших файлах. Gallery на телефоне находит фото и моменты в видео по описанию. Обработка в обоих случаях идёт на устройстве, без отправки данных в облако.

📌
Материал основан на анонсе Google от 6 октября 2026 года, описании репозитория Gallery и публикациях профильных изданий. Запуском приложения не проверялись. Данные актуальны на 8 октября 2026 года.

Что это за приложения

Оба приложения входят в Google AI Edge — набор инструментов Google для запуска ИИ прямо на устройствах. Foresight решает рабочую задачу, Gallery служит витриной возможностей локальных моделей.

ПараметрForesightGallery
ПлатформаmacOS, оптимизировано под Apple SiliconAndroid 12+, iOS 17+, есть сборка для macOS
НазначениеАссистент для встреч и личной базы знанийВитрина локальных моделей Google
Что новогоСамо приложение, вышло 6 октября 2026 годаДемо Instant Media Search и Video Moments Finder
МоделиEmbeddingGemma 2 и Gemma 4EmbeddingGemma 2, Gemma 4 и другие открытые модели
СтатусЭкспериментальноеЭкспериментальная бета, открытый код под Apache 2.0
Где скачатьСтраница Foresight на сайте Google for DevelopersGoogle Play, App Store, GitHub

Общая основа: модель EmbeddingGemma 2

💡
Эмбеддинг (embedding) — числовое представление смысла. Модель превращает фразу, картинку или фрагмент звука в набор чисел так, что близкие по смыслу объекты получают близкие наборы. Поиск сравнивает эти числа, поэтому находит нужное даже без совпадения слов.

EmbeddingGemma 2 — открытая модель Google DeepMind на 740 млн параметров. Она переводит текст, изображения, кадры видео и звук в одно общее пространство. Поэтому запрос «собака ловит фрисби» находит нужный кадр видео без промежуточной расшифровки и текстовых подписей. Короткий разбор самой модели есть в заметке EmbeddingGemma 2: маленькая модель для локального RAG, а первая версия описана в руководстве EmbeddingGemma (Gemma 3).

Цифры из анонса:

  • около 191 МБ оперативной памяти для текстовой части и около 567 МБ для полной мультимодальной версии, замер на Google Pixel 11 Pro;
  • 37,3 мс на эмбеддинг одного изображения на GPU MacBook с M5 Pro, это примерно 27 изображений в секунду;
  • лицензия Apache 2.0, в основе архитектура Gemma 4.
flowchart LR
  A["Файлы, фото, видео, звук"] --> B["EmbeddingGemma 2 на устройстве"]
  Q["Запрос: текст или изображение"] --> B
  B --> I["Локальный индекс"]
  I --> R["Результаты, близкие по смыслу"]

Foresight для Mac: возможности

Foresight слушает системный звук и микрофон Mac. Поэтому он работает с любой платформой созвонов, включая Google Meet и Zoom, а также с очными встречами. Подключать приложение к самой платформе не нужно.

ФункцияЧто делает
Улучшение заметокВы пишете короткие пункты во время встречи, приложение дополняет их деталями из расшифровки разговора
Личная база знанийИндексирует папки проектов, справочные материалы, схемы и календарь. Источники: локальные папки и Google Drive
Чат по источникамОтвечает на вопросы по проиндексированным материалам и делает сводки
Живая подсказка (Live Assistance)Во время звонка замечает вопросы и темы из ваших файлов и показывает карточку с контекстом и ссылками на источник
Кросс-модальный поискНаходит изображения, документы, расшифровки и заметки по запросу на естественном языке

Поддерживаемые форматы: PDF, Google Docs, файлы Microsoft Office, текстовые и Markdown-файлы, веб-закладки. Источники можно помечать своими метками и фильтровать по категориям.

Google заявляет, что записи, расшифровки и файлы не отправляются в облако, приложение работает офлайн и не требует облачной подписки. О цене самого приложения в анонсе ничего не сказано.

Gallery позволяет скачать открытые модели и попробовать их на своём устройстве. 6 октября в приложение добавили два демо на EmbeddingGemma 2.

Instant Media Search ищет фото и видео в галерее по текстовому описанию или по образцу: выбранному снимку или кадру с камеры. Эмбеддинги медиа хранятся в локальной базе SQLite, результаты обновляются при вводе каждого символа. Можно начать с тестового набора изображений или подключить собственную медиатеку. В анонсе показаны запросы на немецком и заявлена поддержка нескольких языков. Качество поиска на русском стоит проверить самостоятельно.

Video Moments Finder индексирует выбранное локальное видео по изображению и звуку. По запросу вроде «дети смеются» или «задувают свечи на торте» он отмечает таймкоды подходящих моментов.

Другие функции Gallery по описанию репозитория:

  • чат с моделью и режим рассуждений (Thinking Mode) для моделей семейства Gemma 4;
  • Ask Image — вопросы по фото с камеры или из галереи;
  • Audio Scribe — расшифровка и перевод голосовых записей;
  • Prompt Lab — проверка промптов с настройкой параметров генерации;
  • Agent Skills — подключение навыков, например поиска по Википедии и карт;
  • управление моделями и замер их скорости на вашем устройстве.

Установка и требования

Foresight

  1. Откройте страницу Foresight и скачайте установщик для macOS.
  2. Установите приложение и выдайте ему доступ к микрофону и системному звуку. Без этих разрешений macOS не позволит записывать встречу.
  3. Укажите папки, Google Drive и календарь, которые нужно проиндексировать.

Минимальные требования к памяти и версии macOS Google на момент проверки не опубликовал.

  1. Установите приложение из Google Play (Android 12 и новее) или App Store (iOS 17 и новее). Без доступа к Google Play можно поставить APK со страницы последнего релиза. Ссылка на DMG-сборку для Mac есть в репозитории.
  2. Скачайте модель из списка внутри приложения. Для загрузки нужен интернет.
  3. Откройте Instant Media Search или Video Moments Finder.
⚠️
Внимание: демо на EmbeddingGemma 2 Google анонсировал для Android и iOS. Есть ли они в версии Gallery для Mac, в анонсе не сказано.

Полезные сценарии

Конспект созвона без облачного бота

  • Задача: получить подробный конспект встречи в Zoom или Meet, не подключая к звонку сторонний сервис записи.
  • Условие: Mac с Foresight и выданными разрешениями на звук.
  • Действие: во время встречи пишете короткие пункты, например «бюджет, уточнить» или «сроки, первый квартал».
  • Результат: каждый пункт дополнен деталями из расшифровки разговора.
  • Ограничение: запись собеседников без их согласия может нарушать закон и договорённости. Предупреждайте участников заранее.

Ответ из документов прямо на встрече

  • Задача: быстро ответить на вопрос клиента по договору или спецификации.
  • Условие: нужные папки уже проиндексированы.
  • Действие: включаете живую подсказку или задаёте вопрос в чате Foresight.
  • Результат: карточка с выдержкой и ссылкой на исходный файл.
  • Ограничение: ответ точен настолько, насколько полны и актуальны ваши источники. Сверяйте цитату с файлом, прежде чем озвучить её.

Найти снимок в галерее телефона по описанию

  • Задача: найти фото чека из ресторана или схемы на доске среди тысяч снимков.
  • Условие: Gallery с загруженной EmbeddingGemma 2 и доступом к медиатеке.
  • Действие: в Instant Media Search вводите описание или выбираете похожий снимок.
  • Результат: подходящие фото поднимаются в начало сетки по мере ввода.
  • Ограничение: первичная индексация большой медиатеки может занять заметное время. Это демо, оно не заменяет системную галерею.

Найти момент в длинном видео

  • Задача: найти в записи праздника момент с тортом.
  • Условие: локальный видеофайл на телефоне.
  • Действие: в Video Moments Finder выбираете видео и вводите описание сцены.
  • Результат: список таймкодов с подходящими моментами.
  • Ограничение: поиск идёт по визуальному и звуковому смыслу. Если нужна конкретная реплика, надёжнее искать по расшифровке, например через Audio Scribe.

Оценить локальный поиск перед разработкой

  • Задача: понять, справится ли целевое устройство с семантическим поиском без сервера.
  • Условие: смартфон, на котором будет работать будущее приложение.
  • Действие: запускаете демо и замер скорости моделей в Gallery, затем изучаете код в GitHub.
  • Результат: реальная задержка на вашем железе и рабочий пример реализации.
  • Ограничение: демо не воспроизводит нагрузку боевого приложения. Готовый API в ML Kit для Android Google обещает в ближайшие недели.

Как проверить, что обработка идёт локально

  • Gallery: после загрузки модели включите авиарежим и выполните поиск. Если результаты появляются, поиск работает на устройстве.
  • Foresight: отключите Wi-Fi, запустите запись, проговорите несколько фраз и добавьте короткую заметку. Если заметка дополнилась деталями из сказанного, расшифровка и обработка идут на Mac.
  • Google Drive в Foresight: для синхронизации облачных файлов нужна сеть. Как приложение работает с ними офлайн, в анонсе не уточняется.

Ограничения и когда не подходит

⚖️
Компромисс: приватность и офлайн-работа достигаются ценой экспериментального статуса и неизвестного качества на русском языке.
  • Оба приложения экспериментальные. Функции, интерфейс и доступность могут измениться.
  • Foresight работает только на Mac. Версии для Windows и мобильных устройств не анонсированы.
  • Качество распознавания русской речи и поиска на русском в анонсе не подтверждено.
  • Судя по описанию, Foresight рассчитан на личную работу. Для общих записей встреч с правами доступа для команды удобнее облачные сервисы.
  • Требования Foresight к оперативной памяти Mac официально не опубликованы.

Для разработчиков

  • Код Gallery открыт под лицензией Apache 2.0 и служит эталонной реализацией локального поиска.
  • Задачи MediaPipe Universal Embedder и Semantic Retriever берут на себя подготовку изображений и текста, а также поиск по индексу на iOS, macOS, Windows, Linux и в вебе.
  • LiteRT и LiteRT-LM подходят для тонкой настройки. Готовые квантованные файлы .litertlm лежат в сообществе LiteRT на Hugging Face.
  • Вектор по умолчанию имеет 768 измерений, его можно сократить до 128–512. По данным Google, это уменьшает размер индекса до 8 раз.

Ссылки

Следующий шаг

Чтобы понять, где ещё пригодится модель, на которой построены оба приложения, прочитайте EmbeddingGemma 2: маленькая модель для локального RAG.

Если вы выбираете, как вести заметки встреч и искать по рабочим документам без передачи данных в облако, полезно заранее решить, какие сценарии обязаны работать офлайн и на каком языке.

Если захотите обсудить, как это применить у себя или в команде — пишите в Telegram @pimenov