EmbeddingGemma 2 попробовали использовать для распознавания речи. Shahir сообщил в X, что его решение расшифровывает час аудио примерно за 13 секунд на базовом MacBook Air M3. Это результат, заявленный автором эксперимента; независимой проверки в переданных источниках нет.

Идея опирается на устройство модели. Согласно официальной карточке EmbeddingGemma 2, она представляет текст, изображения, видео и аудио в общем пространстве из 768 числовых координат. Такие представления называют эмбеддингами: они позволяют сопоставлять содержание разных форматов по смыслу.

Автор предположил, что близость представлений речи и текста можно использовать для получения расшифровки. Но смысловая близость сама по себе ещё не гарантирует восстановление каждого слова и его места в предложении. В переданном посте нет описания того, как именно устроено преобразование в текст.

Google описывает EmbeddingGemma 2 как открытую мультимодальную модель для поиска, классификации и других задач с эмбеддингами на потребительских устройствах.

Эксперимент интересен как попытка получить новую функцию из модели, созданной для другой задачи. Следующий полезный результат здесь — воспроизводимый тест на реальной записи с подсчётом ошибок. Тогда станет понятно, пригодится ли подход для расшифровки встреч или его преимущество пока ограничено скоростью на конкретном примере.

Если вы выбираете локальную транскрибацию для встреч или аудиоархива, полезно заранее определить допустимые ошибки и записи для проверки.

Если захотите обсудить, как это применить у себя или в команде — пишите в Telegram @pimenov