gigastt — локальный сервер распознавания русской речи на GigaAM v3

gigastt — локальный движок распознавания русской речи на GigaAM v3. Он работает как CLI, HTTP-сервер или встраиваемая библиотека: инференс выполняется на вашей машине, без облака, API-ключей и Python в рантайме.

Что входит в gigastt

gigastt — открытая обёртка на Rust вокруг моделей GigaAM. Конвейер включает декодирование аудио, построение мел-спектрограммы, Conformer-энкодер, RNN-T- или CTC-декодер, токенизатор и необязательную постобработку.

Использовать движок можно четырьмя способами:

• CLI для отдельных файлов, папок и наблюдения за каталогом;
• HTTP-сервер с REST, SSE и WebSocket;
• библиотека gigastt-core для Rust;
• привязки для встраивания: C-ABI, опубликованные пакеты для Node.js и Python.

Проект распространяется по MIT. На 6 сентября 2026 года в опубликованных контейнерах указана версия 2.20.0: доступны теги 2.20.0 и 2.20.0-cuda, а пример зависимости в документации — gigastt-core = "2.20".

gigastt и GigaAM — разные уровни стека

Модели и основные возможности

Модель ml_ctc имеет энкодер на 220 млн параметров и занимает около 225 МБ в INT8. Вариант ml_ctc_large содержит 600 млн параметров и занимает около 592 МБ. В лабораторных измерениях ml_ctc быстрее стандартной rnnt, но это вариант с приоритетом скорости, а не облегчённая по памяти версия. Его качество следует отдельно проверять на своих данных. Многоязычные CTC-варианты выдают строчный текст, поэтому для пунктуации и нормализации потребуется дополнительная обработка.

Точность, скорость и память

Опубликованные сравнительные измерения сделаны командой проекта на Apple M1, CPU, INT8, с единым тестовым конвейером. Для четырёх основных доменов использовалось около 1000 записей на домен и 95-процентные бутстрап-интервалы.

Разница между resident footprint и RSS возникает из-за отображённой в память модели. RSS включает общие страницы memory-mapped-файла, которые операционная система может освободить под давлением. Для планирования нагрузки полезно отслеживать обе метрики и воспроизводить измерения на своём сервере.

Что показывают сравнения

На чистой начитке оценки gigastt 3.55% и Vosk 0.54 2.97% имеют пересекающиеся доверительные интервалы. В опубликованной матрице это статистическая ничья. На дальнем поле, телефонии и YouTube gigastt показывает меньший WER среди участников этой матрицы, но Vosk и T-one работают быстрее.

Whisper полезнее при широкой многоязычности. Преимущество gigastt в сравнении с Whisper связано прежде всего с промежуточными результатами и компактной локальной упаковкой, а не с универсальностью по языкам.

Установка

# Homebrew: macOS arm64 и Linux x86_64
brew tap ekhodzitsky/gigastt https://github.com/ekhodzitsky/gigastt && brew install gigastt

# crates.io: protoc должен находиться в PATH
brew install protobuf
cargo install gigastt

# На Debian/Ubuntu вместо brew install protobuf:
# sudo apt install protobuf-compiler

# Готовый CPU-образ, amd64 и arm64
docker pull ghcr.io/ekhodzitsky/gigastt:latest
docker run -p 9876:9876 ghcr.io/ekhodzitsky/gigastt:latest

# CUDA 12+ на Linux x86_64
docker pull ghcr.io/ekhodzitsky/gigastt:cuda

Стандартный INT8-комплект модели размером около 225 МБ загружается при первом запуске или командой gigastt download. Рантайм использует готовые INT8-веса: отдельного FP32-пути загрузки или инференса нет.

Для собственного образа модель можно подготовить во время сборки:

docker build --build-arg GIGASTT_BAKE_MODEL=1 -t gigastt:baked .
docker run -p 9876:9876 gigastt:baked

Первые команды и проверка результата

# Один файл
gigastt transcribe recording.wav

# Папка с файлами
gigastt transcribe-batch samples/ out/

# Наблюдение за входной папкой
gigastt watch inbox/ out/ --move-to inbox/done/

# REST, SSE и WebSocket на одном порту
gigastt serve

После запуска проверьте готовность и выполните минимальную расшифровку:

curl http://127.0.0.1:9876/ready
curl -X POST http://127.0.0.1:9876/v1/transcribe -H 'Content-Type: application/octet-stream' --data-binary @recording.wav

Проверка успешна, если после загрузки модели /ready показывает готовность, а /v1/transcribe возвращает результат с распознанным текстом. HTTP-ответ сам по себе не подтверждает качество: сравните результат с ручной расшифровкой своего аудио, особенно если это телефон, переговорная или запись с фоновой музыкой.

Подключение по API

WebSocket-клиент подключается к ws://127.0.0.1:9876/v1/ws, передаёт конфигурацию и аудиокадры, затем получает сообщения partial и final. Для протокола 1.0 опубликованы типизированные клиенты на Go и TypeScript; переподключение учитывает retry_after_ms.

Если HTTP-сервер не нужен, движок можно подключить напрямую:

npm install gigastt
pip install gigastt

Для Rust:

[dependencies]
gigastt-core = "2.20"

Пакеты Node.js и Python опубликованы. Упаковка для SwiftPM и Kotlin AAR на дату проверки ещё находится в разработке.

Аппаратное ускорение и системные требования

Актуальные требования: Rust 1.94+, protoc для сборки, macOS 14+ на Apple Silicon, Linux x86_64 или aarch64 либо Windows x86_64. Для минимальной установки с моделью и бинарником закладывайте примерно 250–400 МБ диска. Модели пунктуации, VAD и диаризации потребуют дополнительного места.

Производительность на Raspberry Pi пока не опубликована. Наличие arm64-образа подтверждает возможность установки, но не доказывает пригодность для диктовки в реальном времени. RTF, холодный старт и потоковую задержку нужно измерять на конкретной плате.

Безопасный запуск сервера

Сервер по умолчанию работает на петлевом интерфейсе. Встроены список разрешённых Origin, ограничение частоты запросов, корректное завершение активных сессий и Prometheus-метрики на отдельном адресе, по умолчанию 127.0.0.1:9090.

При горячей перезагрузке сервер прогревает новый движок и атомарно заменяет старый. Дополнительный пик памяти после отображения модели в память не измерен, поэтому на ограниченном устройстве оставьте запас или перезапускайте процесс.

Полезные сценарии

1. Расшифровка интервью внутри контура. Передайте WAV, M4A или MP3 через CLI либо REST. Результатом будет текст или JSON с таймингами. Перед рабочим использованием проверьте WER на нескольких типичных записях.
2. Обработка стереозвонков. Включите --stereo-speakers в CLI или channels=split в REST. Левый и правый каналы получат метки speaker_0 и speaker_1. Этот режим нельзя совмещать с модельной диаризацией.
3. Голосовой ввод. Отправляйте аудио через WebSocket и показывайте пользователю partial, заменяя его после final. Учитывайте задержку около 0.8–1.7 с и более высокий WER относительно REST.
4. Папка на входе, текст на выходе. Команда watch подхватывает новые записи, создаёт результаты и переносит исходники в обработанный каталог. Успех можно проверить по появлению файлов в out/ и перемещению записи в inbox/done/.
5. Субтитры. Экспортируйте SRT или VTT с таймингами. Перед публикацией просмотрите границы сегментов и имена собственные вручную.
6. Локальная замена Whisper API. Укажите клиенту базовый URL собственного сервера и используйте /v1/audio/transcriptions. Совместимость относится к этому сценарию расшифровки и не означает поддержку всего OpenAI API.

Лицензии

Код gigastt и стандартные веса GigaAM распространяются по MIT, что допускает коммерческое использование при соблюдении условий лицензии. Необязательная модель спикеров WeSpeaker имеет лицензию CC BY 4.0 и требует сохранения атрибуции.

Что проверить при проблемах

Официальные ссылки

• Репозиторий и основная документация: github.com/ekhodzitsky/gigastt
• Архитектура: docs/architecture.md
• Контейнеры и теги: GitHub Container Registry
• Модели GigaAM: github.com/salute-developers/GigaAM
• Веса GigaAM v3: huggingface.co/ai-sage/GigaAM-v3

Следующий шаг

Если нужен другой локальный стек распознавания речи, сравните Silero Models — open-source модели речи на русском.

Связанные материалы

• Статья: Не диктовка, а диалог: новый голосовой режим Codex
• Блог: ChatGPT Voice приехал в десктоп — теперь голосом можно рулить агентами

Локальное распознавание полезно, когда записи разговоров нельзя передавать внешнему провайдеру или нужно встроить STT в собственное приложение.

Если захотите обсудить, как это применить у себя или в команде — пишите в Telegram @pimenov