Лаборатория Block, компании Джека Дорси, показала в X Dessa — речевую модель, которую с нуля обучили только на записях человеческих разговоров. Ни текста, ни готовых предобученных моделей: всё, что Dessa знает о языке и мире, она получила на слух.

Обычный голосовой ассистент работает как переводчик с блокнотом: записывает вашу речь текстом, отвечает текстом и зачитывает ответ вслух. По дороге теряется всё, что не передаётся буквами: сарказм, вздох, смех, дрожь в голосе. Dessa устроена по схеме «речь в речь» (speech-to-speech): на входе звук, на выходе звук. Она полнодуплексная (full-duplex), то есть слушает и говорит одновременно, вставляет «ага» и «ого», понимает, когда можно перебить.

На странице модели выложены живые записи разговоров. Dessa смеётся сразу, посреди фразы. Просят говорить громче — говорит громче, хотя этому её отдельно не учили. Подсказывает название фильма, которое собеседник забыл. В одной из записей она болтает с GPT-Live-1 от OpenAI.

Слов для обучения понадобилось в сотни раз меньше, чем большим языковым моделям, а всё обучение уместилось на одной системе NVIDIA GB200 NVL72. Модель отвечает быстрее реального времени и запускается локально на MacBook Pro с M4 Max или мощнее. Руководитель Dessa Рагаван Турайратнам назвал релиз «моментом GPT-3 для речи».

Лаборатория очень маленькая и подчиняется напрямую Дорси. Главным аргументом команда называет безопасность: ИИ становится всё самостоятельнее, но почти не слышит эмоций. Человеку может быть по-настоящему плохо, а голосовой помощник бодро продолжает по сценарию.

Пока это исследовательское превью (research preview): ранний доступ получает небольшая группа исследователей безопасности ИИ. Как быстро такая модель осваивает новые языки, команда называет открытым вопросом, о русском в анонсе ничего нет.

Следующий шаг

Если вы прикидываете, где голосовой агент может заменить у вас форму, звонок или текстовый чат и какие модели для этого уже годятся, это удобнее разобрать на ваших сценариях.

Если захотите обсудить, как это применить у себя или в команде — пишите в Telegram @pimenov