Эта нейросеть заговорит вашим голосом – нужно всего 3 секунды сэмпла

12 Январь 2023

Время чтения: 6 минут

К сожалению или счастью, воспользоваться ей каждому пока нельзя.

Microsoft опубликовала препринт научной статьи (исследование, которое еще не прошло рецензирование экспертов и не было опубликовано в научном журнале), в котором подробно рассказала про свою нейросеть VALL-E. Этот алгоритм может воссоздавать голос говорящего всего по 3 секундам аудиозаписи голоса.

Как работает VALL-E

Microsoft называет VALL-E «языковой моделью нейронного кодека». Сообщается, что нейросеть основана на технологии под названием EnCodec, которую анонсировала компания Meta* в октябре 2022 года.

В отличие от других методов преобразования текста в речь, которые обычно синтезируют голос, изменяя форму звуковых сигналов, VALL-E анализирует, как звучит голос человека, разбивает эту информацию на отдельные компоненты (называемые «токены») при помощи EnCodec, а затем обрабатывает информацию нейросетевыми алгоритмами. Это позволяет программе собрать воедино все, что она «знает» о звучании голоса и воспроизвести другие фразы этим же голосом.

А у TexTerra вы можете заказать разработку приложения — сделаем быстро и качественно.

Вот как это описывает сама Microsoft:

«Для синтеза персонализированной речи VALL-E генерирует соответствующие акустические маркеры, основанные на 3-секундной записи и введенной подсказке. Они позволяют лучше интерпретировать информацию о говорящем и содержимом соответственно. Сгенерированные акустические маркеры используются для синтеза конечной формы сигнала».

Microsoft обучила VALL-E на аудиобиблиотеке LibriLight, собранной компанией Meta*. Она содержит 60 000 часов англоязычной речи от более чем 7000 ораторов. Такой массив компания получила по большей части из аудиокниг без авторского права LibriVox.

Создание звука нейросетью

На сегодняшний день ни исходного кода, ни какой-либо тестовой модели новой нейросети в общем доступе нет. Однако на сайте VALL-E есть десятки образцов работы нейросети, которые можно прослушать и сделать вывод о возможностях алгоритма.

Пролистав сайт нейросети ниже, можно увидеть несколько больших таблиц. В колонке Text находится расшифровка произносимых фраз, в колонке Ground Truth содержится образец реального голоса человека, который произнес ту или иную фразу, в столбце Speaker Prompt — образец голоса, на котором обучилась нейросеть, а в столбце VALL-E — озвученный нейросетью текст на основе 3-секундного отрывка из Speaker Prompt.

Сравнивая оригиналы произнесенных фраз и сгенерированную VALL-E версию, можно увидеть различия как в темпе речи, так и в интонациях, однако присутствие нейросети ни в одном из образцов не угадывается. Да, они получаются в итоге немного разными, однако нейросеть — не бог и не экстрасенс и не должна воссоздавать все интонации говорящего человека. Тем более, если речь идет лишь о 3-секундной обучающей выборке.

Есть все основания предполагать, что пара десятков минут записи вашего голоса позволит VALL-E с легкостью озвучивать вас, передавая даже эмоции в голосе и ваши любимые интонации. Как вам такая перспектива? Уже напрягает немного?