5 лучших сервисов для онлайн-перевода видеотрансляций

13 Октябрь 2023

Время чтения: 24 минуты

Искусственный интеллект теперь заменяет и синхронных переводчиков.

Вебинары, собрания, тренинги, конференции, презентации продуктов, деловые встречи или прямые трансляции — все перечисленное прочно вошло в нашу жизнь. И все прекрасно, только в рабочих звонках и стримах часто приходится иметь дело с иностранным языком. И хорошо, если это английский. А что делать, например, с японским? Субтитров в стримах (и тем более, звонках) — не бывает. Сидеть, кивать головой и делать вид, что все понял? Нет! Мы расскажем об ИИ-сервисах для онлайн-перевода видеотрансляций и звонков.

Недавно в «Яндекс.Браузере» появился инструмент для автоматического синхронного перевода видеопотоков (стримов) в реальном времени. Полноценно сервис доступен только на платформе YouTube и, к тому же, ограничен несколькими каналами. Однако разработчики активно работают над расширением количества интеграций. Осенью 2023 года функция доступна только в «Яндекс.Браузере» для десктопа (на смартфонах и других мобильных устройствах она не работает).

Теперь можно смотреть прямые трансляции на иностранных каналах с максимальной отдачей — понимая, о чем идет речь, без необходимости знания английского и других языков.

Перевод стримов в Яндекс Браузере (бета)

На момент написания статьи (осень 2023 года) новый сервис «Яндекса» находится на стадии бета-тестирования.

Предварительные условия: работает только в «Яндекс.Браузере» с версии 22.7. Поддерживаемые операционные системы: Windows, macOS, Linux.

Судя по всему сейчас «Яндекс» просто собирает данные для дальнейшего развертывания продукта. Ведь функция появилась более года назад, но до сих пор она находится в бета-тесте.

Как это работает простыми словами

Новая функция «Яндекса» основана на той же нейросети, которая использовалась компанией ранее для автоматического перевода обычных видео. Напомним: появилась эта возможность еще в середине 2021 года.

Синхронный перевод видео — не такая уж новинка. Но вот для перевода стримов разработчикам пришлось писать многие решения вообще с нуля. Ведь синхронный перевод готового видео прост для нейросети тем, что она изначально имеет доступ к полной аудиодорожке (легче опознать контекст и предварительные условия). Но синхронный перевод стримов — гораздо сложнее. Нужно как минимум четыре нейросети: первая занимается обработкой аудио и затем конвертирует его в переведенный текст (все это в realtime-режиме), вторая нейросеть — определяет пол говорящего и переводит текст на русский, третья нейросеть — расставляет знаки препинания, выделяет смысловые фрагменты, четвертая нейросеть — озвучивает переведенный текст нужным голосом.

Проблемы и ограничения

При запуске функции синхронного перевода стримов «Яндекс» поддерживал перевод только на платформе YouTube. Разработчики планировали обучить сервис работать и с другими стриминговыми платформами, включая Twitch. Прошел год, а воз и ныне там: никаким «Твичем» даже не пахнет. Только YouTube и десяток каналов.

Уже становится понятно, что невозможно будет подключиться к прямому эфиру малоизвестного зарубежного стримера и моментально получить синхронный перевод. «Яндекс» будет продолжать внедрять функцию по аналогии с YouTube: только самые популярные стримеры, вероятнее всего, получат кнопку перевода трансляций.

Какие каналы можно смотреть

Сервис предлагает перевод с пяти различных языков: английского, испанского, итальянского, немецкого и французского. Вот какие категории каналов здесь доступны:

Каналы со стримами 24/7

NASA. Канал с миссиями и событиями NASA — от запуска ракет до пресс-конференций ученых, инженеров, пилотов.
English Speeches. Знаменитые речи на английском с субтитрами, которые помогут в изучении языка. Круглые сутки.

Обучение

English Speeches (см. выше).
TED. Лучшие выступления с конференции TED, где эксперты из разных сфер рассказывают о своём опыте за 18 минут или меньше.
TEDx. Международное сообщество, которое организует мероприятия в стиле TED везде и всюду.

Космос

NASA (см. выше).
SpaceX. Узнайте, как проектируются ракеты и когда в космос отправятся первые туристы.

Gaming news

IGN. IGN ежедневно выкладывает видеоролики о последних новостях игр и развлечений.
TheGameAwards. Ежегодная церемония награждения, отмечающая достижения в индустрии компьютерных игр.

Технологии

Apple. Новости о запусках продуктов, учебные материалы и другой интересный контент от компании Apple.
CNET Highlights. Подробные обзоры продуктов и последние новости от экспертов CNET по всему миру.
Google. Смотрите видео о продуктах, технологиях, событиях в компании и многом другом.
AMD. Обзоры, тесты, советы по разгону процессоров и интервью с инженерами.
HONOR. Новости, анонсы и обзоры смартфонов и планшетов Honor.
Huawei Mobile. Новости компании, анонсы и обзоры продуктов, новые функции, советы и подсказки.
Microsoft. Кейсы, интервью и другие видео о продуктах, технологиях и жизни в компании.
Microsoft 365. Обзоры, подсказки, обучение и новые возможности офисных продуктов Microsoft.
NVIDIA. Новости компании, кейсы и интервью.
NVIDIA Studio. Как работать с 2D и 3D в NVIDIA Studio: советы, подсказки и уроки.
POCO Global. Всё о смартфонах POCO: новости, технологии, анонсы, обзоры.
Samsung. Официальный канал про новости, технологии и продукты.
Xiaomi. Официальный канал Xiaomi. Новинки, обзоры, советы и другие видео о смартфонах и устройствах для умного дома.
Google Developers. Канал разработчиков Google с обзорами событий, обучающими видео и новостями продуктов и платформ.
TechCrunch. Медиа, посвященное стартапам, обзорам новых интернет-продуктов и новостям технологий.

Бизнес

Business Insider. Канал посвящен глобальным технологиям, финансам, рынкам и бизнесу в целом.
Bloomberg TV. Медиа для профессионалов в экономике, финансах, технологиях и в политике.
FREENVESTING. Вдохновляющий канал для тех, кто интересуется финансами и инвестициями.

Интервью со звездами

Overlap. Беседы со звёздами первой величины. Большое количество контента о футболе и не только.

Мало каналов? В случае, если вы постоянно смотрите какой-то популярный канал, но он не поддерживается, — пишите на want-stream@support.yandex.ru. «Яндекс» заявляет, что всегда готов рассмотреть возможность добавления новых каналов.

А теперь — несколько зарубежных альтернатив отечественному сервису:

Субтитры от Felo: Перевод в реальном времени с помощью ChatGPT

Сайт: chrome.google.com/webstore/detail/felo-subtitles-chatgpt-li/ponokiofkijoolhebggofhhibnafebna?hl=ru

Felo Subtitles — инструмент для перевода стримов, прямых трансляций, конференций, иных онлайн-встреч. Обеспечивает автоматический перевод контента в реальном времени. Интересно, что это полностью японский продукт.

Поддерживает множество платформ видеоконференций (от Zoom и Google Meet до Microsoft Teams и YouTube) и более 10 языков, среди которых и русский. С Felo вы можете быть уверены в точности и надежности переведенного контента. Поддерживает расширение только официальные платформы — на сервисах, созданных для обхода блокировок и копирующих функционал популярных платформ, расширение работать не будет.

Felo — это многопользовательский перевод субтитров в реальном времени. Облегчает межъязыковое общение на совещаниях, онлайн-курсах и прямых трансляциях.

Как пользоваться

Шаг 1. Скачайте. Загрузите расширение для Google Chrome.

Шаг 2. Запустите встречу. Начните совещание в Zoom / Google Meet / MS Teams.

Шаг 3. Запустите плагин. Felo сделает транскрибирование и перевод субтитров в полностью автоматическом режиме.

Особенности

Felo дает следующие возможности:

– Перевод субтитров на YouTube в режиме реального времени;

– Предоставление двуязычных субтитров во время стримов YouTube;

– Мгновенный перевод субтитров с видео на YouTube;

– Возможность загрузки переведенных субтитров в формате TXT;

– Поддержка одноязычных или двуязычных субтитров.

Felo способен обрабатывать три языка одновременно, обеспечивая мгновенный перевод менее чем за одну секунду.

Разработчик заявляет: «Мы гарантируем безопасность и конфиденциальность ваших данных, так как не используем роботизированных помощников».

Skype

Сайт: skype.com

Старый-добрый «Скайп». Могло показаться, что сервис остановился на своем уровне развития двадцать лет назад, но это не так — сегодня в Skype появился онлайн-перевод видеозвонков.

Онлайн-перевод звонков в Skype доступен для нескольких языков (английский, русский, испанский, французский, немецкий, китайский и другие).

Искусственный интеллект и нейросети помогают переводить любые видеозвонки (чувствуете разницу по сравнению с «Яндексом»?) в режиме реального времени на основе вашего голоса. Простыми словами, в новой версии Skype вы можете общаться с человеком на другом языке и переводить разговор автоматически, сразу во время звонка. Это значительно упрощает общение. Даже, если ваш собеседник китаец, например, а вы вообще не говорите на мандаринском наречии.

В зарубежных СМИ много положительных отзывов от компаний о новой функции: проводить встречи и митапы с партнерами из других стран стало намного проще, а некоторые рецензенты воодушевились настолько, что заявляют: переводчик больше не понадобится.

Как работает

Skype использует ИИ для определения языка разговора и перевода его в режиме реального времени. Известно, что собственная модель Skype использует распознавание речи и анализ естественного языка. Как и у «Яндекса» сочетание несколько нейросетей позволяет «Скайпу» сходу понимать, интерпретировать и сразу переводить оригинальный звук из потокового видео на другой язык.

Как использовать

Чтобы активировать эту функцию во время разговора, зайдите в меню «Еще» с тремя точками и выберите пункт «Перевести». Skype подскажет обоим участникам, как начать перевод.

В отличие от других подобных сервисов, Skype также использует ИИ + нейросети для сэмплирования ваших ответов (голос, слова) — чтобы по итогу перевод и сам разговор были более «человеческими».

В ближайшее время (зима 2023 года) перевод в реальном времени в Skype с помощью естественного голоса появится в групповых видеозвонках и телефонии.

interprefy.com

Сайт: https://www.interprefy.com

Тут у нас сразу заход с козырей: «Помогаем устранить языковые барьеры даже на самых уникальных встречах. Мы обеспечили поддержку более 50 000 многоязычных встреч, конференций, виртуальных саммитов и метавселенных, включая полеты астронавтов на МКС и арктические экспедиции». Впечатляет? Ну по крайней мере — это описание сервиса для онлайн-перевода видеотрансляций на сайте разработчика.

Письменный и устный перевод в режиме реального времени для многоязычных онлайн-встреч. Есть поддержка звонков в Zoom, Webex, MS Teams и других подобных сервисов. Кстати, любопытно, что Interprefy также снабжает разные оффлайн- и онлайн-ивенты профессиональными конференц-переводчиками и занимается производством субтитров для фильмов.

В конце 2023 года Interprefy Aivia позволяет переводить с 45 языков на 74 языка (русский есть в обоих списках), но разработчики обещают расширить этот список.

Особенности

Перевод речи с помощью искусственного интеллекта. Участники конфы следят за ходом совещания на том языке, которые интересен им.
Профессиональный перевод. Удаленный синхронный перевод от живых людей, которые являются носителями языка.
Субтитры. Неплохие по качеству субтитры, которые генерируются в режиме реального времени.
Поддержка более 60 сервисов созвонов, видеозвонков, конференци. Количество интеграций регулярно растет.

Мультиплатформенность. Благодаря куче плагинов и интеграций (+API) Interprefy можно соединить с любой с платформой для проведения звонков. Мобильные, веб- и десктоп-приложения поддерживаются уже из коробки.

Сертификат ISO 27001. Разработчик уверяет, что во всех продуктах обеспечивает безопасность передаваемых данных (методы: шифрование потоковой передачи, активная директория, 2FA и другие).

О субтитрах. Interprefy Aivia может показывать автоматические переводные субтитры более чем для 78 языков.

И еще три достоинства сервиса:

Запись. Умеет записывать, редактировать, расшифровывать любой стрим, трансляцию.
Профессиональные переводчики-люди. По запросу вам подберут живых переводчиков на любой язык.
Лучшие нейросети и языковые модели с ИИ. Примечательно, что сервис сравнивает разные системы ИИ для каждого языка и подбирает лучшие.

Stenomatic

Сайт: https://www.stenomatic.ai/

Stenomatic — еще один сервис для синхронного и устного перевода в реальном времени. Отлично справляется с переводом звонков, конференций, стримов.

В отличие от предыдущих инструментов, Stenomatic — максимально автоматизированный сервис. Достаточно один раз настроить его и далее вы будете сразу же получать результат, без каких-либо танцев с бубном (как в других инструментах).

Особенности:

Независимость от платформы. Stenomatic работает с любыми сервисами для видеозвонков, конференц-платформами и вообще любыми приложениями для потоковой передачи видео.
Не требуется загрузка приложений для просмотра. Перевод и расшифровка выступления докладчика доступна по простой ссылке, которую может открыть любой желающий. Всё работает даже на мобильных устройствах.
Минимальная настройка. Подключение и настройка инструмента занимает не более трёх-пяти минут.
Поддерживается более 70 языков, включая русский.
Технологии устного перевода, основанные на ИИ, нейросетях и машинном обучении.