Искусственный интеллект теперь заменяет и синхронных переводчиков.

Вебинары, собрания, тренинги, конференции, презентации продуктов, деловые встречи или прямые трансляции — все перечисленное прочно вошло в нашу жизнь. И все прекрасно, только в рабочих звонках и стримах часто приходится иметь дело с иностранным языком. И хорошо, если это английский. А что делать, например, с японским? Субтитров в стримах (и тем более, звонках) — не бывает. Сидеть, кивать головой и делать вид, что все понял? Нет! Мы расскажем об ИИ-сервисах для онлайн-перевода видеотрансляций и звонков.

Недавно в «Яндекс.Браузере» появился инструмент для автоматического синхронного перевода видеопотоков (стримов) в реальном времени. Полноценно сервис доступен только на платформе YouTube и, к тому же, ограничен несколькими каналами. Однако разработчики активно работают над расширением количества интеграций. Осенью 2023 года функция доступна только в «Яндекс.Браузере» для десктопа (на смартфонах и других мобильных устройствах она не работает).

Теперь можно смотреть прямые трансляции на иностранных каналах с максимальной отдачей — понимая, о чем идет речь, без необходимости знания английского и других языков.

Перевод стримов в Яндекс Браузере (бета)

На момент написания статьи (осень 2023 года) новый сервис «Яндекса» находится на стадии бета-тестирования.

Предварительные условия: работает только в «Яндекс.Браузере» с версии 22.7. Поддерживаемые операционные системы: Windows, macOS, Linux.

Судя по всему сейчас «Яндекс» просто собирает данные для дальнейшего развертывания продукта. Ведь функция появилась более года назад, но до сих пор она находится в бета-тесте.

Как это работает простыми словами

Новая функция «Яндекса» основана на той же нейросети, которая использовалась компанией ранее для автоматического перевода обычных видео. Напомним: появилась эта возможность еще в середине 2021 года.

Синхронный перевод видео — не такая уж новинка. Но вот для перевода стримов разработчикам пришлось писать многие решения вообще с нуля. Ведь синхронный перевод готового видео прост для нейросети тем, что она изначально имеет доступ к полной аудиодорожке (легче опознать контекст и предварительные условия). Но синхронный перевод стримов — гораздо сложнее. Нужно как минимум четыре нейросети: первая занимается обработкой аудио и затем конвертирует его в переведенный текст (все это в realtime-режиме), вторая нейросеть — определяет пол говорящего и переводит текст на русский, третья нейросеть — расставляет знаки препинания, выделяет смысловые фрагменты, четвертая нейросеть — озвучивает переведенный текст нужным голосом.

Проблемы и ограничения

При запуске функции синхронного перевода стримов «Яндекс» поддерживал перевод только на платформе YouTube. Разработчики планировали обучить сервис работать и с другими стриминговыми платформами, включая Twitch. Прошел год, а воз и ныне там: никаким «Твичем» даже не пахнет. Только YouTube и десяток каналов.

Уже становится понятно, что невозможно будет подключиться к прямому эфиру малоизвестного зарубежного стримера и моментально получить синхронный перевод. «Яндекс» будет продолжать внедрять функцию по аналогии с YouTube: только самые популярные стримеры, вероятнее всего, получат кнопку перевода трансляций.

Какие каналы можно смотреть

Сервис предлагает перевод с пяти различных языков: английского, испанского, итальянского, немецкого и французского. Вот какие категории каналов здесь доступны:

Каналы со стримами 24/7

  1. NASA. Канал с миссиями и событиями NASA — от запуска ракет до пресс-конференций ученых, инженеров, пилотов.
  2. English Speeches. Знаменитые речи на английском с субтитрами, которые помогут в изучении языка. Круглые сутки.

Обучение

  1. English Speeches (см. выше).
  2. TED. Лучшие выступления с конференции TED, где эксперты из разных сфер рассказывают о своём опыте за 18 минут или меньше.
  3. TEDx. Международное сообщество, которое организует мероприятия в стиле TED везде и всюду.

Космос

  1. NASA (см. выше).
  2. SpaceX. Узнайте, как проектируются ракеты и когда в космос отправятся первые туристы.

Gaming news

  1. IGN. IGN ежедневно выкладывает видеоролики о последних новостях игр и развлечений.
  2. TheGameAwards. Ежегодная церемония награждения, отмечающая достижения в индустрии компьютерных игр.

Технологии

  1. Apple. Новости о запусках продуктов, учебные материалы и другой интересный контент от компании Apple.
  2. CNET Highlights. Подробные обзоры продуктов и последние новости от экспертов CNET по всему миру.
  3. Google. Смотрите видео о продуктах, технологиях, событиях в компании и многом другом.
  4. AMD. Обзоры, тесты, советы по разгону процессоров и интервью с инженерами.
  5. HONOR. Новости, анонсы и обзоры смартфонов и планшетов Honor.
  6. Huawei Mobile. Новости компании, анонсы и обзоры продуктов, новые функции, советы и подсказки.
  7. Microsoft. Кейсы, интервью и другие видео о продуктах, технологиях и жизни в компании.
  8. Microsoft 365. Обзоры, подсказки, обучение и новые возможности офисных продуктов Microsoft.
  9. NVIDIA. Новости компании, кейсы и интервью.
  10. NVIDIA Studio. Как работать с 2D и 3D в NVIDIA Studio: советы, подсказки и уроки.
  11. POCO Global. Всё о смартфонах POCO: новости, технологии, анонсы, обзоры.
  12. Samsung. Официальный канал про новости, технологии и продукты.
  13. Xiaomi. Официальный канал Xiaomi. Новинки, обзоры, советы и другие видео о смартфонах и устройствах для умного дома.
  14. Google Developers. Канал разработчиков Google с обзорами событий, обучающими видео и новостями продуктов и платформ.
  15. TechCrunch. Медиа, посвященное стартапам, обзорам новых интернет-продуктов и новостям технологий.

Бизнес

  1. Business Insider. Канал посвящен глобальным технологиям, финансам, рынкам и бизнесу в целом.
  2. Bloomberg TV. Медиа для профессионалов в экономике, финансах, технологиях и в политике.
  3. FREENVESTING. Вдохновляющий канал для тех, кто интересуется финансами и инвестициями.

Интервью со звездами

  1. Overlap. Беседы со звёздами первой величины. Большое количество контента о футболе и не только.

Мало каналов? В случае, если вы постоянно смотрите какой-то популярный канал, но он не поддерживается, — пишите на want-stream@support.yandex.ru. «Яндекс» заявляет, что всегда готов рассмотреть возможность добавления новых каналов.

А теперь — несколько зарубежных альтернатив отечественному сервису:

Субтитры от Felo: Перевод в реальном времени с помощью ChatGPT

Сайт: chrome.google.com/webstore/detail/felo-subtitles-chatgpt-li/ponokiofkijoolhebggofhhibnafebna?hl=ru

Felo Subtitles — инструмент для перевода стримов, прямых трансляций, конференций, иных онлайн-встреч. Обеспечивает автоматический перевод контента в реальном времени. Интересно, что это полностью японский продукт.

Поддерживает множество платформ видеоконференций (от Zoom и Google Meet до Microsoft Teams и YouTube) и более 10 языков, среди которых и русский. С Felo вы можете быть уверены в точности и надежности переведенного контента. Поддерживает расширение только официальные платформы — на сервисах, созданных для обхода блокировок и копирующих функционал популярных платформ, расширение работать не будет.

Felo — это многопользовательский перевод субтитров в реальном времени. Облегчает межъязыковое общение на совещаниях, онлайн-курсах и прямых трансляциях.

Как пользоваться

Шаг 1. Скачайте. Загрузите расширение для Google Chrome.

Шаг 2. Запустите встречу. Начните совещание в Zoom / Google Meet / MS Teams.

Шаг 3. Запустите плагин. Felo сделает транскрибирование и перевод субтитров в полностью автоматическом режиме.

Особенности

Felo дает следующие возможности:

– Перевод субтитров на YouTube в режиме реального времени;

– Предоставление двуязычных субтитров во время стримов YouTube;

– Мгновенный перевод субтитров с видео на YouTube;

– Возможность загрузки переведенных субтитров в формате TXT;

– Поддержка одноязычных или двуязычных субтитров.

Felo способен обрабатывать три языка одновременно, обеспечивая мгновенный перевод менее чем за одну секунду.

Разработчик заявляет: «Мы гарантируем безопасность и конфиденциальность ваших данных, так как не используем роботизированных помощников».

Skype

Сайт: skype.com

Старый-добрый «Скайп». Могло показаться, что сервис остановился на своем уровне развития двадцать лет назад, но это не так — сегодня в Skype появился онлайн-перевод видеозвонков.

Онлайн-перевод звонков в Skype доступен для нескольких языков (английский, русский, испанский, французский, немецкий, китайский и другие).

Искусственный интеллект и нейросети помогают переводить любые видеозвонки (чувствуете разницу по сравнению с «Яндексом»?) в режиме реального времени на основе вашего голоса. Простыми словами, в новой версии Skype вы можете общаться с человеком на другом языке и переводить разговор автоматически, сразу во время звонка. Это значительно упрощает общение. Даже, если ваш собеседник китаец, например, а вы вообще не говорите на мандаринском наречии.

В зарубежных СМИ много положительных отзывов от компаний о новой функции: проводить встречи и митапы с партнерами из других стран стало намного проще, а некоторые рецензенты воодушевились настолько, что заявляют: переводчик больше не понадобится.

Как работает

Skype использует ИИ для определения языка разговора и перевода его в режиме реального времени. Известно, что собственная модель Skype использует распознавание речи и анализ естественного языка. Как и у «Яндекса» сочетание несколько нейросетей позволяет «Скайпу» сходу понимать, интерпретировать и сразу переводить оригинальный звук из потокового видео на другой язык.

Как использовать

Чтобы активировать эту функцию во время разговора, зайдите в меню «Еще» с тремя точками и выберите пункт «Перевести». Skype подскажет обоим участникам, как начать перевод.

В отличие от других подобных сервисов, Skype также использует ИИ + нейросети для сэмплирования ваших ответов (голос, слова) — чтобы по итогу перевод и сам разговор были более «человеческими».

В ближайшее время (зима 2023 года) перевод в реальном времени в Skype с помощью естественного голоса появится в групповых видеозвонках и телефонии.

interprefy.com

Сайт: https://www.interprefy.com

Тут у нас сразу заход с козырей: «Помогаем устранить языковые барьеры даже на самых уникальных встречах. Мы обеспечили поддержку более 50 000 многоязычных встреч, конференций, виртуальных саммитов и метавселенных, включая полеты астронавтов на МКС и арктические экспедиции». Впечатляет? Ну по крайней мере — это описание сервиса для онлайн-перевода видеотрансляций на сайте разработчика.

Письменный и устный перевод в режиме реального времени для многоязычных онлайн-встреч. Есть поддержка звонков в Zoom, Webex, MS Teams и других подобных сервисов. Кстати, любопытно, что Interprefy также снабжает разные оффлайн- и онлайн-ивенты профессиональными конференц-переводчиками и занимается производством субтитров для фильмов.

В конце 2023 года Interprefy Aivia позволяет переводить с 45 языков на 74 языка (русский есть в обоих списках), но разработчики обещают расширить этот список.

Особенности

  • Перевод речи с помощью искусственного интеллекта. Участники конфы следят за ходом совещания на том языке, которые интересен им.
  • Профессиональный перевод. Удаленный синхронный перевод от живых людей, которые являются носителями языка.
  • Субтитры. Неплохие по качеству субтитры, которые генерируются в режиме реального времени.
  • Поддержка более 60 сервисов созвонов, видеозвонков, конференци. Количество интеграций регулярно растет.

Мультиплатформенность. Благодаря куче плагинов и интеграций (+API) Interprefy можно соединить с любой с платформой для проведения звонков. Мобильные, веб- и десктоп-приложения поддерживаются уже из коробки.

Сертификат ISO 27001. Разработчик уверяет, что во всех продуктах обеспечивает безопасность передаваемых данных (методы: шифрование потоковой передачи, активная директория, 2FA и другие).

О субтитрах. Interprefy Aivia может показывать автоматические переводные субтитры более чем для 78 языков.

И еще три достоинства сервиса:

  1. Запись. Умеет записывать, редактировать, расшифровывать любой стрим, трансляцию.
  2. Профессиональные переводчики-люди. По запросу вам подберут живых переводчиков на любой язык.
  3. Лучшие нейросети и языковые модели с ИИ. Примечательно, что сервис сравнивает разные системы ИИ для каждого языка и подбирает лучшие.

Stenomatic

Сайт: https://www.stenomatic.ai/

Stenomatic — еще один сервис для синхронного и устного перевода в реальном времени. Отлично справляется с переводом звонков, конференций, стримов.

В отличие от предыдущих инструментов, Stenomatic — максимально автоматизированный сервис. Достаточно один раз настроить его и далее вы будете сразу же получать результат, без каких-либо танцев с бубном (как в других инструментах).

Особенности:

  • Независимость от платформы. Stenomatic работает с любыми сервисами для видеозвонков, конференц-платформами и вообще любыми приложениями для потоковой передачи видео.
  • Не требуется загрузка приложений для просмотра. Перевод и расшифровка выступления докладчика доступна по простой ссылке, которую может открыть любой желающий. Всё работает даже на мобильных устройствах.
  • Минимальная настройка. Подключение и настройка инструмента занимает не более трёх-пяти минут.
  • Поддерживается более 70 языков, включая русский.
  • Технологии устного перевода, основанные на ИИ, нейросетях и машинном обучении.

Читайте также:

28 лучших нейросетей для видео: проверенный список

20 советов по использованию видео в SMM

Онлайн-переводчики текста через камеру телефона — 5 бесплатных

#
Гайды
© «TexTerra», при полном или частичном копировании материала ссылка на первоисточник обязательна.