Вебинары, собрания, тренинги, конференции, презентации продуктов, деловые встречи или прямые трансляции — все перечисленное прочно вошло в нашу жизнь. И все прекрасно, только в рабочих звонках и стримах часто приходится иметь дело с иностранным языком. И хорошо, если это английский. А что делать, например, с японским? Субтитров в стримах (и тем более, звонках) — не бывает. Сидеть, кивать головой и делать вид, что все понял? Нет! Мы расскажем об ИИ-сервисах для онлайн-перевода видеотрансляций и звонков.
Недавно в «Яндекс.Браузере» появился инструмент для автоматического синхронного перевода видеопотоков (стримов) в реальном времени. Полноценно сервис доступен только на платформе YouTube и, к тому же, ограничен несколькими каналами. Однако разработчики активно работают над расширением количества интеграций. Осенью 2023 года функция доступна только в «Яндекс.Браузере» для десктопа (на смартфонах и других мобильных устройствах она не работает).
Теперь можно смотреть прямые трансляции на иностранных каналах с максимальной отдачей — понимая, о чем идет речь, без необходимости знания английского и других языков.
Перевод стримов в Яндекс Браузере (бета)
На момент написания статьи (осень 2023 года) новый сервис «Яндекса» находится на стадии бета-тестирования.
Предварительные условия: работает только в «Яндекс.Браузере» с версии 22.7. Поддерживаемые операционные системы: Windows, macOS, Linux.
Судя по всему сейчас «Яндекс» просто собирает данные для дальнейшего развертывания продукта. Ведь функция появилась более года назад, но до сих пор она находится в бета-тесте.
Как это работает простыми словами
Новая функция «Яндекса» основана на той же нейросети, которая использовалась компанией ранее для автоматического перевода обычных видео. Напомним: появилась эта возможность еще в середине 2021 года.
Синхронный перевод видео — не такая уж новинка. Но вот для перевода стримов разработчикам пришлось писать многие решения вообще с нуля. Ведь синхронный перевод готового видео прост для нейросети тем, что она изначально имеет доступ к полной аудиодорожке (легче опознать контекст и предварительные условия). Но синхронный перевод стримов — гораздо сложнее. Нужно как минимум четыре нейросети: первая занимается обработкой аудио и затем конвертирует его в переведенный текст (все это в realtime-режиме), вторая нейросеть — определяет пол говорящего и переводит текст на русский, третья нейросеть — расставляет знаки препинания, выделяет смысловые фрагменты, четвертая нейросеть — озвучивает переведенный текст нужным голосом.
Проблемы и ограничения
При запуске функции синхронного перевода стримов «Яндекс» поддерживал перевод только на платформе YouTube. Разработчики планировали обучить сервис работать и с другими стриминговыми платформами, включая Twitch. Прошел год, а воз и ныне там: никаким «Твичем» даже не пахнет. Только YouTube и десяток каналов.
Уже становится понятно, что невозможно будет подключиться к прямому эфиру малоизвестного зарубежного стримера и моментально получить синхронный перевод. «Яндекс» будет продолжать внедрять функцию по аналогии с YouTube: только самые популярные стримеры, вероятнее всего, получат кнопку перевода трансляций.
Какие каналы можно смотреть
Сервис предлагает перевод с пяти различных языков: английского, испанского, итальянского, немецкого и французского. Вот какие категории каналов здесь доступны:
Каналы со стримами 24/7
- NASA. Канал с миссиями и событиями NASA — от запуска ракет до пресс-конференций ученых, инженеров, пилотов.
- English Speeches. Знаменитые речи на английском с субтитрами, которые помогут в изучении языка. Круглые сутки.
Обучение
- English Speeches (см. выше).
- TED. Лучшие выступления с конференции TED, где эксперты из разных сфер рассказывают о своём опыте за 18 минут или меньше.
- TEDx. Международное сообщество, которое организует мероприятия в стиле TED везде и всюду.
Космос
- NASA (см. выше).
- SpaceX. Узнайте, как проектируются ракеты и когда в космос отправятся первые туристы.
Gaming news
- IGN. IGN ежедневно выкладывает видеоролики о последних новостях игр и развлечений.
- TheGameAwards. Ежегодная церемония награждения, отмечающая достижения в индустрии компьютерных игр.
Технологии
- Apple. Новости о запусках продуктов, учебные материалы и другой интересный контент от компании Apple.
- CNET Highlights. Подробные обзоры продуктов и последние новости от экспертов CNET по всему миру.
- Google. Смотрите видео о продуктах, технологиях, событиях в компании и многом другом.
- AMD. Обзоры, тесты, советы по разгону процессоров и интервью с инженерами.
- HONOR. Новости, анонсы и обзоры смартфонов и планшетов Honor.
- Huawei Mobile. Новости компании, анонсы и обзоры продуктов, новые функции, советы и подсказки.
- Microsoft. Кейсы, интервью и другие видео о продуктах, технологиях и жизни в компании.
- Microsoft 365. Обзоры, подсказки, обучение и новые возможности офисных продуктов Microsoft.
- NVIDIA. Новости компании, кейсы и интервью.
- NVIDIA Studio. Как работать с 2D и 3D в NVIDIA Studio: советы, подсказки и уроки.
- POCO Global. Всё о смартфонах POCO: новости, технологии, анонсы, обзоры.
- Samsung. Официальный канал про новости, технологии и продукты.
- Xiaomi. Официальный канал Xiaomi. Новинки, обзоры, советы и другие видео о смартфонах и устройствах для умного дома.
- Google Developers. Канал разработчиков Google с обзорами событий, обучающими видео и новостями продуктов и платформ.
- TechCrunch. Медиа, посвященное стартапам, обзорам новых интернет-продуктов и новостям технологий.
Бизнес
- Business Insider. Канал посвящен глобальным технологиям, финансам, рынкам и бизнесу в целом.
- Bloomberg TV. Медиа для профессионалов в экономике, финансах, технологиях и в политике.
- FREENVESTING. Вдохновляющий канал для тех, кто интересуется финансами и инвестициями.
Интервью со звездами
- Overlap. Беседы со звёздами первой величины. Большое количество контента о футболе и не только.
Мало каналов? В случае, если вы постоянно смотрите какой-то популярный канал, но он не поддерживается, — пишите на want-stream@support.yandex.ru. «Яндекс» заявляет, что всегда готов рассмотреть возможность добавления новых каналов.
А теперь — несколько зарубежных альтернатив отечественному сервису:
Субтитры от Felo: Перевод в реальном времени с помощью ChatGPT
Сайт: chrome.google.com/webstore/detail/felo-subtitles-chatgpt-li/ponokiofkijoolhebggofhhibnafebna?hl=ru
Felo Subtitles — инструмент для перевода стримов, прямых трансляций, конференций, иных онлайн-встреч. Обеспечивает автоматический перевод контента в реальном времени. Интересно, что это полностью японский продукт.
Поддерживает множество платформ видеоконференций (от Zoom и Google Meet до Microsoft Teams и YouTube) и более 10 языков, среди которых и русский. С Felo вы можете быть уверены в точности и надежности переведенного контента. Поддерживает расширение только официальные платформы — на сервисах, созданных для обхода блокировок и копирующих функционал популярных платформ, расширение работать не будет.
Felo — это многопользовательский перевод субтитров в реальном времени. Облегчает межъязыковое общение на совещаниях, онлайн-курсах и прямых трансляциях.
Как пользоваться
Шаг 1. Скачайте. Загрузите расширение для Google Chrome.
Шаг 2. Запустите встречу. Начните совещание в Zoom / Google Meet / MS Teams.
Шаг 3. Запустите плагин. Felo сделает транскрибирование и перевод субтитров в полностью автоматическом режиме.
Особенности
Felo дает следующие возможности:
– Перевод субтитров на YouTube в режиме реального времени;
– Предоставление двуязычных субтитров во время стримов YouTube;
– Мгновенный перевод субтитров с видео на YouTube;
– Возможность загрузки переведенных субтитров в формате TXT;
– Поддержка одноязычных или двуязычных субтитров.
Felo способен обрабатывать три языка одновременно, обеспечивая мгновенный перевод менее чем за одну секунду.
Разработчик заявляет: «Мы гарантируем безопасность и конфиденциальность ваших данных, так как не используем роботизированных помощников».
Skype
Сайт: skype.com
Старый-добрый «Скайп». Могло показаться, что сервис остановился на своем уровне развития двадцать лет назад, но это не так — сегодня в Skype появился онлайн-перевод видеозвонков.
Онлайн-перевод звонков в Skype доступен для нескольких языков (английский, русский, испанский, французский, немецкий, китайский и другие).
Искусственный интеллект и нейросети помогают переводить любые видеозвонки (чувствуете разницу по сравнению с «Яндексом»?) в режиме реального времени на основе вашего голоса. Простыми словами, в новой версии Skype вы можете общаться с человеком на другом языке и переводить разговор автоматически, сразу во время звонка. Это значительно упрощает общение. Даже, если ваш собеседник китаец, например, а вы вообще не говорите на мандаринском наречии.
В зарубежных СМИ много положительных отзывов от компаний о новой функции: проводить встречи и митапы с партнерами из других стран стало намного проще, а некоторые рецензенты воодушевились настолько, что заявляют: переводчик больше не понадобится.
Как работает
Skype использует ИИ для определения языка разговора и перевода его в режиме реального времени. Известно, что собственная модель Skype использует распознавание речи и анализ естественного языка. Как и у «Яндекса» сочетание несколько нейросетей позволяет «Скайпу» сходу понимать, интерпретировать и сразу переводить оригинальный звук из потокового видео на другой язык.
Как использовать
Чтобы активировать эту функцию во время разговора, зайдите в меню «Еще» с тремя точками и выберите пункт «Перевести». Skype подскажет обоим участникам, как начать перевод.
В отличие от других подобных сервисов, Skype также использует ИИ + нейросети для сэмплирования ваших ответов (голос, слова) — чтобы по итогу перевод и сам разговор были более «человеческими».
В ближайшее время (зима 2023 года) перевод в реальном времени в Skype с помощью естественного голоса появится в групповых видеозвонках и телефонии.
interprefy.com
Сайт: https://www.interprefy.com
Тут у нас сразу заход с козырей: «Помогаем устранить языковые барьеры даже на самых уникальных встречах. Мы обеспечили поддержку более 50 000 многоязычных встреч, конференций, виртуальных саммитов и метавселенных, включая полеты астронавтов на МКС и арктические экспедиции». Впечатляет? Ну по крайней мере — это описание сервиса для онлайн-перевода видеотрансляций на сайте разработчика.
Письменный и устный перевод в режиме реального времени для многоязычных онлайн-встреч. Есть поддержка звонков в Zoom, Webex, MS Teams и других подобных сервисов. Кстати, любопытно, что Interprefy также снабжает разные оффлайн- и онлайн-ивенты профессиональными конференц-переводчиками и занимается производством субтитров для фильмов.
В конце 2023 года Interprefy Aivia позволяет переводить с 45 языков на 74 языка (русский есть в обоих списках), но разработчики обещают расширить этот список.
Особенности
- Перевод речи с помощью искусственного интеллекта. Участники конфы следят за ходом совещания на том языке, которые интересен им.
- Профессиональный перевод. Удаленный синхронный перевод от живых людей, которые являются носителями языка.
- Субтитры. Неплохие по качеству субтитры, которые генерируются в режиме реального времени.
- Поддержка более 60 сервисов созвонов, видеозвонков, конференци. Количество интеграций регулярно растет.
Мультиплатформенность. Благодаря куче плагинов и интеграций (+API) Interprefy можно соединить с любой с платформой для проведения звонков. Мобильные, веб- и десктоп-приложения поддерживаются уже из коробки.
Сертификат ISO 27001. Разработчик уверяет, что во всех продуктах обеспечивает безопасность передаваемых данных (методы: шифрование потоковой передачи, активная директория, 2FA и другие).
О субтитрах. Interprefy Aivia может показывать автоматические переводные субтитры более чем для 78 языков.
И еще три достоинства сервиса:
- Запись. Умеет записывать, редактировать, расшифровывать любой стрим, трансляцию.
- Профессиональные переводчики-люди. По запросу вам подберут живых переводчиков на любой язык.
- Лучшие нейросети и языковые модели с ИИ. Примечательно, что сервис сравнивает разные системы ИИ для каждого языка и подбирает лучшие.
Stenomatic
Сайт: https://www.stenomatic.ai/
Stenomatic — еще один сервис для синхронного и устного перевода в реальном времени. Отлично справляется с переводом звонков, конференций, стримов.
В отличие от предыдущих инструментов, Stenomatic — максимально автоматизированный сервис. Достаточно один раз настроить его и далее вы будете сразу же получать результат, без каких-либо танцев с бубном (как в других инструментах).
Особенности:
- Независимость от платформы. Stenomatic работает с любыми сервисами для видеозвонков, конференц-платформами и вообще любыми приложениями для потоковой передачи видео.
- Не требуется загрузка приложений для просмотра. Перевод и расшифровка выступления докладчика доступна по простой ссылке, которую может открыть любой желающий. Всё работает даже на мобильных устройствах.
- Минимальная настройка. Подключение и настройка инструмента занимает не более трёх-пяти минут.
- Поддерживается более 70 языков, включая русский.
- Технологии устного перевода, основанные на ИИ, нейросетях и машинном обучении.
Читайте также:
28 лучших нейросетей для видео: проверенный список
20 советов по использованию видео в SMM
Онлайн-переводчики текста через камеру телефона — 5 бесплатных