«Яндекс Браузер» научился сохранять оригинальные голоса и интонации при переводе видео

В «Яндекс Браузере» появился перевод видео нового поколения, с которым голоса героев роликов остаются такими же, как в оригинале. Нейросеть анализирует англоязычную речь, выделяет тембр, ритм и интонацию, а затем воспроизводит эти особенности в русском переводе. Для этого модель дополнительно обучили на сотнях тысяч аудиопримеров.

Особенно заметны улучшения при просмотре выступлений, скетчей и речей известных людей — там, где характер подачи играет важную роль. Перевод также стал эмоциональнее и точнее: нейросеть учитывает стилистические особенности речи и делает формулировки более естественными для русскоязычных зрителей. Модель на основе YandexGPT, использующаяся в этом аспекте, была признана лидером по качеству перевода с английского на русский по итогам международного независимого бенчмарка DiBiMT.

Нововведение уже доступно пользователям «Яндекс Браузера» на YouTube, в поиске «Яндекса», а также в «VK Видео», «Дзене» и Rutube. Включить его можно через специальную панель при просмотре видео, авторизовавшись в браузере через «Яндекс ID».