«Яндекс» освоил закадровый перевод видео с английского на русский

Над созданием технологии закадрового перевода работали несколько команд. Разработчики объединили машинный перевод, технологии биометрии, а также распознавания и синтеза речи. Прототип опробовали на видеороликах на разные темы, среди которых, например, изменение климата, машинное обучение, история Плутона.

Дэвид Талбот, руководитель направления обработки естественного языка: «В Интернете очень много полезного контента, который недоступен людям из-за языкового барьера. „Яндекс.Браузер“ давно умеет переводить тексты, в этом году стал переводить изображения, перевод видео — следующий этап. Это большая сложная задача, которую никто в мире еще не решил. Мы тоже в начале пути, но у нас уже есть прототип и понимание, куда двигаться дальше».

Сейчас технология определяет пол говорящего и подбирает подходящий голос. Чтобы он совпадал с картинкой, переводчик делает паузы, замедляет и ускоряет свою речь. Так как в оригинале и переводе реплики часто не совпадают по длине, за темпом речи следит специальный алгоритм.

В компании отметили, что пока прототип работает только с видео на английском, однако в будущем функция закадрового перевода станет доступна для видео и на других языках.

По материалам: ТАСС.