В середине июля 2021 года «Яндекс» представил технологию закадрового перевода видеороликов на иностранных языках, которая, как утверждают в компании, не имеет аналогов в мире. В системе объединены машинный перевод, технологии биометрии, распознавания и синтеза речи.
Биометрические решения позволяют определить пол говорящего и подобрать соответствующий голос. А чтобы закадровый голос совпадал с картинкой, переводчик делает паузы, где-то замедляет, а где-то ускоряет речь. Дело в том, что в оригинале и переводе реплики часто не совпадают по длине, поэтому за темпом речи следит специальный алгоритм, пояснили в «Яндексе».
С помощью технологии можно смотреть видеозаписи с закадровым переводом. К 16 июля 2021 года она работает только с роликами на английском языке. Разработчики уже опробовали ее на видеозаписях на разные темы. Это видео об изменениях климата, о машинном обучении, истории Плутона и других вещах. Посмотреть видео с закадровым переводом пользователи десктопного «Яндекс.Браузера» могут здесь.
В интернете очень много полезного контента, который недоступен людям из-за языкового барьера, — говорит руководитель направления обработки естественного языка в «Яндексе» Дэвид Талбот. — И мы близки к тому, чтобы окончательно стереть все границы. «Яндекс.Браузер» давно умеет переводить тексты, в этом году стал переводить изображения, перевод видео — следующий этап. Это большая сложная задача, которую никто в мире еще не решил.
Как сообщили в «Яндексе» 16 июля 2021 года, в скором времени пользователи смогут сами выбирать, какие ролики переводить с помощью новой технологии. Отмечается, что над созданием системы работало несколько команд разработчиков.
Ранее в 2021 году в «Яндекс.Браузер» добавили встроенный перевод картинок. Функция работает прямо на страницах сайтов — браузер сам находит картинки с иностранным текстом, а потом позволяет перевести их одним кликом.
Комментарии
Дмитрий Юрич не одобряет...
Пока что у Яндекса нет программы перевести "братство кольца" в "братва и кольцо"
Технология супер, но пока что не нашёл, как проверить это на других видео (с другими людьми, в т.ч.с женщинами)
Полный плейлист тут: https://www.youtube.com/playlist?list=PLkMNi_iVG-shtwkqd918VUJ80NIOJ2pQf
"а крен - это хорошо". в голосину!!!
технология крутая, но ещё допиливать и допиливать.
Наконец то блина, теперь пусть добавят: увеличение разрешения до 8К, убрать тряску камеры, 60 фпс, ХДР и покраску Ч/Б фильмов.
и развертикаливание вертикального видео
Точно!
Ну работает вроде, даже интонации подбирает. У современных луддитов появится новая тема: яндекс душит переводчиков!
я жду когда в фильмах можно будет лица и фигуры актёров заменять на нужные мне :)
Это в каких таких фильмах? В тех, о которых все подумали?
с этими фильмами уже реализовали, гуглите по слову deepfake, например "deepfake gal gadot"
Так давно уже - DeepFake
т.е. мало того, что когда переводишь статью автоматически получается полная хрень, так теперь, еще эта хрень будет озвучена голосом с попыткой успеть за мимикой.
Не научившись переводить статьи уже умеют переводить в слух сериалы, ай да молодца
Просмотрите мои переводы на АШе - всё Гугл Переводчик, с минимальным редактированием.
я так и сказал -когда переводишь статью автоматически получается полная хрень
Яндекс переводит гораздо лучше. Лично постоянно убеждаюсь по работе. Только иногда попадаются сложные языковые конструкции, которые алгоритм Яндекса из-за своей сложности перевирает. Сталкивался с инверсией перевода "минус" на "плюс" и наоборот. Но по передаче структуры текста Яндекс на голову лучше Гугла. Сравните.
Тремя днями ранее о технологии заявил Гугл, там идет перевод субтитров и их озвучание, т.е. не о каком переводе голоса речи нет идет. Полагаю, что Яндекс прикрутил свой голосовой движок и всё, т.к. Яндекс-браузер - это тот же Хром под другой оберткой.
Жалко, что в Хроме не работает.
А так Яндекс молодцы. Вот например, поиск картинок на две головы лучше Гугла работает - регулярно пользуюсь обоими, могу сравнить.
Работает. Но похоже на развод или шутку. Работает только с видео из одного плейлиста. Уж больно хорош голос. Интонации, ударения, все просто идеально. Как будто настоящий человек с артистическим тренированным голосом для озвучки говорит.
Странно, попробовал несколько видео из плэйлиста, у меня просто обычное видео на английском языке проигрывается.
>Странно, попробовал несколько видео из плэйлиста, у меня просто обычное видео на английском языке проигрывается.
Нужно в Yandex-браузере последней версии нажать кнопочку вверху видео.
Ну для картинок же научились отделять стилистическую информацию от анатомической.
А этому видео вообще уже больше года, старьё считай
Им бы обычный перевод нормальный сделать.
значит на западе, в связи с тенденциями не приживется
А как насчет программы "перевести офис Яндекса в Россию" и "платить налоги в России"?
Нет пока такой кнопки в браузере.
А разве не на Льва Толстого головной офис?