Пока проверить, как это работает, можно на YouTube. Разработчики пообещали, что вскоре появится поддержка китайских площадок, например, Bilibili.
Pr scr / YouTube
Искусственный интеллект «Яндекс Браузера» научился делать русскую озвучку для видео на китайском языке. Также для таких роликов можно выбрать русские субтитры, материал о результатах работы опубликован в блоке «Яндекса».
Чтобы обучить нейросеть одному из сложнейших мировых языков, «Яндекс» использовал около ста тысяч видеоматериалов с субтитрами на северокитайском языке. Этот вариант китайского наиболее распространён в КНР. Для этого им потребовалось проанализировать более полутора миллиона роликов.
ИИ браузера «Яндекса» выучил тысячи иероглифов. Каждый из них читается как слог. Чтобы нейросеть научилась их понимать, весь необходимый для работы с китайским словарь разработчики закодировали в виде десяти тысяч токенов. Отметим, что пять европейских языков поместились в библиотеку на пять тысяч токенов. Также нейросеть научили делить сплошной поток иероглифов на смысловые отрезки. Это было необходимо для более качественного перевода.
В компании рассказали, что увидеть результат работы команды разработчиков можно на роликах в YouTube. Для этого нужно нажать кнопку «Перевести видео» в «Яндекс Браузере». Позднее появится версия для китайских ресурсов. Первой должна стать платформа Bilibili.
