У нас большое обновление сервиса TranslateMe, который умеет транскрибировать и переводить прямой эфир в режиме синхронного перевода.
Это что-то похожее на перевод в Яндекс Браузере поверх видео из YouTube. Только для вашего мероприя и всё в реальном времени.
Сейчас это:
- перевод именно на вашем мероприятии: его можно встроить в ваш сайт, платформу или другое место, где идёт трансляция;
- распознавание и перевод могут работать на вашем или на нашем сервере;
- конкретную схему размещения можно собрать с учётом требований 152-ФЗ. В текущем прототипе для озвучивания используется внешний TTS-провайдер, поэтому полностью закрытый контур — это отдельная конфигурация.
Что именно мы сейчас делаем:
- система распознаёт речь и склеивает смысл на промежутке до 20 секунд. Это помогает не терять смысл, даже когда предложение очень длинное;
- перед эфиром можно загрузить словарь терминов. Его можно автоматически сформировать из презентаций спикеров или по теме мероприя и секции;
- система регулярно «видит» текущий слайд, вытаскивает из него ключевые слова и даёт им наивысший приоритет в текущем контексте;
- сейчас проверен базовый сценарий перевода с английского на русский. Другие языковые пары будем добавлять и проверять отдельно;
- транскрибацию можно показывать отдельно. Сейчас мы сделали её сразу с переводом, но можно показывать и оригинал, и перевод.
Здесь два примера. Оба — записи реальной работы сервиса без монтажа и постобработки.
Пример 1. Доклад спикера из Индии
Английская речь с акцентом, неидеальный микрофон и сложная тема об устойчивости к антибиотикам, где много терминов и сложных для распознавания слов.
Пример 2. Доклад спикера из Стэнфорда
Хороший английский и чистый звук, но сложная медицинская тема о механизмах иммунотерапии рака.
На обоих записях видны два отдельных виджета: синхронный перевод и транскрибация. Транскрибацию можно выводить на оригинальном языке, на языке перевода или сразу в обоих вариантах.