Как Nualingo понимает, кто говорит

Большинство приложений для перевода заставляют говорить по очереди. Вы нажимаете кнопку своего языка, говорите, а потом передаёте телефон, чтобы собеседник нажал свою. В Nualingo нет кнопок для очереди. Вы один раз нажимаете «Начать слушать», кладёте телефон между вами и говорите.

Пара кнопок на экране всё же есть. «Стоп» завершает разговор, а «Завершить» закрывает предложение раньше, если вы не хотите ждать. Ни одна из них не нужна для очереди. Так как же приложение понимает, чьи это слова? В основном оно слушает язык.

Оно слушает язык, а не ждёт нажатия

Перед началом вы выбираете два языка: свой и собеседника. С этого момента сервис речи, на котором работает Nualingo, делает две вещи со всем, что слышит микрофон. Он записывает слова и отмечает, на каком из двух ваших языков они сказаны. Поскольку он заранее знает пару, он слушает именно эти два языка и реже принимает первые слова предложения за похожий соседний язык.

Направление перевода следует за языком. Допустим, вы выбрали английский и тайский. Тайские слова переводятся на английский, а английские на тайский. Никому не нужно сообщать приложению, кто говорит, потому что это уже говорит язык. Ваши слова появляются крупными субтитрами на языке собеседника, пока вы говорите, а слова, в которых оно ещё не уверено, показываются бледно, пока не устоятся.

Почему голос ждёт паузы

Субтитры могут меняться, пока вы говорите. Голос не может забрать свои слова обратно, а за голосом, который прочитал полпредложения и потом поправился, было бы трудно следить. Поэтому спокойный голос ИИ, который читает перевод вслух, ждёт, пока говорящий сделает паузу.

У паузы есть и другая задача. По ней Nualingo решает, что реплика закончилась. Это решение всегда на грани: пауза может означать, что человек закончил, а может, что он подбирает следующее слово. Сколько приложение ждёт, прежде чем решить, выбираете вы.

Быстрый, умеренный или неторопливый

Настройка «Темп» на экране разговора определяет, сколько Nualingo ждёт после того, как человек замолчал, прежде чем переводить. Есть три варианта, и каждый уравновешивает ожидание и перебивания.

• «Быстрый» переводит вскоре после короткой паузы. Подходит для бойкого обмена репликами, например когда делаете заказ у прилавка. Цена в том, что он может вмешаться, когда человек задумался, а предложение с паузой посередине может разделиться на отдельные реплики.
• «Умеренный» ждёт естественной паузы. Он стоит по умолчанию и подходит для большинства разговоров.
• «Неторопливый» ждёт дольше перед переводом. Перебиваний меньше, и у сервиса речи больше времени исправить свои слова до конца реплики, но ждать приходится чуть дольше. Он помогает, когда собеседник говорит медленно, со старшими слушателями и в шумных помещениях.

Мы оставили «Умеренный» по умолчанию не просто так. В наших собственных записанных тестовых прогонах «Быстрый» чаще обрывал предложения на паузе, чем «Умеренный», а в обычной реплике голос звучал не раньше. При смене темпа микрофон переподключается, поэтому проще выбрать его до начала.

Когда говорят одновременно или меняют язык посреди фразы

Настоящие разговоры не бывают аккуратными. Если кто-то посреди фразы переходит с одного из ваших языков на другой, этот переход начинает новую реплику, которая переводится в обратную сторону. Если кто-то вставляет слово из третьего языка, например название места, оно остаётся в том предложении, где было сказано, так что ничего из услышанного не теряется.

Сервис также старается различать голоса, и смена голоса начинает новую реплику. Это важно, когда вы оба переходите на один язык или говорите одновременно. Наложение речи сложнее всего для любого слушателя, а два похожих голоса можно перепутать. Если субтитр оказался не под тем человеком, можно изменить говорящего у этого субтитра.

Когда голос звучит через динамик телефона, он сдерживается, пока кто-то ещё говорит, чтобы не читать перевод поверх нового предложения. А если микрофон улавливает собственный голос приложения, Nualingo проверяет, не повторяет ли услышанное то, что он только что сказал. Если повторяет, эти слова показываются приглушённо и не произносятся снова. Если он ошибся, их всё равно можно воспроизвести.

Советы для более гладкого разговора

• Делайте паузу в конце мысли, а не посередине. Короткий вдох после предложения и есть тот сигнал, которого ждёт голос.
• Если вы закончили и не хотите ждать, нажмите «Завершить».
• Если вы часто задумываетесь посреди фразы, переключитесь на «Неторопливый».
• Дайте голосу договорить, прежде чем отвечать, особенно на громкой связи.
• Сделайте телевизор тише. Другие голоса рядом мешают понять, кто говорит.
• Не давайте экрану погаснуть. Телефоны перестают слушать, когда экран блокируется.

Nualingo может ошибаться, и в медицинских, юридических и официальных вопросах вам стоит обратиться к профессиональному переводчику. Во всём остальном проще всего прочувствовать паузу, попробовав с кем-нибудь. Три минуты в день бесплатно на каждом устройстве, без аккаунта.

Nualingo может ошибаться. В медицинских, юридических и официальных вопросах обращайтесь к профессиональному переводчику.