Nualingoはどうやって話し手を判断しているのか

ほとんどの翻訳アプリでは、順番に話す必要があります。自分の言語のボタンをタップして話し、相手が自分の言語のボタンをタップできるようにスマホを渡します。Nualingoには順番を切り替えるボタンがありません。「聞き取りを開始」を一度押して、スマホを二人の間に置き、話すだけです。

画面にはまだいくつかボタンがあります。「停止」は会話を終わらせ、「終了」は待ちたくないときに文を早めに区切ります。どちらも順番のためのものではありません。では、アプリはどうやって、どの言葉が誰のものかを知るのでしょう？主に、言語を聞いているのです。

タップではなく、言語を聞き取る

始める前に、2つの言語を選びます。あなたの言語と相手の言語です。そこから先、Nualingoを支える音声サービスは、マイクが聞き取ったすべてについて2つの仕事をします。言葉を書き起こし、それが2つの言語のどちらなのかをラベル付けします。組み合わせを前もって知っているので、その2つの言語に絞って聞き取り、文の最初の言葉を近い別の言語と取り違えにくくなります。

翻訳の向きは言語で決まります。たとえば英語とタイ語を選んだとしましょう。タイ語の言葉は英語に、英語の言葉はタイ語に翻訳されます。誰が話しているかをアプリに伝える必要はありません。言語がすでにそれを示しているからです。あなたの言葉は話すそばから相手の言語の大きな字幕で表示され、まだ確定していない言葉は、定まるまで薄く表示されます。

音声が間を待つ理由

字幕は話している間に変わることがあります。けれど、話した声は言葉を取り消せません。文を半分読み上げてから言い直す音声は、聞き取りにくいでしょう。そのため、翻訳を読み上げる落ち着いたAI音声は、話し手が間を置くまで待ちます。

間にはもうひとつ役割があります。Nualingoは間によって、発言が終わったかどうかを判断しているのです。この判断は簡単ではありません。間は、話し終えたことを意味する場合もあれば、次の言葉を探していることを意味する場合もあります。判断するまでにアプリがどれくらい待つかは、あなたが決められます。

すばやく、バランス、じっくり

会話画面の「ペース」の設定では、話が途切れてから翻訳するまでNualingoがどれくらい待つかを決めます。選択肢は3つで、どれも待ち時間と割り込みのどちらを優先するかの選択です。

• 「すばやく」は、短い間のあとすぐに翻訳します。カウンターで注文するときのような、テンポのよいやりとりに向いています。その代わり、考えるために話を止めたときに割り込むことがあり、途中に間がある文は別々の発言に分かれることがあります。
• 「バランス」は、自然な間を待ちます。初期設定で、たいていの会話に合います。
• 「じっくり」は、翻訳する前に長めに待ちます。割り込みが少なくなり、発言が区切られる前に音声サービスが言葉を修正する時間も増えますが、待ち時間は少し長くなります。ゆっくり話す人、年配の聞き手、騒がしい部屋に向いています。

「バランス」を初期設定にしているのには理由があります。私たち自身が録音した音声でテストしたところ、「すばやく」は「バランス」よりも多くの文を間のところで途中で区切ってしまい、一般的な発言では音声が早く始まることもありませんでした。ペースを変更するとマイクの接続がつなぎ直されるので、始める前に選んでおくのがいちばん簡単です。

話がかぶったとき、文の途中で言語が変わったとき

実際の会話は整然とはしていません。誰かが途中で2つの言語の一方からもう一方に切り替えると、そこで新しい発言が始まり、逆向きに翻訳されます。地名のように3つ目の言語の言葉が混ざった場合は、それが話された文の一部として残るので、聞き取った言葉が捨てられることはありません。

音声サービスは声の聞き分けも試みていて、声が変わると新しい発言が始まります。これは、二人とも同じ言語に切り替えたときや、同時に話したときに大切です。話が重なるのは、どんな聞き手にとってもいちばん難しい場面で、似た声の二人は混ざってしまうことがあります。字幕が違う人の発言になってしまったら、その字幕で話し手を変更できます。

音声がスマホのスピーカーから流れるときは、誰かがまだ話している間は控えるので、新しい文に重ねて翻訳を読み上げることはありません。また、マイクがアプリ自身の音声を拾った場合、Nualingoは聞こえた内容が直前に読み上げた内容の繰り返しかどうかを確認します。繰り返しであれば、その言葉は薄く表示され、もう一度読み上げられることはありません。判断が間違っていた場合でも、再生することはできます。

会話をスムーズにするコツ

• 間を置くのは、考えの途中ではなく、考えの終わりに。文のあとに軽くひと息つくのが、音声が待っている合図です。
• 話し終えて待ちたくないときは、「終了」を押してください。
• 文の途中でよく考え込むなら、「じっくり」に切り替えましょう。
• 特にスピーカーを使っているときは、音声が読み終わってから返事をしましょう。
• テレビの音量を下げましょう。近くにほかの人の声があると、誰が話しているか聞き分けにくくなります。
• 画面はオンのままに。画面がロックされると、スマホは聞き取りを止めます。

Nualingoは間違えることがあり、医療、法律、行政の用件にはプロの通訳者をご利用いただくべきです。それ以外のことなら、間の感覚をつかむいちばん簡単な方法は、誰かと試してみることです。各端末で1日3分間、アカウントなしで無料で使えます。

Nualingoは間違えることがあります。医療、法律、行政の用件には、プロの通訳者をご利用ください。