マイク入力時にLocalVQEを用いたダブルトークキャンセル機能を追加しました。 LocalVQEはエコー除去を行う軽量なニューラルネットワークモデルで、リアルタイムでマイク入力から合成音声を間引くことが可能です。 これにより、スピーカーから流れている音声を認識することなく、それでいて話した言葉はちゃんと文字起こしされるという、いわゆる「ダブルトークキャンセル」を実現しています。 「双方向翻訳する」にしておけば英語で喋ると日本語で読み上げられ、その読み上げ最中に日本語で喋ったらそちらは英語になって読み上げられます。 もちろん前述のように合成音声は完全にキャンセルされて文字起こしされませんから、双方に同時通訳が寄り添ってくれているような動作をしてくれますし、互いにイヤホンで話す必要もないというのも大きなメリットとなるはずです。

FFTrans HUD 1.5.0に翻訳読み上げ機能を実装しました。 双方向翻訳や言語識別も駆使すると、画面なしで相互翻訳可能です。 もちろん、マイク入力でもシステム音声でも、スピーカーから読み上げた合成音声は拾わないようになっています。