プラグアブルFull-duplex音声対話を実現する「データの壁」をどう乗り越えるか

私たちが普段、友人や同僚と会話しているとき、相手が一言一句話し終わるのを完全に待ってから話し始めることは稀です。「うんうん」「なるほど」と相槌を打ったり、相手の言葉に笑い声を重ねたり、時には「それってつまり…」と相手の言葉に被せて補足したりしますよね。この「双方向の絶え間ない情報のやり取り」こそが、人間同士の対話を自然で心地よいものにしています。

しかし、従来の音声AIはどうでしょうか。

「ユーザーが話し終わるのを待ち（沈黙）、内容を解析し、返答を生成して、しゃべり出す」。これはまるでトランシーバーを使った通信（Half-duplex / ターン制）であり、「聞いてくれている感」が薄く、対話のテンポを著しく損ねていました。

前回の記事で解説した「Full-duplex（全二重）音声対話」は、AIが人間の言葉を聞きながら、同時に相槌を打ったり、割り込みに柔軟に反応したりできる技術です。

さらにConvergence Lab.が提唱するのは、これを特定の言語モデルに依存させない「プラグアブル（Pluggable）なFull-duplexモデル」です。バックエンドの頭脳（LLM）を用途に合わせて自由に差し替えながら、対話の「リズム」や「割り込み制御」だけを独立して提供できるこのアーキテクチャは、AIを「より自然な対話で問題解決へと導くサポーター」へと進化させる不可避のステップと言えます。

しかし、いざこのモデルを構築しようとすると、真っ先にぶつかるのが「データの壁」です。既存の音声認識（ASR）や音声合成（TTS）のために用意されたデータセットでは、プラグアブルFull-duplex特有の「心地よいリズム」や「自然な割り込み」を独立して学習させることはできません。

今回は、プラグアブルFull-duplexモデルを成功させるためのデータ戦略について深掘りします。

1. なぜ既存のデータセットでは不十分なのか？

これまでAI学習に広く使われてきた「LibriSpeech」などのデータセットは、一人が朗読した音声や、完全にターンが分かれた対話をベースにしています。

これを学習したAIは、前述のような「相手が話し終わるのを待ち、100%理解してから返答する」という動きには適していますが、以下のような現実の対話の振る舞いを学ぶことができません。

• 相手が話している最中に相槌を打つ
• 話の途中で重要な情報を補足するために割り込む
• 相手が言葉に詰まったときにフォローを入れる

プラグアブルFull-duplexを実現するには、モデル構造の工夫以上に、「対話の重なり」を正しく含んだデータが必要なのです。

2. アーキテクチャの壁：「プラグアブル」であるための条件

データ要件に入る前に、システム的な観点に触れておきましょう。

現在主流の「音声をテキストに変換（ASR）してLLMに渡し、テキストを音声に戻す（TTS）」というパイプラインでは、テキスト化を待つためのタイムラグが発生し、Full-duplexの超低遅延なレスポンスは原理的に不可能です。

かといって、音量や波形エネルギーだけで判断する「音響的VAD」では、ユーザーが考え込んでいるだけの沈黙にAIが被せて話し始めてしまうなど、致命的なUXの低下を招きます。

そこで重要になるのが、Tencentなどの研究でも注目を集めている**「Semantic VAD（SVAD）」**のような、音声波形から直接「意味的な区切り」や「語尾のニュアンス」を捉える技術です。

Convergence Lab.が目指す「プラグアブル」な設計とは、この「対話リズムの制御（いつ相槌を打つか、いつ黙るか）」を司るモジュールを、意味を生成する「LLM」から完全に切り離すことにあります。

この「対話制御モジュール」を独立して賢く鍛え上げるためには、テキスト化されたコーパスではなく、生の音声波形と対話の文脈がダイレクトに紐づいた特殊なデータセットが必要になるのです。

3. プラグアブルFull-duplexに必要な「4つのデータ要素」

私たちは、あらゆるLLMの前段で完璧なリズムを刻む「対話制御モジュール」を学習させるため、以下の4つの要素が不可欠だと考えています。

① オーバーラップ（同時発話）データ

二人が同時に声を発している瞬間のデータです。「いつ、どのタイミングで割り込むのが自然か」をモデルが判断するための教師信号になります。

② 相槌（Backchannel）と非言語情報

「うんうん」「へぇー」といった相槌や、笑い声、さらには発話直前の「インハレーション（吸気音）」です。これらがあることで、バックエンドのLLMが思考している最中であっても、フロントのAIは「聞いている感」を出し、対話を持たせることができます。

③ ターン・マネジメントのラベル

「今、発話権を譲ろうとしているのか（Turn-yielding）」「まだ話し続けたいのか（Turn-holding）」を示す音響的特徴のラベルです。語尾のピッチの変化や、わずかな「間」に紐付けられたデータが必要ですが、これはある程度自動付与が可能です。

④ ミリ秒単位の正確なアノテーション

「どちらが先に話し始めたか」「何ミリ秒後に反応したか」という時間軸の正確性です。この精度が低いと、AIの反応が「せっかち」すぎたり「のろま」に見えたりしてしまいます。

4. 理想的なデータ形式：L/R分離ステレオの圧倒的なメリット

プラグアブルな対話制御を学習させるにおいて、最も価値が高いのは**「オペレーターとカスタマーの声がL/R（左右）チャンネルで完全に分かれているステレオ音源」**です。

なぜL/R分離が重要なのでしょうか？

1. 教師データの純度: L/Rが分かれていれば、相手が話している最中でも「自分が出すべき相槌や声（出力目標）」だけをノイズなしで抽出できます。
2. 対話リズムの直接抽出: LLMによるテキスト理解を待たずとも、左チャンネル（相手）の音響的・意味的特徴から、右チャンネル（自分）が取るべきアクション（相槌、待機、割り込み）をダイレクトに学習できます。
3. 高度なVAD（SVAD等）の実現: 相手のチャンネルだけをクリーンに解析できるため、超低遅延かつ精度の高い「対話リズムの予測モデル」を独立して構築可能になります。

5. データをどう集め、どう作るか

高品質なL/R分離データを確保するために、私たちは以下のアプローチを組み合わせています。

• 自然対話ログの活用:
  カスタマーサポートなどのステレオ録音された通話データや、Web会議システムの個別トラック記録は宝の山です。これらから「クロストーク（マイクへの声の回り込み）」をクレンジングし、学習に最適化します。
• 合成データの生成（Data Augmentation）:
  クリーンな単独発話データを、確率的に計算されたタイミングでL/Rチャンネルに合成し、擬似的な「割り込み」や「相槌」シーンを大量に生成します。これにより、レアな対話パターンも網羅的に学習させることが可能です。

6. Convergence Lab.のこだわり：「あらゆるLLMを最高のサポーターに」

私たちが目指すのは、単に「言葉を返すAI」を作るのではなく、どんな優秀なLLMと組み合わせても、その能力を120%引き出す「最高のインターフェース」を提供することです。

ステレオ音源から抽出した緻密な「間」や「被せ」のデータによって鍛えられたプラグアブルFull-duplexモデルは、ユーザーに「あ、このAIは自分の話をちゃんと聞いてくれているな」という安心感を与え、よりスムーズに課題解決へと向かわせます。

ユーザーの意図を正確に汲み取り、的確にサポートする技術の根底にあるのは、常に「人間同士のコミュニケーションへの深い洞察」です。

まとめ

プラグアブルFull-duplex音声対話の成否は、いかに高品質な「L/R分離データ」を確保し、それを正しく「対話制御モジュール」に食わせるかにかかっています。

推論エンジン（LLM）と対話リズムの制御を分離し、意味的な対話制御を独立して実現するためには、このデータの質こそが「的確なサポーター」としてのAIの性能を決定づけるのです。