音声認識で「分からない箇所」を扱う：日本音響学会2026年秋季研究発表会で印象に残った2件
木村 優志
2026年9月8日から10日にかけて、金沢工業大学扇が丘キャンパスで開催された日本音響学会2026年秋季研究発表会に参加しています。
音声認識の性能は、近年大きく向上しました。一方、実際の案件で難しくなるのは、平均的な認識精度だけではありません。専門用語が多い、辞書が大きい、騒音や発話の癖がある、間違えた箇所を人が確認できるようにしたい。こうした条件が重なると、「文字起こしができる」ことと「業務で使える」ことの間には、まだ距離があります。
今回の発表で印象に残ったのは、認識器へ専門用語をどう渡すかという問題と、認識が難しかった箇所をどう利用者へ示すかという問題を扱った2件です。どちらも、実案件で必要になることが多いテーマでした。
専門用語の辞書を、全部プロンプトに入れない
1件目は、日立製作所の筆頭著者・山下夏生氏らによる「SpeechLLMを用いた不確実区間推定」（2-7-5）です。
医療、製造、建設などの現場では、固有名詞や専門用語が認識精度を左右します。音声認識器に候補語を与えて認識を誘導する「バイアスASR」は有効な方法ですが、専門用語の辞書が大きくなると、すべての単語をプロンプトや候補として渡すことは現実的ではありません。
この発表で提案されたのは、次の流れです。
- SpeechLLMで最初の音声認識を行う
- 音声と認識結果から、認識が不確実そうな区間を絞り込む
- その区間を手がかりに、専門用語辞書から候補を検索する
- 得られた候補だけを使い、2回目のバイアスASRを行う
要点は、辞書全体を検索対象にするのではなく、怪しい箇所だけを検索の入口にすることです。
発表では、医療音声データセットMedSynを用いた評価で、音声とテキストを併用した不確実区間の推定が、専門領域の誤りを86.0%再現したと報告されました。1発話あたりの検索クエリ数は、すべての1-gramを使う方法と比べて92.6%削減されています。
さらに、検索した候補を用いる2回目の認識では、1回目の認識の単語誤り率7.30%に対し、提案手法は5.67%となっています。専門用語に絞った誤り率も、41.43%から28.05%へ低下しました。
もちろん、これは特定のデータセットと実験条件での結果です。どの専門辞書、どの音声、どの認識器でも同じ改善が得られるとは限りません。
それでも実務上は、とても示唆的です。大規模な用語辞書を「全部入れるか、入れないか」の二択で扱うのではなく、音声認識の不確実さを起点に必要な候補だけを取り出す。辞書の規模と精度の両方に向き合う、現実的な設計だと感じました。
認識が難しい箇所を、あとから確認できるようにする
2件目は、豊橋技術科学大学の筆頭著者・峰野侑也氏らによる「信頼度推定に基づく認識困難箇所の明示」（2-7-6）です。
音声認識の出力には、通常スコアや信頼度が付けられます。しかし、利用者が本当に知りたいのは「この文の信頼度は0.8です」ではなく、どの単語や区間を聞き直すべきかでしょう。
この発表は、認識結果の各部分について、認識困難な箇所（Recognition-Difficult Segment）をラベル付けすることを目指しています。
興味深かったのは、音声認識器の内部状態だけでなく、認識器が出したスコアから別の言語モデルのスコアを引いた「疑似音響スコア」を特徴量として使っている点です。
音声認識のスコアが低い理由には、少なくとも二つあります。音そのものが聞き取りにくい場合と、文脈として不自然で言語モデルが確信を持てない場合です。別の言語モデルの影響を差し引こうとすることで、後者と区別し、音響的に難しい箇所を見つけようとしています。
評価では、Cross-Attentionなどの特徴量を使った信頼度推定が高い識別性能を示しました。一方で、削除誤りの扱いは依然として難しいことも報告されています。
削除誤りは、本来あるはずの単語が認識結果に現れない誤りです。出力に単語がない以上、その単語自体へ「ここは怪しい」とラベルを付けることはできません。発表の評価でも、削除誤りに関する指標はおよそ35%台にとどまっています。
これは、実案件でも重要な論点です。認識結果にある単語の信頼度を表示するだけでは、「抜け落ちた重要語」を発見できません。人による確認を組み込むなら、低信頼度の単語を色付けするだけでなく、発話区間や文全体に対して「聞き直しが必要かもしれない」と示す設計が必要になります。
精度を上げることと、誤りを扱えること
2件の発表は別の問題を扱っていますが、共通しているのは、音声認識を一度で完結する処理として扱っていないことです。
1件目は、不確実な箇所を見つけてから辞書検索と再認識へ進みます。2件目は、認識しにくい箇所を明示し、人や次の処理が確認できるようにします。
実務で音声認識を使うときにも、全体の誤り率だけで評価しない方がよいでしょう。
- 専門用語の誤りを、後段の辞書検索や再認識で減らせるか
- 誤っている可能性が高い箇所を、人へ適切に渡せるか
- 削除誤りのように、出力だけでは見えない誤りをどう確認するか
- 誤りの種類ごとに、どの改善策が有効か
業務で大切なのは、AIが間違えないことだけではありません。間違えそうなときに適切な手順へつなげ、重要な誤りを見逃しにくくすることです。
音声認識は、モデルを入れ替えるだけで完成するものではありません。専門辞書、信頼度、検索、再認識、人による確認をどう組み合わせるか。今回の発表は、その設計が品質を左右することを改めて感じさせるものでした。
