ASRの幻覚は、話者が言っていない語を文字起こしに加えてしまいます。新しい論文Grounded in Soundは、学習中の音響フィードバックで、この挿入誤りを減らせるかを検証しています。会議音声での結果は、全体の単語誤り率とは別に挿入を測る意義を示します。
ASRの幻覚にどのような変化があったか
著者らは、近接マイクのAMI-IHM会議音声で挿入が相対的に28.3%、遠距離マイクのAMI-SDMで22.3%減ったと報告しています。AMI-SDMの単語誤り率は35.89%から34.71%に下がりました。他の五つの評価条件では、学習の進行をそろえたWERのみのベースラインに対し、統計的に検出できるWERの差はありませんでした。
これらの割合は、異なる測定を表します。挿入が22.3%減ることは、すべての文字起こし誤りが22.3%減ることではありません。遠距離音声のWERの改善は1.18ポイントです。全体のWERだけを記録する製品評価では、誤りの内訳の変化の多くを見逃します。
対象は限定されています。実験ではLoRAで適応させたQwen2-Audio-7Bの方策と、固定した0.3Bのwav2vec2-CTC評価器を使っています。一つのモデル構成で示された仕組みであり、別のモデル、言語、本番通話で同じ改善を保証するものではありません。
音響評価器の仕組み
学習中、方策は八つの候補の文字起こしを一組として生成します。別に事前学習し、重みを固定したCTCモデルが、音声に照らして採点します。報酬は音響の得点と単語誤り率に基づく項を組み合わせます。各発話では、評価器のフレームごとの出力を候補間で再利用します。
手法の節によると、追加の評価器を使うのは学習時です。推論時には外部の採点器なしで、一回の貪欲デコードを行います。本番モデルとの端から端までのレイテンシ比較は報告していません。
報酬にも制限があります。正規化は候補の長さに依存し、音響が大きく劣化すると評価器の信頼性が下がります。論文は挿入の減少と同時に削除の増加も報告しています。要求された項目を落とすことと、存在しない項目を加えることでは影響が違うため、アプリでは両方を見る必要があります。
推論時の再採点で再現できるか
著者らは、ベースラインの方策で32-best CTC再採点を試しました。その設定では、音響フィードバックで学習した方策の挿入の改善を再現できませんでした。これは評価した設定についての証拠であり、あらゆる再採点方法を否定するものではありません。
研究では強化学習の事後学習でモデルの重みを更新しています。ホストされた文字起こしAPIの設定変更を評価したものではありません。評価器なしでの確信度の実験は、別の検討方向を示します。本番評価では、代表的な音声で確信度に基づく回答の見送りを試し、対応できる範囲とのトレードオフを報告することを勧めます。
音声エージェントのチームは何を測るべきか
実践的な評価では、音声と参照テキストを保持し、WERとともに挿入、削除、置換を報告します。録音条件ごとに結果を分け、実際のアプリが遭遇する発話の重なり、背景音、マイクとの距離を含めてください。
文字起こしによって行動が変わる例も確認したいところです。架空の数量、抜けた否定、変わった名前は、無害な言い換え数件より重大かもしれません。これは評価への提案であり、論文が測定した結果ではありません。
ターンのタイミングは別の観点として評価します。Ink 2は、turn.start、turn.eager_end、turn.endなどのイベントを提供し、アプリが聴くことと応答を調整できるようにします。それらは文字起こしの事実上の正しさを保証しません。この論文はInk 2を評価しておらず、発話終了判定の設定で音響報酬の結果を再現できるとも示していません。
証拠にはどのような限界があるか
採用前に評価設定と制限を読む価値があります。雑音を加えたLibriSpeechで学習し、AMIの会議音声を含む六条件で評価しています。33,282の発話と条件の組み合わせは、すべて独立した録音ではありません。LibriSpeechの発話は異なる雑音条件で繰り返され、二つのAMI条件は同じ会議群から来ています。
AMIは強化学習の学習データには含まれていませんが、どの音響条件を学習に含めるかという診断上の判断には使われました。最終評価まで一切役割がなかったと説明すると、分離を過大に表すことになります。
有用な結果は、定義された学習と評価の条件で、挿入誤りが減ったことです。音声認識を評価するチームがすぐに生かせるのは、どの誤りが変わったかを調べることです。全体のWERが下がっただけでは、存在しない語をつくりにくくなったかはわかりません。