定義
音声対音声モデルとは、話し声を入力に受け取り、音声認識や音声合成の工程を別に挟まず、話し声を出力する単一のモデルです。発信者の声を聞き、何を話すかを決め、話すところまでを同じモデルが担います。
音声対音声モデルの仕組み
このモデルは、短い音の断片を表すトークンとして音声を読み取り、同じ形で音声を書き出します。途中でテキストに変換しないので、原理的には、文字起こしでは失われる口調、ためらい、強調といった情報を使えますし、それに合わせた話し方で答えることもできます。音声と並べてテキストも出力するモデルもあり、開発者は記録用の文字起こしを得られます。ただしそのテキストは、音声での推論から出てきた副産物であって、推論の入力ではありません。
市販の音声対音声モデルの多くは、音声接続を開いたままにするリアルタイムAPIとして提供されていて、音声が入力と出力で同時に流れます。開発者は指示を設定し、通常は用意された声の中から選びます。
カスケード型音声エージェントは、同じ仕事を、間にテキストを挟んだ3つの段階でこなします。両者の違いは、どこまで制御できるかにあります。カスケード型なら、各段階のテキストを確認でき、モデルを個別に選べて、返答を声にする前にフィルターをかけられます。音声対音声モデルは、構成要素が少なく、最初の試作は楽ですが、自前のLLMに入れ替えることはできず、何を根拠に推論したのかを正確に確かめるのも難しくなります。
速さは、設計だけでは決まりません。下でリンクしているガイドによると、これらのモデルを実際の通話で独自に測定したところ、間の中央値は約1秒かそれ以上で、よくできたカスケード型が出せる範囲と同じでした。
音声エージェントにとって重要な理由
ツールを呼び出す、数字を読み返す、コンプライアンス部門が承認した台本に沿って話す、といったエージェントは、動作を検査でき、制約もかけられなければなりません。その点では、テキストが見える設計のほうが有利です。主に雑談をするエージェントなら、自然な話し方をより重視することもあるでしょう。
選ぶ前に、比較の全文をご覧ください。