定義
大規模言語モデル（LLM）とは、膨大なテキストで学習し、系列の次のトークンを予測するニューラルネットワークです。この手順を繰り返して文章を書き、プロンプトで与えられた指示に従い、ツールを呼び出すことも判断できます。
大規模言語モデルの仕組み
LLMはテキストを、単語の断片であるトークンとして読み、次に来るトークンそれぞれの確率を出力します。1つを選んで追加し、返答が完成するまで繰り返します。このため、返答の最初の言葉は、最後の言葉ができるずっと前から聞こえることがあり、生成時間は返答の長さに応じて増えます。
現在のモデルの多くは、2017年にVaswaniらが導入したTransformerの設計を使っています。これは、各トークンを文脈内の他のトークンと関連づけるのに、アテンションを使います。コンテキストウィンドウは、モデルが一度に考慮できるテキストの量の限界で、指示、会話履歴、追加された文書やツールの結果を含みます。
Brownらは2020年に、1,750億パラメーターのモデルが、プロンプトに書かれた指示と少数の例だけで、再学習なしに新しいタスクを実行できることを示しました。これが、タスクごとにモデルを学習するのではなく、指示を書いてエージェントを作る方法の基礎です。
さらに2つの限界が重要です。モデルには学習後の事実を知る手段がもともとないため、アプリケーションはプロンプトやツールを通じて情報を加えます。また、流暢でも誤った文章を生成することがあり、これをハルシネーションと呼びます。
音声エージェントにとって重要な理由
カスケード型音声エージェントでは、LLMは何を話すかを決める段階で、通常は最も遅く、最も予測しにくい段階です。重要な数字は最初のトークンが出るまでの時間です。出力をストリーミングすれば、最初の1文ができた時点で音声を開始できるからです。生成の合計時間は、それほど重要ではありません。
音声には、さらに要求があります。返答は短く、耳のために書かれ、リストやマークダウンを含まないべきです。文の途中で話題を変える発信者がいても、モデルはシステムプロンプトに従わなければなりません。そして、価格、方針、アカウントについてモデルが述べることは自信を持って声に出されるため、読み手が確認できるチャット画面よりも、ツールと記録で裏づけることが重要になります。
音声対音声モデルは、この段階を音声モデルに統合するため、LLMと声は別々の選択ではなくなります。