定義
解決率とは、自動システム、人、またはその両方によって、顧客の問題が実際に解決した問い合わせの割合です。成果の指標なので、通話が終わったこと以上の裏づけが必要です。
解決率の仕組み
解決率 = 問題が解決した問い合わせ数 / 問い合わせの総数 × 100
難しいのは、「解決した」ことの証明です。通話が終わったことは証拠にならず、エージェントが「すべて完了しました」と言ったことも同じです。確認の方法は3つあり、強いものから弱いものの順に並べます。
- 変更された予約、発行された返金、閉じられたチケットなど、成果を管理するシステム内の記録。
- アンケートの質問に対する顧客の回答、または一定期間内に再度の問い合わせがないこと。
- 人、または固定の質問を与えたLLMによる、文字起こしの判定。
それぞれに抜けがあります。システムの記録は、行為が行われたことは示しますが、それが正しいものであったかは示しません。顧客からの連絡がないことは、問題が解決したか、顧客が諦めたかのどちらかを意味し得ます。文字起こしの判定者は間違えることがあるため、誰かがその判定のサンプルを読み、実際の成果と照らし合わせるべきです。
解決率は、近い指標とは別の問いです。コンテインメント率は、人が関わったかを問います。デフレクション率は、問い合わせがキューに入ったかを問います。初回通話解決率は、最初で解決したかを問います。解決率は、誰がその結果を出したか、何回の試行を要したかにかかわらず、最終的な結果を数えます。
音声エージェントにとって重要な理由
音声エージェントは、発信者を話させ続けたまま失敗させることがあるため、問われるべきは通話の成果です。このためコンタクトセンター自動化ガイドは、コンテインメント率よりも、検証された解決率を勧めています。
CartesiaのManaged Agentsは、完了した通話のすべてを、通話成功を含む組み込みの指標で採点します。この指標を解決とみなす前に、定義を確認してください。通話がきれいに終わっても問題が残ることがあるからです。発信者の問題が解決したかなど、LLMの判定者への質問として定義するカスタム指標のほうが、近いものになります。ドキュメントは、頼る前に実際の文字起こしで試すことを勧めています。
例
注文変更に関する200件の通話の説明用サンプルです（数字は架空）。注文システムによると、150件は依頼どおりに変更され、20人の発信者は転送されて担当者が変更を完了し、30件の通話は変更の記録がないまま終わっています。
解決率は（150 + 20） / 200 = 85%です。同じ通話のコンテインメント率は180 / 200 = 90%で、30件の失敗を数えているため、結果を過大に見せています。