AIコールセンターの効果測定｜評価スコアと実際の解決を分ける
AIコールセンターの評価スコアが上がっても、問い合わせが解決したとは限りません。AWSの業務成果指標の発表を手がかりに、会話の評価・顧客の回答・対応結果を分け、再問い合わせや確認待ちを含めて効果を測る方法を解説します。
AIコールセンターで通話時間が短くなり、応対の評価スコアも上がった。では、顧客の困りごとは解決しているでしょうか。会話が丁寧でも、依頼した手続きが終わっていなかったり、同じ用件で翌日また電話が来たりする場合があります。
会話を評価した結果、顧客本人が答えた満足度、業務システムで確認できた処理結果を、同じ数字にまとめないことが大切です。 本記事では、AIによる電話対応の効果を、案件の解決までたどって確認する方法を整理します。
最近の動き：処理時間に加えて、対応の成果を見る指標
AWSは2026年10月26日、Amazon Connect Customerで、顧客対応の業務成果を測る指標を提供すると発表しました。満足度、解約の可能性、購入、セルフサービスでの解決などを扱い、既定の定義を自社の成功条件に合わせて調整できると説明しています。指標はダッシュボードとAPIから利用でき、発表時点ではConnect Customerが提供される全リージョンを対象とする案内です。AWSの公式発表
公式リリースノートでは、業務成果に関する質問を含む評価フォームで各対応を採点し、その評価から指標を算出する仕組みと説明しています。例えば「Evaluated CSAT percent」は、満足していると評価された対応の割合です。CSATは顧客満足度を表す言葉ですが、この評価値を、顧客本人へアンケートを行った回答率・満足度と混同しないようにします。対象はConnect Customerで、Connect Customer Basicには提供されないとの記載もあります。AWSの公式リリースノート
この動きから得られる実務上の視点は、効率だけでなく成果を見られる一方、何を材料に、どんな定義で数えた成果なのかも確認する必要があるということです。以下はIvyLeapの運用設計の提案であり、特定製品の標準機能や当社の導入効果を示すものではありません。
1．一通話と、一つの問い合わせ案件を分ける
効果測定の出発点は、解決したい用件を決めることです。電話が一本終わることと、その案件が終わることは一致するとは限りません。
例えば、請求内容について問い合わせがあり、AIが調査を受け付けた後、経理担当者が確認して折り返す業務を考えます。これは説明用の仮想例です。
AIとの電話が終わった時点では「調査の受付ができた」と数えられても、請求内容への回答はまだ終わっていません。自動受付の達成と、案件全体の解決は別の記録にします。逆に、一回の電話で二つの用件を受け、一つだけ解決した場合も、通話全体を無条件に解決済みにしないようにします。
案件ごとに、次の内容を短く決めておきます。
- 解決したい用件：例は請求内容の確認。単なる受付件数とは分ける。
- 完了の条件：必要な調査が終わり、結果を顧客へ伝えたことなど、業務に即して定義する。
- 完了を確かめる記録：案件番号、処理結果、回答済みの記録など。
- まだ途中の状態：担当者へ引き継いだ、折り返し待ち、追加資料待ちなど。
受け付けることがAIの担当範囲なら、その仕事の達成は評価できます。ただし、それを「顧客の問題をAIだけで解決した」と表現しないことが、社内報告の認識をそろえる助けになります。
2．評価値・顧客の回答・処理記録に別の名前を付ける
報告画面に「満足度」「解決率」とだけ書くと、別の材料から作った数字が同じ意味に見えてしまいます。少なくとも次の三つを分けて表示する設計を検討します。
会話に基づく評価値は、録音や文字起こしなどを評価基準に当てはめた結果です。丁寧さ、説明の内容、顧客の発言など、何を見たかを添えます。実際の処理記録を参照していない評価なら、その範囲を明記します。
顧客本人の回答は、アンケートなどで本人が示した評価です。回答した人の結果なので、未回答者も同じように感じているとは決めつけません。回答数と対象数も併記します。
業務上の確認結果は、依頼した処理が登録・実行され、所定の完了条件を満たしたかという記録です。処理が完了していても、説明への不満が残る場合はあります。そのため、満足度の代わりとしても扱いません。
この区別があれば、「会話の評価は高いのに、手続きが終わっていない」「処理は終わったが、説明が分かりにくかった」といった違いを確認できます。
自動採点そのものが正しいかを調べる方法は、AIエージェントの自動採点を人の評価と照合する方法で扱っています。本記事で決めるのは、その点数を事業や現場の成果としてどう報告するかです。
3．再問い合わせを、同じ用件かどうか確認する
AIが「解決した」と評価した電話の後に、顧客から再び連絡が来た場合は、その内容を調べる手がかりになります。ただし、再入電したという事実だけで、前回の対応が失敗したとは限りません。
同じ電話番号でも、別の注文や別の家族からの相談かもしれません。反対に、別の番号やメールから、同じ請求の続きを問い合わせる場合もあります。
そのため、可能な範囲で案件番号や用件を対応付け、次を分けます。個人情報の新たな収集を増やす前に、既存の受付記録で確認できる範囲から始めてください。
- 前回と同じ用件が解決せず、再度説明している。
- 前回の依頼内容を訂正・変更している。
- 前回とは別の用件で連絡している。
- 対応関係を確認できず、同じ案件か判断できない。
観察する期間も業務ごとに決めます。例えば、翌営業日に回答する運用なら、その回答を確認する前に案件の評価を確定させると、後続の結果を取りこぼします。この期間は業務例であり、すべての窓口に適する標準値ではありません。
また、再問い合わせが見つからないことだけで、満足・解決と断定しないようにします。顧客が連絡を諦めた可能性や、確認できていない経路も残るためです。
4．まだ分からない案件を、解決済みにも失敗にも入れない
集計日が来ても、折り返し待ちや処理結果の未取得などで、結論が出ない案件があります。その状態を黙って除くと、結果のよい案件だけを見た割合になっていないか分かりにくくなります。
社内の確認用には、例えば次のような状態を分けられます。製品で標準提供される状態名ではなく、運用上の整理案です。
- 解決を確認できた：合意した完了条件と記録がそろっている。
- 未解決を確認できた：必要な処理が失敗した、回答が不足しているなど、未完了の根拠がある。
- 対応が継続している：担当者確認や折り返しを待っている。
- 証拠が不足している：結果や記録を取得できず、解決したか判断できない。
評価フォームで採点できた対応だけの割合を使うなら、全体のうちどの範囲を評価できたのかも添えます。アンケート、評価値、処理記録で対象数が違う場合は、同じ「解決率」として横並びにしません。
未確定の案件は、誰がいつ確認するかも記録します。翌日に結果が分かった場合は、最初の集計日時と更新日時を残し、以前の報告との差を説明できるようにします。
5．改善前後は、同じ定義と近い用件で比較する
評価スコアの上昇が、応対の改善によるものとは限りません。定義を変えた、難しい用件を人へ回すようにした、簡単な問い合わせが増えたという場合でも、数字は変わり得ます。
比較するときは、対象業務、受付経路、観察期間、完了条件をそろえます。AIが担当した簡単な照会と、人が担当した複雑な相談を、そのまま一つの解決率で優劣比較しないようにしましょう。
既定の評価定義を自社向けに変更できる機能を使う場合は、定義の版と適用日を残します。新しい定義の数字と古い定義の数字を続けて表示するなら、途中で基準が変わったことを明示します。
一つの見直しについて、会話の評価、確認できた解決、再問い合わせ、担当者の追加作業を並べると、何がよくなり、何を引き続き調べるべきかを判断しやすくなります。測定できていない効果を推計だけで実績として報告しないことも大切です。
運用報告を始める前の六つの確認
- 一通話の終了と、案件全体の解決を区別しているか。
- 会話の評価値と、顧客本人の回答、業務の処理結果に別の名前が付いているか。
- 再問い合わせを同じ用件へ対応付け、判断できないものを残せるか。
- 折り返し待ちや記録不足を、解決済みとして扱っていないか。
- 用件の難しさや対象範囲、評価定義の変更を確認して比較しているか。
- 未確定の結果を見直す担当と時期が決まっているか。
最初から多くの指標を並べる必要はありません。一つの窓口で「評価した内容」「顧客が答えた内容」「実際に確認できた解決」を分け、次に改善する仕事を決めるための報告を作るところから始められます。
IvyLeapのAIコールとAIエージェント構築代行の案内も、電話対応と後続業務を整理する際の参考にしてください。
参考資料
公式資料の確認日：2026年10月27日。10月26日は機能提供の発表日、本記事の公開日は10月27日です。利用対象・設定・評価定義は、導入時にも最新の資料を確認してください。