AIエージェントの自動採点は正しい？人の評価と照合する方法
AIがAIエージェントを採点する仕組みを、どう検証するか。Google Cloudの公式解説を手がかりに、誤った合格・不合格、判定不能、人による基準づくりと採点器の更新管理を解説します。
AIエージェントの品質をAIで採点すれば、多くの応答を継続して確認できます。ただし、「採点された」という事実だけでは、判定の正しさは分かりません。問題のある対応を合格にしたり、正しく処理した対応を不合格にしたりする可能性があります。
導入担当者が確認したいのは、エージェントの合格率に加えて、採点する仕組みが人の判断とどこで食い違うかです。本記事では、その照合方法を整理します。
10月16日の公式解説が示した、採点側の取り違え
Google Cloudは2026年10月16日、エージェントの評価に関する実践記事を公開しました。最終的な回答文だけを読む採点AIが、実際には必要な操作を行っていたエージェントを不合格にした例を紹介しています。回答に書かれていないことと、実行していないことを混同したケースです。Google Cloudの公式解説
ここでの10月16日は記事の公開日です。紹介された検証をすべて同日に行ったという意味ではありません。また、この事例を一般的な誤判定率として扱うこともできません。
業務への示唆は、エージェントを修正する前に、採点側に必要な証拠が渡っているかを確かめることです。
「何を試すか」と「誰が正しく採点できるか」を分ける
AIエージェント・AIコールの導入前テストでは、実際の業務で試す場面を整理しています。今回は、その結果に合格・不合格を付ける採点器の品質が対象です。
例えば、問い合わせの要約に「折り返し希望」が含まれているかは文章から確認できます。一方、担当部署へ案件が渡ったかは、要約文だけでは判定できません。受付システムの処理結果が必要です。声の聞き取りやすさを判断するなら、文字起こしだけを渡しても材料が足りません。
最初に評価項目ごとに、必要な証拠を決めます。存在するかどうかを機械的に照合できる項目は通常のプログラムで確認し、説明の意味や条件の抜けなど、文脈を読む項目に採点AIを使う構成が考えられます。
人が判定した基準例を用意する
Googleの公式ドキュメントでも、採点モデルの品質を確認するため、人の評価を付けたデータとモデルの評価を比較する方法が説明されています。採点モデルを評価する公式資料
以下は、その考え方を企業の運用へ落とし込むための提案です。IvyLeapの導入実績や測定結果を示すものではありません。
まず業務の責任者が、対応記録と採点基準を読んで正解例を作ります。基準は「適切だった」の一言にせず、合格に必要な条件、不合格となる条件、証拠不足で判断を保留する条件まで書きます。
判断が割れそうな例は、別の担当者にも独立して判定してもらいます。人同士で結論が違った場合は、多数決だけで片付けず、業務ルールが曖昧なのか、記録が不足しているのかを確かめます。合意できていない例を、確定した正解として採点AIへ覚えさせないことが大切です。
誤った合格と、誤った不合格を別々に数える
全体の一致率だけでは、重要な失敗が見えないことがあります。例えば、仮に100件のうち、人が不合格とした5件だけを採点AIがすべて合格にし、残りの95件では一致したとします。一致率は95％でも、見つけたい不合格を一つも検出できていません。この数字は説明用の仮定です。
照合では、少なくとも次を分けて残します。
- 人も採点AIも合格にした件数
- 人は不合格、採点AIは合格にした件数
- 人は合格、採点AIは不合格にした件数
- 人も採点AIも不合格にした件数
- 証拠不足などで判定を保留した件数
問題を通してしまう誤った合格と、不要な修正や再確認を増やす誤った不合格では、業務への影響が違います。重要な案内条件の欠落と、表現の好みの違いも分けて集計しましょう。保留は集計から黙って除かず、全件中の割合と理由を報告します。
AIコールセンターで照合する仮想例
電話で受けた折り返し依頼の処理を採点する場面を考えます。評価項目は「担当部署への引き継ぎが完了したか」です。
例1：要約には完了とあるが、受付結果はエラー。 採点AIが合格にしたなら、文章を信じてしまった誤判定です。受付結果を判定の根拠にするよう、入力と基準を見直します。
例2：受付番号と担当部署の受領記録があるが、要約には完了の言葉がない。 業務上の完了条件を満たすなら、要約の表現だけを理由に不合格にするのは適切ではありません。ただし「利用者への案内」も必要なら、それは別の評価項目にします。
例3：受付結果の記録が欠けている。 実行に失敗したと断定することも、成功したと推測することもできません。「判定不能」として確認へ回します。記録の欠落自体を問題として評価する場合も、実行の成否とは分けて記載します。
こうすると、エージェントの処理、利用者への説明、記録の整備を混ぜずに、どこを直すべきか判断できます。
採点基準を直したら、別の例でも確かめる
誤判定した例だけで採点の指示を調整すると、その例にだけ強い仕組みになるおそれがあります。調整に使う例と、最後の確認に使う未使用の例を分けて保管しましょう。同じ会話の言い換えだけが両方に入っていないかも確認します。
採点器を更新するときは、エージェント側の応答記録を固定し、旧版と新版で採点します。両方を同時に変更すると、点数の変化がエージェントの改善なのか、採点ルールの変更なのかを切り分けにくくなります。
記録には、採点モデル、指示文の版、入力した証拠の範囲、基準例の版、実行日、人の判定との不一致理由を残します。同じ材料を繰り返し採点して結論が変わる場合も、その揺れを確認事項に含めます。
自動採点を導入する前の確認事項
- 一つの評価項目に、別の業務条件を詰め込みすぎていないか。
- 人も採点AIも、判定に必要な同じ証拠を参照できるか。
- 重要な失敗を合格にする例を、個別に調べたか。
- 判定不能の案件を、人が確認する流れがあるか。
- 調整に使っていない例でも、人の判定と照合したか。
- 採点器の変更前後を、固定した記録で比較できるか。
合格率が高くなったことだけで業務の自動化範囲を広げず、どの失敗を拾えているかを確かめることが運用の土台になります。
IvyLeapでは、AIエージェントの構築・業務連携とAIコール・AIテレアポの導入支援を扱っています。自社の受付業務で何を証拠として残し、何を人が確認すべきか整理したい場合は、お問い合わせからご相談ください。
参考資料
- Google Cloud：Four evaluation engineering lessons learned from building agent plugins（2026年10月16日公開）
- Google Cloud：Evaluate a judge model（2026年10月19日確認。ページ表示の最終更新日は10月15日。製品の提供開始日を示すものではありません）