AIエージェントの評価方法｜AIコール導入前の5つのテスト

AIコールのデモで会話が自然に続いても、予約が登録されていなければ業務は完了していません。AIエージェントを評価するときは、「最後に何と言ったか」に加えて、「必要な確認や操作を実際に行ったか」を確かめることが大切です。

2026年9月9日、Google Developers Blogは、コーディング用AIエージェントについて、最終結果と途中の具体的な行動を組み合わせて評価する考え方を紹介しました。この記事では、その視点を企業の電話業務に応用し、IvyLeapが提案する受け入れテストを整理します。以下は仮想の業務例であり、Googleによる音声AIの検証結果や当社の導入実績ではありません。

最初に「完了」の意味を決める

例えば来店予約なら、「希望日時を聞けた」「予約システムに登録できた」「確定内容を相手へ伝えた」は別の工程です。会話が終わった件数だけを集計すると、登録失敗や日時の取り違えを見落とす可能性があります。

まず1つの業務を選び、完了条件を短く書きます。

• 対象業務：既存の予約枠から希望日時を受け付ける。
• 完了条件：登録成功を確認し、日時を相手に伝え、受付記録を残す。
• 未完了の扱い：確認待ちとして担当者へ渡し、予約確定とは案内しない。

業務の範囲がまだ曖昧な場合は、AIエージェント導入の要件整理シートから準備できます。

AIコールで確認したい5つの場面

1. 空き状況を確認する前に、予約を確定しないか

テストでは、相手に「明日15時でお願いします」と伝えてもらい、予約システム側は満席を返すようにします。

確認するのは、AIの返答とシステムの処理結果が一致しているかです。「承りました」と話したかだけで合否を決めず、空き状況の取得、登録結果、確定案内の順序を記録します。登録に失敗したのに確定を案内した場合は、自然な会話であっても不合格とします。

2. 聞き取れない情報を、推測で登録しないか

会社名や日時が不明瞭な音声を用意します。例えば「15日」と「17日」を聞き分けにくい場面で、必要な聞き直しや復唱が行われるかを確認します。

一方、明瞭に伝えた情報まで何度も確認していないかも見ます。聞き直しの回数だけを減らすと誤登録が増える可能性があるため、登録内容の正確さと会話の負担を一緒に記録してください。評価用には架空の連絡先を使えます。

3. 会話途中の訂正を、最終結果に反映できるか

相手が「火曜で。やはり水曜に変更してください」と言った場合を試します。合格条件は、水曜の希望が最終記録に残り、古い予約が不要に残らないことです。

システムによっては仮予約を作らず、会話の最後に一度だけ登録できます。特定の操作順を無理に固定するより、「意図しない二重登録がない」「相手が確認した日時と一致する」という業務上の条件で評価します。

4. 外部システムの障害を、成功として扱わないか

予約システムが応答しない場合を、検証環境で再現します。ここでは、処理を無制限に繰り返さず、確認できていない事実を伝え、担当者が続きを対応できることを確かめます。

再試行の回数や待ち時間は業務ごとに決めます。特に登録処理の応答が途切れた場合は、実際には登録済みという可能性もあるため、確認せずに同じ登録を繰り返さない設計が必要です。

5. 要約に「決まっていないこと」を書き足さないか

通話記録には、希望日時、確定日時、未確認事項を分けて残します。「金曜なら都合がよいかもしれない」という発言を、「金曜の商談が確定」と記録していないかを確認してください。

AIテレアポでも、資料送付への関心と商談への合意は区別が必要です。AIコールセンターの評価では、要約の読みやすさに加え、元の会話との一致を担当者が確認できるようにします。

検証シートには何を残すか

担当者と開発側で同じ結果を確認できるよう、1ケースにつき次の項目を残します。

• 入力条件：相手の発言、システムの空き状況や障害条件。
• 期待する結果：最終的に登録・案内されるべき内容。
• 必須の行動：確認、照会、訂正など、欠けると業務が成立しないもの。
• 実際の結果：返答、登録内容、処理の成否。
• 判定と理由：合格・不合格・判断保留、修正すべき点。
• 実行条件：日時、モデルや設定の版、参照資料の版。

内部の思考を推測して評価する必要はありません。発言、操作履歴、システムの結果といった確認可能な記録を使います。記録に顧客情報を含める場合は、保存範囲と閲覧者をあらかじめ決めてください。

更新前後で同じ条件を試す

モデルや指示文を変更したら、同じ検証ケースで比較します。例えば通常の予約対応が速くなっても、訂正時の二重登録が発生するようになったなら、そのまま公開する判断はできません。

一度の成功を根拠にせず、言い換えや音声条件を変えた結果も確認します。成功率を示すときは、対象ケースと実行回数を添え、通常時と障害時の結果を分けます。重大な誤登録は、平均点だけに埋もれさせない運用にします。

導入前の検証を始めるなら、まず自社で発生しやすい失敗を1つ選び、再現条件と合格条件を書いてみてください。それが、AIエージェント構築の相談を具体化する材料になります。

AIエージェント・AIコールのサービスを見る
自社業務に合わせた構築・導入について相談する

参考情報

Google Developers Blog：The Anatomy of Harness Engineering: How to Evaluate, Iterate, and Guard AI Coding Agents（2026年9月9日公開、2026年9月16日確認）

参照記事はコーディング用エージェントを扱っています。本記事の電話業務の例と検証シートは、その考え方を踏まえたIvyLeap独自の実務提案です。