銀行などの規制対象産業において、LLMベースのチャットボットはカスタマーサービスの在り方を大きく変えつつあります。しかし、こうしたシステムの安全な導入には、スケーラブルかつ費用効率的な検証プロセスが不可欠な課題となっています。本研究は、大規模なチャットボット検証に向けた2つの重要な貢献を提示しています。 まず研究チームは、実際のトランザクションデータや会話データに基づいた高忠実度の合成顧客エージェント（SCA）をデジタルツインとして生成するための方法論を導入しました。このアプローチにより、多様な顧客プロファイルと相互作用スタイルを自動的にシミュレートすることが可能になります。評価結果によると、SCAsは実際の顧客との高いセマンティック一致性を達成し、幻覚率が低く、制御可能な介入を通じて性格特性を正確に再現することができました。 次に研究チームは、SCAベースの検証フレームワークを開発しました。このフレームワークは、LLMを判定者として用いた自動評価、人間の専門家によるテスト、そして敵対的な試験を組み合わせています。感情状態、人口統計グループ、言語的要因にわたるシナリオベースの検証を通じて、チャットボットの堅牢な性能が確認されました。この手法は英国の大手銀行のカスタマー向けチャットボット検証に実際に適用され、金融機関に対して規制準拠への実行可能でスケーラブルな道筋を提供しています。