コード生成AIエージェントの性能評価方法に革新をもたらす新しいベンチマーク「AgentLens」が発表されました。従来のコードエージェント評価では、タスクが成功したか失敗したかという単純な二値評価に終始していました。しかし実際にこうしたエージェントを使う開発者たちが経験するのは、そうした単純な結果ではなく、エージェントがどのように指示に従うのか、ツールをどう活用するのか、自らの仕事をどう検証するのか、間違いからどう回復するのか、そしてユーザーとどうコミュニケーションするのかという、実行全体の過程なのです。 AgentLensは、こうした実行プロセス全体を総合的に評価することを目指しています。形式検証（客観的な正誤判定が可能な場合）と、LLMによる軌跡レビュー（trajectory review）、さらには複数の実行結果の並列比較を組み合わせることで、各実行に対して「なぜそのスコアになったのか」という読みやすい説明を提供します。 このアプローチにより、AgentLensはモデルのランキング付け以上の用途を実現しています。開発チームはこれを使ってモデルの行動を診断したり、自社エージェントの異なるバージョン間での比較を行ったり、夜間の自動評価パイプラインで製品の機能低下を検出したりできます。ベンチマークはオープンソースとして公開されており、AIエージェント開発コミュニティ全体が活用できます。