AI エージェントの能力評価は急速に進化しており、短期的で明確に定義されたタスクの完了については既に実証されています。しかし現在のベンチマークの多くは、数分以内に完了する単純な問題に焦点を当てており、最終的な結果だけで評価されるため、中間的な進捗や部分的な解決策が見落とされがちです。このような評価方法では、報酬信号が極めて稀になり、エージェントの真の能力像が不完全になってしまいます。 こうした課題に対応するため、研究チームは Long-Horizon-Terminal-Bench というベンチマークを開発しました。これは実験の再現、ソフトウェアエンジニアリング、マルチモーダル分析、インタラクティブゲーム、科学計算など9つのカテゴリにまたがる46の長期的なタスクで構成されています。各タスクは参照ソリューションまたはシミュレーションエンジンに基づきながらも、さらに細粒度の評価可能なサブタスクに分解されており、これにより密度の高い中間報酬と部分的なクレジット評価が可能になります。 Long-Horizon-Terminal-Bench のタスクは通常、数百回のエピソードと数時間の実行時間を要し、長期的な計画立案、長い文脈管理、反復的なデバッグなど、単発の問題解決ではなく複雑なスキルセットを必要とします。研究チームが15の最先端モデルを評価した結果、エージェントはタスクあたり平均970万トークンを消費し、1回の実行につき約231エピソード、85.3分の実行時間が必要でした。最も強力なテストモデルでも、完全報酬閾値0.95で15.2%、完全報酬1.0で10.9%のpass@1率にとどまり、全モデルの平均成功率は4.3%と1.7%でした。これらの結果から、長期的なターミナルエージェントの改善にはまだ大きな余地があることが明らかになりました。