ベンチマークの精度が飽和状態に達すると、通常はそれが廃止され、より難しいバージョンに置き換えられます。しかし、この一般的なアプローチは精度測定に重点を置きすぎており、エージェントのパフォーマンスを評価する他の重要な6つの側面を見落としています。それらは、ショートカットなどの構成妥当性の問題、分布外汎化性、効率性、信頼性、モデルとスキャフォルディングの相対的重要性、そして人間とエージェントの協働による性能向上です。本研究は、科学コードの計算再現性を評価するベンチマークであるCORE-Bench Hardをケーススタディとして用い、精度が飽和した後でもこれらの多次元的な測定により意味のある知見が得られることを実証しています。 まず、研究チームはCORE-Bench Hardにおいて、より低性能なエージェントでは予測が困難な構成妥当性の脅威を明らかにしました。これに基づいて改善されたベンチマークであるCORE-Bench v1.1と、分布外タスクスイートであるCORE-Bench OODを導入しています。第二に、精度が飽和している状態でも、CORE-Bench v1.1は効率性、信頼性、モデル性能、スキャフォルディング性能の測定に有用であることが確認されました。 さらに、小規模ながら無作為化実験を実施し、実世界の計算再現性タスクにおける人間とエージェントの協働による性能向上を測定しました。その結果、約2倍の統計的に有意なスピードアップが観測されています。これらの貢献を通じて、精度中心の評価パラダイムに代わる、より厳密で多角的な評価アプローチが提示されています。