機械学習モデルが複数回の試行を通じて改善される際、その改善がフィードバックの効果なのか、それとも単なる再試行やフォーマット修正による副産物なのかを区別することは、AIエージェントの評価において極めて重要な課題です。新たな研究論文は、この問題に対して厳密なアプローチで取り組んでいます。 研究チームは、多段階の言語エージェント設定において自然言語フィードバックの真の価値を測定するために、学生役と教師役を明確に分離する制御された実験プロトコルを開発しました。Omni-MATH、Codeforces、BBEH Linguini、ARC-AGIといった複数のベンチマークタスクを用いて、13個のオープンウェイトモデルを評価対象として、外部からのフィードバック、自己フィードバック、そして指導のない自己改善の3つの条件を比較検証しました。 興味深い発見として、複数ターンにおける改善の多くは実はフィードバック使用の証拠ではなく、自己生成フィードバックは指導のない自己改善とほぼ同程度の改善しかもたらさない一方で、優れた外部教師からのフィードバックは著しく大きなフィードバック固有の利得を生み出すことが判明しました。これは、有用なフィードバックには単なる再試行以上の指導的価値が必要であることを示唆しています。 さらに、学生と教師間の密度の高い相互作用マトリクス分析により、対話的改善は教師の正体よりも学生のフィードバック活用能力に大きく左右されることが示唆されました。研究者らはこの成果をオープンソースの評価フレームワークとして公開しており、フィードバックベースのエージェント開発において「フィードバックの有無ではなく、フィードバックを行動に変える能力こそが中心的なボトルネック」である点を強調しています。