arXiv (AI)AI
TITLE_JA: ハイブリッド型オープンエンド三者進化フレームワークがより優れたディープリサーチャーを実現
Hybrid Open-Ended Tri-Evolution Makes Better Deep Researcher
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
AIエージェントが汎用人工知能(AGI)に向けた実応用で直面する課題として、ディープリサーチとエージェント進化が重要な位置を占めています。ディープリサーチは、オープンエンドな環境で自律的に情報を検索・統合し、オープンエンドな研究タスクに対応する能力を提供します。一方、エージェント進化は環境との相互作用を通じてモデル能力を自動的に進化させます。しかし、従来のエージェント進化の有効性は標準的な答えが存在する検証可能なタスクでのみ実証されており、オープンエンドな研究タスクとの間に大きなギャップが存在していました。
この課題を解決するため、研究チームは「ハイブリッド型オープンエンド三者進化(HOTE)フレームワーク」を提案しました。このフレームワークはハイブリッド型強化学習を活用し、提案者(proposer)、解答者(solver)、評価者(judge)の3つのモジュールを協調的に進化させます。ウェブスケールの知識ベースを活用することで、オープンエンドなタスクと環境における自律進化エージェントの実現を目指しています。
大規模なディープリサーチベンチマーク3つでの実験結果は、HOTEで訓練された8Bパラメータモデルが、より大規模な静的な8〜32Bオープンモデルや最先端のディープリサーチ訓練手法を上回る性能を発揮することを実証しています。さらに、計算オーバーヘッドも少なく、HOTEにおける3つのモジュール全ての進化が不可欠であることが検証されました。このアプローチは、より効率的で自律的に学習・進化するAIエージェント開発の新たな方向性を示唆しています。