ツール操作エージェントが自らの経験から学習して改善することは、機械学習の重要な課題です。従来の方法では、教師モデルから蒸留された固定的な軌跡に依存する教師あり微調整か、長時間相互作用に対して弱い監督信号しか提供しない疎報酬強化学習のいずれかに限定されていました。この問題に対応するため、研究チームはDeepSearch-Worldと呼ばれる決定論的で検証可能な環境の上に構築された自己蒸留フレームワークDeepSearch-Evolveを提案しました。 DeepSearch-Worldは、エンティティレベルのランダムウォークから構築された420,000個のマルチホップ質問応答タスクを含む環境です。この環境には、検索とページ読み込みツールが複製可能な形で実装されており、エージェント自体が進捗を検証し、根拠のある反省を行い、失敗から回復するといった自己進化に有用な認知行動をサポートしています。DeepSearch-Evolveは、軌跡生成、フィルタリング、データ混合、微調整を繰り返し実行することで、より強力なエージェントを訓練します。 より高性能なモデルからの蒸留を行わずに、DeepSearch-World-9Bは既存のオープンソースエージェントと比較して競争力のある性能を達成しています。具体的には、BrowseCompで31.2%、GAIAで61.5%、HotpotQAで93.4%の成績を記録しました。この結果は、検証可能な環境が長時間相互作用を伴うウェブエージェントのスケーラブルな自己進化を実現することを示唆しています。研究チームは環境、420,000件の訓練プール、検証セット、モデル、およびコードを公開し、自己改善型深層探索エージェントに関する今後の研究を促進する予定です。