arXiv (AI)AI
TITLE_JA: 並列サンプリングを超えて:エージェント検索のための多様なクエリ初期化
Beyond Parallel Sampling: Diverse Query Initialization for Agentic Search
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
大規模言語モデルを用いたエージェント検索の性能向上において、テスト時スケーリングは従来、深さ(各軌跡におけるターン数やトークン数の増加)または幅(並列ロールアウト数の増加)を追求してきました。本研究は幅方向のスケーリングに焦点を当て、標準的な並列サンプリングが収穫逓減に陥る原因を特定しました。その根本的な問題は、初期ターンにおけるクエリの冗長性にあります。モデルが複数のロールアウト間で類似した初期クエリを発行すると、取得される証拠が重複し、その後のターンはこの共有検索結果に依存してしまうのです。
この制限を克服するため、研究チームはDivInitという訓練不要な手法を提案しました。DivInitは、k個の独立した初期クエリを別々にサンプリングする代わりに、単一の呼び出しからn個の候補を引き出し、その中からk個(k<n)の多様なシード候補を選別し、それらを並列軌跡として実行します。このアプローチにより、初期クエリの多様性を確保しながら計算効率を維持できます。
5つのオープンウェイトモデルと8つのベンチマークにおける評価結果から、DivInitは標準的な並列サンプリングと比較して一貫した改善を達成しました。特にマルチホップ質問応答タスクでは、同等の計算量で平均5~7ポイントの性能向上が確認されています。このコード実装はGitHub上で公開されており、研究コミュニティが容易に活用できるようになっています。