arXiv (AI)AI
TITLE_JA: 抽象的推論と汎化のための費用効率的なエージェントフレームワーク:ARC-AGI-1での成果
Cost-Effective Agent Harnesses for Abstract Reasoning and Generalization on ARC-AGI-1
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
ARC-AGI-1ベンチマークにおける抽象的推論タスクの解決方法は、大きく分けて2つの主流がありました。1つは進化的探索や連鎖的思考といった重い計算処理をフロンティアモデルに施す方法で、もう1つはARC専用データでの微調整を含むベンチマーク特化型の学習です。この研究は第3の道を切り開くもので、オープンウェイトモデル「DeepSeek V3.2」を「思考モード」なしで、厳密な予算制約下で運用し、ARC固有の微調整を一切行わない手法を提案しています。
研究チームはアーキテクチャのみで何が達成可能かを検証し、パターン発見とプログラム合成を明示的に分離するエージェント型の仕組みを構築しました。まず「Explorer-Definer Pipeline」という2段階のエージェントパイプラインを導入し、パターン発見を実行可能な変換合成から明確に区分しています。さらに「Reflective Orchestrator」は、以前の仮説が訓練ペアで失敗した場合に新しい変換を自律的に探索する機能で、パイプラインを拡張しています。
ARC-AGI-1の公開400タスク評価セットでは、パイプラインは1タスクあたり0.25ドルという低コストで57.50%のpass@2を達成し、オーケストレーターは0.62ドルで67.25%のpass@2に到達しました。15.50%のワンショット基準線から約52ポイントの向上を実現し、これはベンチマーク特化型の訓練や重い計算処理なしでの達成です。さらに分析では、パイプラインが生成段階で制約を受けており、ランキング能力ではないことが判明し、適応的な再探索を通じて予測と確認が行われました。