arXiv (CV)AI
エージェント中心のインタラクティブ・ワールド・モデリング:継続的改善を実現する新しいパラダイム
Quo Vadis, World Modeling?
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
現代のAIエージェントの継続的な改善には、静的な教師あり学習を超えた動的なインタラクション・フィードバックが必要とされています。しかし、実環境での直接的なインタラクションは経済的に高コストであり、処理速度が遅く、安全性のリスクがあり、並列化も困難です。このような課題に対して、ワールド・モデリング(世界モデル)は自然な中間的プロキシとして機能し、エージェントが実際の行動を実行する前に、より低コストで制御可能なフィードバックを取得することを可能にします。
従来のワールド・モデルは主に未来の物理的状態を予測する形式で実装されてきました。この手法は有用ですが、単なる状態遷移を超えた実行可能なフィードバックを必要とするエージェントには範囲が限定的です。本研究は「エージェント中心のインタラクティブ・ワールド・プロキシ」という概念を提唱し、物理的状態遷移から「エージェントが使用可能な情報遷移」へと根本的なパラダイムシフトを実現します。これには実行結果、検索された経験やスキル、検証信号などが含まれ、ワールド・モデリングの適用範囲を大幅に拡張しています。
設計空間を体系的に整理するため、本研究はワールド・プロキシを6つの機能形式に分類しています。ダイナミクス・プロキシ、空間プロキシ、実行プロキシ、メモリ・経験プロキシ、スキル・プロキシ、報酬・検証プロキシの6種類で、エージェント改善にワールド・モデリングが寄与する主要な方法を特徴付けています。さらに、これらのプロキシが推論時ガイダンス、訓練時最適化、エージェント・プロキシ共進化という3つの進化的レベルでエージェントをいかに強化するかを分析しています。最終的に、本研究はワールド・モデリングをエージェント中心のパラダイムとして再構想し、エージェントがより良く計画し、より速く学習し、継続的に進化することを可能にするワールド・プロキシ構築のロードマップを確立します。