arXiv (Game Theory & AI)AI
支援ゲームにおける最適学習アルゴリズムの証明可能性
Provably Optimal Learning Algorithms for Assistance Games
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
本論文は、情報を持つエージェント(人間)と情報を持たないエージェント(アシスタント)が共通の報酬関数を最適化するために繰り返し相互作用する「支援ゲーム」のオンライン版を研究したものです。この枠組みでは、人間は世界の潜在状態を観察できますが、アシスタントは人間の行動のみを観察することができます。
研究チームは、繰り返される支援ゲームに対する最初の証明可能な効率的学習アルゴリズムを提供しています。「支援後悔(assistance regret)」という概念を導入し、これは実際の相互作用の累積効用と、潜在状態を行動ペアにマッピングする最適な共同方針の累積効用とのギャップを表します。人間とアシスタントの両方のための分散アルゴリズムを提示し、これらは$(1-1/e)$近似の後悔率$\widetilde{O}(T^{3/4})$を達成でき、行動空間と状態空間のサイズに対して多項式時間で実行可能です。
これらのアルゴリズムは汎用的で、アシスタント用の任意の後悔なし(no-regret)アルゴリズムに対応できることが特徴です。研究では、$(1-1/e)$より優れた後悔近似係数を達成することが計算的に困難であることを証明しています。さらに、汎用的no-regretアルゴリズムを共有ランダム文字列を用いた疑似分散設定に適応させることで、対数因子を除いて最適な$\widetilde{O}(T^{1/2})$の後悔率を達成できることを実証しています。