arXiv (AI)AI
TITLE_JA: 制約多様体制御による安全で汎用的な階層型マルチエージェント強化学習
Safe and Generalizable Hierarchical Multi-Agent RL via Constraint Manifold Control
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
マルチエージェントシステムは、厳格な安全制約下での協調行動を必要とする安全関連アプリケーションで広く利用されています。しかし既存のアプローチには根本的なジレンマが存在していました。学習ベースの手法は優れた実証的性能を達成する一方で、理論的な安全保証が欠けており、一方で制御理論的手法は安全を強制しますが、過度に保守的で非効率な行動につながることが多かったのです。
このような課題に対処するため、新たな階層型マルチエージェント強化学習フレームワークが提案されました。このアプローチの特徴は、制約多様体を用いて低レベルで穏和な仮定の下で硬い安全制約を強制しながら、高レベルのポリシー学習を通じて効果的な協調を実現する点です。マルチエージェント設定における理論的安全保証を提供し、定常学習ダイナミクスをもたらすことで、安定かつ効率的な訓練を可能にします。
実験結果は、このフレームワークが競争力のあるパフォーマンスを達成しながらほぼ完璧な安全率を維持することを示しています。さらに注目すべき点として、異なる数のエージェントや障害物への汎化に有効性を示しており、実世界の変動する環境への適応可能性が高いことが実証されました。これにより、安全性と性能のバランスを取りながら、スケーラブルで信頼性の高いマルチエージェントシステムの構築が現実化しつつあります。