arXiv (Systems & Control)AI
到達可能性を保証するベルマン演算子:ハミルトン・ヤコビ到達可能性と強化学習の統合
Reachability-Preserving Bellman Operator for the Discounted Reach-Cost Value Function: Uniting Hamilton-Jacobi Reachability and Reinforcement Learning
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
ハミルトン・ヤコビ(HJ)到達可能性理論は、連続時間動力学系に対して厳密な安全性と到達可能性の保証を提供する強力な手法です。しかし、その数値解法は次元の呪いに苦しんでおり、高次元問題への適用が困難でした。一方、深層強化学習(DRL)はスケーラブルな標本ベースの手法として知られていますが、従来のRLは加法的な累積報酬を中心に構築されており、到達可能性の目的関数は本質的に非加法的であるという根本的な相違があります。
本論文は、この理論的ギャップを埋めることを目的としています。研究者らは、意味論的に正確な割引到達値関数に基づき、独特の不動点がHJ定式化の値関数と完全に一致する非加法的ベルマン演算子を導出しました。割引によってこの演算子が縮約性を持つことを証明し、値反復の存在性、一意性、収束性を確立しています。さらに、HJ特性付けとベルマン特性付けの等価性を示し、強化学習が同じ不動点方程式のための標本ベース近似スキームとして解釈できることを明らかにしました。
この結果は、HJ到達可能性とRLの間に原則的かつ意味論的に正確なつながりを確立し、学習ベースの手法が安全性関連の意味を保有しながら到達可能性値関数を近似することを可能にします。特に高次元システムにおいて、到達可能集合と安全証明書のスケーラブルなデータ駆動計算の道を開くものです。数値実験では、HJ解との高い一致、ゼロレベル集合の整列による到達可能性意味論の保存、および強化学習を提案されたベルマン演算子の標本ベース解法として解釈する妥当性が確認されています。