arXiv (Systems & Control)AI
安定性と安全性のジレンマ:エージェント型サイバーフィジカルシステムへのゲイン操作攻撃
Stability Without Safety: Gain Manipulation Attacks on Agentic Cyber-Physical Systems
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
エージェント型サイバーフィジカルシステム(CPS)は、物理的な機械装置とAIエージェントを統合した次世代システムとして注目を集めています。自動運転車や産業用ロボット、スマートグリッドなど、実社会で急速に導入が進む技術ですが、新たなセキュリティ脅威が明らかになりました。
ゲイン操作攻撃と呼ばれるこの脆弱性は、システムのゲイン設定に対する悪意ある干渉を通じて実行されます。エージェント型CPSは通常、その安定性を維持するために制御システムのゲイン値を継続的に調整しますが、攻撃者がこのメカニズムを悪用することで、システムは一見安定しているように見えながら実は危険な状態に陥る可能性があります。
問題の本質は「安定性と安全性の乖離」にあります。従来の制御工学では、システムが数学的に安定であることが重視されてきました。しかし今回指摘された攻撃では、システムが安定性の基準を満たしていても、物理的な出力が危険な挙動を示す可能性があるのです。例えば、ロボットアームが指定された動作を実行しながらも、予期しない過度な力を加えたり、自動運転車が安定した走行状態を保ちながら不安定な軌道に向かったりする可能性があります。
この研究は、AI技術がシステムの複雑さを増す一方で、セキュリティ検証の手法が追いついていない現状を浮き彫りにしています。エージェント型CPSの安全な展開には、従来の安定性評価に加えて、物理的安全性と意図的な悪用に対する耐性を同時に考慮する包括的なセキュリティ枠組みが不可欠となるでしょう。