arXiv (Systems & Control)AI
再帰的システムの崩壊予警クレームのベンチマーク評価――偽陽性制御下での検証フレームワーク
Benchmarking Recursive-Collapse Warning Claims Under Matched False-Positive Control
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
再帰的システムが完全な機能停止に至る前に、自己強化的な増幅、持続的な再帰、および多様性の縮小といった「崩壊類似状態」に陥る可能性があります。このような状態では、内部的な劣化が加速しているにもかかわらず、外部からは問題が見えにくいという危険性があります。本研究は、こうした再帰的障害を早期に検出するための新しいベンチマークフレームワーク「Loopzero」を提案しています。
Loopzeroは、再帰的失敗が特定の方向性を持つテレメトリパターンに従うかどうかを検証するために設計されました。具体的には、ゲインの上昇(G)、再帰的な持続性(p)、および多様性の低下(δ)という3つの指標に注目しています。このフレームワークの主張の境界はLeanプログラミング言語で形式的に指定されており、科学的な再現性と反証可能性を確保しています。
研究チームは、2つの公開ベンチマークでこのフレームワークを評価しました。1つは市場関連のベンチマーク(2018年のVolmageddon、2020年のCOVID関連市場サーキットブレーカー)で、もう1つはMovieLens-25Mデータセットを用いたオフラインの推薦システムです。重要な点として、すべての検出器は同じアラート予算制約(偽陽性率0.03~0.07の範囲)の下で評価され、公平な比較が実現されています。結果として、標準的な比較手法もLoopzeroの事前登録済み分位数検出器も、受理可能な動作ポイントを達成しませんでした。ただし、方向性のある証拠は両方の標準的なベンチマークで確認されています。さらに、Shumailov et al.(2024)のLLMトレーニングループの軌跡データも、提案されたパターンと方向性において一貫性を示しています。