arXiv (ML)AI
結合勾配降下法における過渡的増幅の疑似スペクトル境界
Pseudospectral Bounds for Transient Amplification in Coupled Gradient Descent
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
機械学習の最適化アルゴリズムにおいて、複数のパラメータブロックの更新が相互に依存する「結合勾配降下法」は、二段階最適化、二時間スケール確率近似、および敵対的学習など、様々な分野で重要な役割を果たしています。一般的に、こうしたアルゴリズムの安定性は対角ブロックのスペクトル半径によって支配されると考えられていますが、実際には収束までの過程において任意に大きな過渡的増幅が発生する可能性があります。これは線形作用素の非正規性に起因する現象で、収束理論だけでは説明できない実践的な問題です。
本研究は、このような結合ヤコビアン(ブロック三角形構造)に対する疑似スペクトル理論を展開しています。研究者らはKreiss定数に対する厳密な上界を証明し、対角ブロックが対称でスペクトル半径がγ未満である場合、K(J) ≤ 2/(1-γ) + ||C||/(4(1-γ))という評価を得ました。さらに、この上界と下界が一致するミニマックス最適性を確立し、スペクトル不安定性の臨界結合閾値を特徴づけています。
理論的貢献として、Neumann級数摂動フレームワークを用いてほぼ自己参照的なシステムへの分析拡張も行われました。その結果、確率的結合降下法に対して有限時間反復複雑性の上界がO(K(J)² log(1/δ))で与えられることが示されました。これは非定常な二時間スケール最適化のスケーリング則として解釈でき、スペクトル半径分析では見えない高次元学習ダイナミクスの非漸近的で事例依存的な領域を明らかにします。
研究では線形二次問題、IQCベースの比較分析、およびニューラルネットワーク学習実験によって理論が検証されており、実践的な応用可能性も示唆されています。