ニューラルネットワークの最適化における重要な性質として、Hessian行列の固有値がどのようにスケールするかという問題があります。本研究は、この曲率指数αの変動メカニズムを理論的に解明するもので、Hessian固有値σkに対して hk ∝ σk^α という関係式が成り立つときのαが、ネットワークの層の種類によって系統的に異なることを示しています。具体的には、畳み込み層ではα≈2、Transformerの注意機構ではα≈1、MLP層の上昇射影ではα<1となるという観測があります。 研究グループは「Spectral Alignment Decomposition」という新しい理論的枠組みを証明し、α = 2 + d log Φk / d log σkという厳密な関係式を導きました。ここでΦkはKronecker因子の固有基底と勾配の特異方向との間の幾何学的な整合性を測定する量です。この分解により、αが層ごとに異なるのはなぜかという根本的な問題が、LayerNorm、残差接続、softmax出力層といった具体的な構造による幾何学的効果として説明されます。 さらに注目すべき成果として、曲率指数、有効な勾配ランク減衰γ、Hessian減衰指数sを結ぶ「スペクトル転送恒等式 s = αγ」が導かれました。この関係式は純粋に代数的ですが、実験的には5つのアーキテクチャと3つのデータセット合計93層で、独立したデータから推定したαとγがsを中央値誤差約2%で正確に復元することが示されました。これはフリーパラメータなしで成立する結果です。 応用面では、この理論をもとに「Spectral Newton」という新しい最適化手法を開発し、視覚タスクベンチマークにおいてAdamWを上回る性能を実現しています。この研究は、ニューラルネットワークの学習ダイナミクスをより深く理解し、より効率的な最適化アルゴリズムの設計を可能にする基礎となるものです。