arXiv (Neural Computing)AI
広い2層ニューラルネットワークにおける不確実性の定量化:極限変動過程の法則について
Quantifying Uncertainty In Wide Two-Layer Neural Networks: On The Law Of The Limiting Fluctuation Process
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
ニューラルネットワークを用いた予測において、その不確実性を正確に定量化することは、実用的な応用において極めて重要な課題です。本研究は、従来のディープアンサンブル法に比べて計算コストを大幅に削減する新しいアプローチを提案しています。ディープアンサンブル法は複数のネットワークを訓練する必要があるモンテカルロ推定法ですが、提案手法は偏微分方程式(PDE)の漸近分散情報を直接活用することで、より効率的に不確実性を評価します。
研究の中核は、確率的勾配降下法(SGD)で訓練された広い2層ニューラルネットワークについて、弱ノイズレジームにおける平均場極限の周りのランダム変動を記述する極限過程の法則を解析することにあります。先行研究の軌跡的中心極限定理に基づいて、この極限が線形確率進化方程式の弱解として特性化されることを利用し、その法則を明示的に特定しています。
具体的には、この極限過程が重み付きソボレフ空間の双対空間における中心化ガウス過程であることを示し、滑らかな関数に対するテストを通じて有限次元分布の共分散表現を導出しました。その共分散は、平均場軌跡によって駆動される係数を持つ非局所ソース項を備えた逆輸送方程式の解により表現されます。この結果を活用し、固定入力での活性化関数に対するテストを行うことで、対応するネットワーク出力変動の極限分散式を得ることができました。研究チームは一次元回帰例における数値シミュレーションによってこの理論的結果を検証しています。