arXiv (ML)AI
TITLE_JA: S-GAI:シグモイド型多層パーセプトロンのためのスペクトル幾何学認識初期化フレームワーク
S-GAI: Spectral Geometry-Aware Initialization for Sigmoidal MLPs -- From Dataset Geometry to Network Weights
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
ニューラルネットワークの初期化は、モデルの学習効率と最終的な性能に大きな影響を与える重要な要素です。従来の普遍近似定理はシグモイド型多層パーセプトロン(MLP)の表現力を理論的に保証していますが、初期重みがデータ分布の幾何学的構造をどのように反映すべきかについては指針を与えていません。本研究で提案されるS-GAIは、データセットの幾何学的特性を活用してシグモイド型MLPの初期化を行う新しいフレームワークです。
S-GAIの基本的な考え方は、シグモイドユニットが平滑な半空間ゲートとして機能することに着目する点にあります。従来の手作業による平面幾何学的設定から、画像データから推定されるクラス別のスペクトル幾何学へと進化させています。各クラスに対して、特異値分解(SVD)により平均値、主方向、およびスペクトルスケールを抽出します。エネルギー閾値によって保持すべき方向が選択され、各方向は2つのシグモイドゲートで表現されます。これらのクラス固有のゲートが共有隠れ層を構成し、訓練データセットから直接初期化されます。
検証実験では、MNISTおよびFashion-MNIST、さらに難度の高いCIFAR-10データセットを使用しています。S-GAIで初期化されたMLPは、従来のXavier初期化よりも情報量の多い隠れ層状態から開始し、完全な訓練後には比較可能な最終精度に到達します。特に隠れ層を固定し出力層のみを訓練する実験では、S-GAIはランダムゲートを上回る性能を示し、このフレームワークが効果的にクラス別スペクトル幾何学をMLPに埋め込んでいることを実証しています。