arXiv (Neural Computing)AI
ノイズ変調ニューラルネットワークにおける前向き変動からのバックプロパゲーション再構築
Reconstructing Backpropagation from Forward Fluctuations in Noise-modulated Neural Networks
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
ノイズ変調ニューラルネットワーク(NNN)は、ノイズを計算リソースとして扱い、ノイズが存在する環境下でのみ学習と推論を行う新しいアーキテクチャである。このアプローチは、スパイク状の信号を送信しながらバックプロパゲーションにより効率的に学習できるという利点を持つ。しかし従来のバックプロパゲーションには「重み転送問題」という課題が存在する。これは逆伝播の際に転置された重み行列を通じた逆パスが必要となるもので、生物学的およびニューロモルフィック的な妥当性を損なわせてしまう。
本研究では、バックプロパゲーション自体を前向きパスの統計情報のみから再構築できることを示している。重み鏡と呼ばれるメカニズムが各重み行列を、前層ユニットの出力と次層ユニットの入力間の共分散から推定し、ユニット内の局所的な微分推定と組み合わせることで、転置重みの読み出しや逆向きのデータパスなしに計算グラフに沿って出力誤差を再帰的に伝播させるのである。
得られた勾配は経験的にほぼ不偏であり、局所的なユニットごとのAdam更新を適用することで、単純な回帰タスクではバックプロパゲーションと同等の最終精度を達成する。均一分布のノイズを用いた場合、局所演算は多項式と比較器に帰着し、学習則を含むシステム全体がデジタル回路への実装に適した形となる。このように、NNNではノイズが推論のためだけでなく、バックプロパゲーション再構築のためのリソースとして機能する点が極めて興味深い。