arXiv (ML)AI
連続制御のための訓練可能な非線形接続を備えた低消費電力アナログニューラルネットワーク
Low-power analogue neural networks with trainable nonlinear connections for continuous control
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
物理ニューラルネットワークは、アナログデバイスの物理特性を直接計算に利用することで、低消費電力の機械学習を実現する可能性を持っています。しかし従来のアーキテクチャでは、非線形デバイス応答がスカラーウェイトとしてのみ機能するという制限がありました。このジレンマに対し、研究チームはコルモゴロフ・アーノルドネットワークにインスピレーションを得て、訓練可能な非線形関数を接続部分に配置するという新しいアプローチを提案しました。これにより、物理ネットワーク内の各接続が学習可能な計算要素として機能するようになります。
実装に際しては、フィールドプログラマブルアナログアレイ上にアナログバンドパスフィルタとして実現された非線形関数が使用されています。実験結果から、このアプローチの有効性はタスクに依存することが明らかになりました。ロボット運動学や連続制御、太陽電池の最大電力点追従といった滑らかで連続的な値を目標とするタスクでは、従来の多層パーセプトロンと比較して大幅に少ないノード数と接続数で表現可能であることが示されました。一方、分類のような決定境界を伴うタスクではパラメータ効率の利点は得られません。
訓練されたネットワークは約35,000の接続を持つハードウェアへ転送され、定量化された忠実度が確認されています。専用のCMOS実装では約30マイクロワットの動作が見込まれており、極めて低い消費電力を実現しています。さらに、メムリスタを用いた実装がシミュレーション上で同様の動作を再現することが確認されており、この利点は特定のデバイスではなく、接続部分に訓練可能な非線形性を配置することそのものに由来していることを示唆しています。