arXiv (Neural Computing)AI
正確な線形代数によるより浅いReLUネットワーク表現の実現
Shallower ReLU Network Representations via Exact Linear Algebra
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
ニューラルネットワークの深さを削減することは、計算効率と理解可能性の観点から重要な研究課題です。本研究は、ReLU活性化関数を用いたニューラルネットワークがどの程度の深さで複雑な関数を正確に表現できるかを理論的に明らかにしています。
研究チームは、n個の実数の最大値を正確に表現できるReLUネットワークの構造を、正確な有理線形代数を用いて証明しました。具体的には、n≤10のすべての場合について、2つの隠れ層を持つReLUネットワークで最大値関数を正確に表現できることを示しています。この構成方法では、対称性を利用して問題を簡潔化し、必要なキャンセレーション(相殺)を有限線形系として符号化することで、計算的に検証可能な形にしています。
特に興味深い点は、max₁₀(10個の数値の最大値)の表現において、最初の隠れ層がペアごとの最大値のみで構成されるという構造的な特徴を持つことです。この設計により、より大きなネットワークへの再帰的な代入が可能になります。著者たちはこの特性を活用して、n>10の場合、最大値関数maxₙは⌈log₅(n/2)⌉+1 < log₅(n)+1.5694個の隠れ層で正確に表現できることを証明しました。
さらに、この成果は一般化されたヒンジング・ハイパープレーン表現を通じて、ℝᵈ上のすべての連続区分線形関数にも拡張されます。特に、d≤9次元におけるすべての連続区分線形関数は、2つの隠れ層を持つReLUネットワークで表現可能であることが示されています。これらの結果は、先行研究(STOC'26で発表されたBakaevら)の成果を上回り、より効率的で浅いネットワーク構造の実現可能性を示しています。