バックプロパゲーションに代わる学習アルゴリズムとして注目されるフォワード・フォワード（FF）学習について、実際のスケールでの有効性を厳密に検証した研究が発表されました。この研究では、FFベースの学習手法がベンチマークテストでは有望な結果を示している一方で、実運用環境では大きな制限があることが明らかになりました。 研究チームは、動的温度グッドネス、分離された正規化、マルチレイヤー融合を組み合わせたDTG-FFという新しい手法を開発し、9つの実データセットで検証しました。その結果、CIFAR-10で91.8%、ImageNet-100 224x224でFFとしては初めてのベースライン達成など、FF系手法の最先端成績を記録しました。しかし同時に、層局所学習の深刻なスケーリング限界も露呈されました。 実データセット上での性能評価では、同一の設定とモデルアーキテクチャで比較した場合、従来のバックプロパゲーション（BP）に対してDTG-FFはCIFAR-10で2.40ポイント、CIFAR-100で5.93ポイント劣っており、特にクラス数が増えると格差が拡大します。224x224の高解像度画像では、DTG-FFは49.4%しか達成できず、一般的なBPが75%以上の精度を実現するのに対して大きな開きが生じています。 さらに重要な発見として、合成データセットではクラス数が増えるにつれてFFの優位性が高まるのに対し、実画像では逆にFF-BPの差が広がり、FFの有効性が落ちることが判明しました。これは、合成データセットでのベンチマーク評価がFFの実用性を過度に楽観的に評価していることを示唆しています。メモリ効率面でも、実際のハードウェア環境ではDTG-FFが従来のBP手法よりメモリ使用量が多く、計算速度も遅いため、実装上の利点が認められませんでした。