arXiv (ML)AI
TITLE_JA: GRAPE:コンパクトな敵対的ロバスト性のための誘導パラメータ空間進化
GRAPE: Guided Parameter-Space Evolution for Compact Adversarial Robustness
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
ニューラルネットワークの敵対的ロバスト性を向上させることは、機械学習セキュリティにおける重要な課題です。従来の敵対的訓練(AT)は固定されたパラメータ空間から最初から学習を開始していますが、新たな研究は、パラメータが最適化可能になる順序が最終的なロバスト解に影響を与える可能性を示唆しています。本論文で提案されるGRAPE(Guided Parameter-Space Evolution)は、この問題に取り組むための新しい訓練フレームワークです。
GRAPEの特徴は、パラメータ空間の段階的な進化を通じてロバストなモデル学習を実現する点にあります。このフレームワークは、現在露出されているパラメータ空間内でのロバスト最適化を安定化させ、段階的に新しい最適化可能な次元を解放します。同時に、敵対的スペクトル利用スコアという指標を用いて、新たに解放された容量を高圧力モジュールへ誘導することで、効率的なパラメータ配置を実現しています。
実験結果は非常に有望です。CIFAR-10データセット上の標準的な$\ell_\infty$脅威モデルにおいて、固定構造のResNet-18敵対的訓練と比較した場合、GRAPEはPGD-20ロバスト精度を51.70%から56.94%に改善し、計算予算はほぼ同程度(FLOPs比1.009倍)に抑えつつ、パラメータ数を約21.4%削減しています。さらに、同じResNet-18アーキテクチャを持つ順序成長バリアントでも56.52%のロバスト精度を達成しており、この改善は最終的なアーキテクチャの違いだけでなく、パラメータ空間の進化経路そのものに由来することが示唆されています。この研究は、誘導的なパラメータ空間進化がコンパクトでロバストなパラメータ構成を生み出す可能性を実証しています。