arXiv (Neural Computing)AI
TITLE_JA: 適応的確率的自然勾配の並列性能向上のための重みパラメータ適応化
Weight Adaptation for Improving Parallel Performance of Adaptive Stochastic Natural Gradient
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
確率モデルベースの進化的アルゴリズムは、ブラックボックス最適化において有望な手法として注目されています。特に適応的確率的自然勾配(ASNG)は、学習率などの重要なハイパーパラメータを動的に調整することで、効率的かつロバストな最適化を実現しています。しかし、時間のかかるタスクを並列評価する需要が増加する中で、より大規模な集団サイズに対して適切な重みパラメータをいかに設定するかという課題が残されていました。
本研究では、重みパラメータ適応化機構をASNGに組み込んだWeight Adaptation ASNG(WA-ASNG)を提案しています。この手法は、自然勾配の蓄積から更新方向の推定信号を計算し、その信号を最大化することで重みパラメータを勾配上昇法により適応的に更新します。学習率適応化が目的関数の単調改善を保証する十分条件を満たすのに対し、重み適応化はこの改善量そのものを最大化することを目的としています。
実験結果は、集団サイズが25から100の範囲にわたる二値最適化問題において、WA-ASNGがPBILおよび従来のASNGを上回る性能を示すことを実証しています。さらに、強いノイズが存在する環境においても、WA-ASNGは効率的に動作することが確認されました。研究チームはコードをGitHubで公開しており、再現性と実用性を確保しています。