arXiv (ML)AI
TITLE_JA: 予算制約下のマイクロプリトレーニングにおける段階的要因スクリーニング
Staged Factorial Screening for Budget-Constrained Micro-Pretraining
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
機械学習モデルの事前学習において、限られた計算リソースの中で最適な設定を効率的に見つけることは重要な課題です。本研究は、予算制約下のマイクロプリトレーニングにおいて、段階的な要因設計手法を用いて安定した初期効果構造を復元できるかを検証しています。
研究では、単一のGPU上で613の実験を実施し、2分、5分、10分の短時間スクリーン、16条件の完全な反復実行、ターゲット化されたアンカーチェック、同一ホスト上でのグリーディ検索とランダムサーチベースライン、60分のブリッジパッケージ、そして12時間から24時間の拡張検証を複数ホスト環境で行いました。結果として、バッチサイズ、深さ、幅といった主要なパラメータの影響は短い予算では最も大きく、予算が増加するにつれて緩和されることが明らかになりました。
統計的に有意な要因(D、A、B、C)は5分と10分の時点で検出されましたが、因子Eは有意性を失いました。ランダムサーチも強力な候補に到達できますが、同じ低ペナルティ領域に繰り返し到達するだけで、どの要因が重要かは特定できません。一方、60分のブリッジアンカーが最も低い平均値を示しましたが、これはワークフロー改善とモデル容量の優位性を分離することができていません。
本研究は実践的な推奨を提示しています。短い設計スクリーンを用いて高ペナルティ方向を特定し、有望なアンカーを反復実行で確認し、縮小された空間内でローカル最適化を行うという段階的アプローチが有効であることを示唆しています。24時間の検証期間を通じて、ブリッジ中心の推奨方法が両ホスト環境で最良の結果を示し、汎用的なハイパーパラメータ最適化手法よりもコンテキスト依存的なアプローチの重要性が強調されています。