arXiv (AI)AI
TITLE_JA: Auto-FL-Research:フェデレーテッドラーニングアルゴリズム探索のためのエージェント型自動検索
Auto-FL-Research: Agentic Search for Federated Learning Algorithms
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
フェデレーテッドラーニング(FL)の研究開発においては、オプティマイザの選択、サーバ集約ルール、ローカルトレーニングスケジュール、正規化、正則化、モデルアーキテクチャなど、多数の重要なアルゴリズム的選択肢が存在します。これらの選択肢を手動で探索することは計算コストが高く、各選択肢がFLのトレーニングおよび評価経路全体に影響を与える可能性があるため、公平な比較が困難という課題がありました。
本研究では、FLアルゴリズムのレシピ探索を自動化するための制約付きコーディングエージェントワークフロー「Auto-FL-Research(AFR)」を提案しています。AFRのエージェントは、サーバ集約ルール、クライアント更新スケジュール、ローカル目的関数、登録済みモデルバリアントなど、候補となるトレーニングアルゴリズムを提案・実装できる一方、タスクプロファイルは変更可能なサーフェス、計算予算、通信契約、および最終的なモデル評価を固定します。各探索キャンペーンでは、候補スコア、実行時間、編集ファイル、成果物、失敗ステータスが記録されます。
評価実験は、5つのヘルスケアクロスサイロFLambyタスクおよびLEAFデータセット5個と合成タスク1個に対する グループ化クライアントプロファイルで実施されました。5回のシード繰り返し評価により、4つのFLambyタスクと6つのLEAFプロファイル中5つで改善が確認された一方、シード感応性および探索選択による失敗ケースも露見しました。同一予算制御により、複数の改善がFL-レシピ変更に対応する一方、他の改善は固定サーフェススカラー制御で回復するか、繰り返し評価またはホールドアウト評価で失敗することが判明しました。これらの混在した結果が本研究の重要な貢献となり、エージェント生成の候補が反復的なFLメカニズム、固定サーフェスチューニング効果、および選択された単一実行の成果物として分離可能であることを実証しています。