arXiv (ML)AI
FedSPC:個別化フェデレーテッドラーニングにおける共有パラメータ補正
FedSPC: Shared Parameter Correction for Personalized Federated Learning
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
フェデレーテッドラーニング(FL)は、複数のクライアントがローカルデータを保有したまま協力して機械学習モデルを訓練する分散学習の手法として注目されています。その中でも個別化フェデレーテッドラーニング(PFL)は、統計的異質性に対処しながら各クライアント固有の適応を可能にする重要なアプローチです。
多くのPFL手法はモデルを共有パラメータと個別化パラメータに分割し、両者を各クライアント上で共同訓練しています。しかし、このアプローチには最適化上の課題が存在します。共有パラメータは異なるローカル目的関数を最適化するクライアント群によって更新されるため、共有更新が一貫性を失い、共有表現が弱まるという問題が発生するのです。
本研究では、この問題に対処するため、フェデレーテッド共有パラメータ補正(FedSPC)という汎用的な補正手法を提案しています。FedSPCは、任意のPFL手法に対して共有パラメータのみに制御変量補正を適用し、個別化パラメータは変更しないという特徴を持ちます。共有特徴抽出器、共有分類器、ローカル正則化を伴う完全共有モデルという3つの一般的なPFL設定に統合可能です。
CIFAR-100とTiny-ImageNetデータセットを用いてViT、ResNet-34、VGG-11で行われた実験の結果、FedSPCはFedPer、FedRep、FedBABU、LG-FedAvg、Dittoといった代表的なPFL手法全体にわたってパフォーマンスを向上させることが示されました。