arXiv (CV)AI
RSLoRA:表現感度プローブによるLoRAの訓練不要なランク割り当て
RSLoRA: Training-free Rank Allocation for LoRA via Representational Sensitivity Probing
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
大規模言語モデルの効率的なファインチューニング手法として注目を集めるLoRA(Low-Rank Adaptation)は、パラメータ効率的ファインチューニング(PEFT)の中心的な役割を担っています。しかし従来のLoRA実装では、ニューラルネットワークの各層に均一にランクを割り当てる慣行が採用されており、これが異なる層の機能的異質性を見落としているという課題がありました。
既存のランク割り当て方法は、計算コストと直感的な単純さのジレンマに悩まされていました。訓練ベースの手法は過度な計算負荷を要し、事前割り当て手法はタスク固有の表現多様体の動的な変化を捉えられないという限界がありました。本研究で提案されるRSLoRA(Representational Sensitivity LoRA)は、訓練不要かつ勾配不要なランク割り当て手法であり、活性化空間の幾何学的性質に基づいて動作します。
RSLoRAの革新的な点は、「感度体制のシフト」という現象を各層にわたって発見した点です。従来の重み解析と局所勾配では、アップデートがモデルの内部表現をどのように再構成するかを十分に反映できないことが明らかになりました。これに対処するため、RSLoRAは仮想的な表現プローブメカニズムを導入しています。構造化された低ランクノイズによる適応をシミュレートし、Effective RankとFrechet Distanceを用いて多様体の変位を測定することで、より高いランク容量を必要とする高感度モジュールを特定します。
AdaLoRAやGoRAなどの既存手法を上回る性能が、主要なベンチマークを通じて実証されています。繰り返しの訓練時調整と逆伝播を不要にすることで、RSLoRAは大規模モデル適応のための極めて効率的かつロバストで、表現認識的なソリューションを提供します。