大規模言語モデル（LLM）のパラメータ効率的なファインチューニングは、単一のタスクに対して低コストで適応させることができる有用な手法です。しかし、複数のタスクを順序立てて学習する際に、LoRAスタイルの手法では低ランク更新が同じ固定ウェイトの上に積み重なり続けるため、新しいタスクが前のタスクを上書きしてしまう問題が生じます。 このたび、オハイオ大学などの研究者らによって発表されたReCoLoRA（Recursive Consolidation of Low-Rank Adapters）は、この課題を解決する新しいフレームワークです。このアプローチでは、アダプタが事前学習ウェイトのランダム化SVD（特異値分解）から初期化され、肘判定法によって層ごとの有効ランクが選択されます。その後、主部分空間が適応される前に、残りの容量が開放されるという特徴的なプロセスを採用しています。 ReCoLoRAの核となるのは「再帰的統合」の概念です。新しいタスク前に、元のウェイトではなく現在の有効ウェイトを再分解します。これを凍結された残差成分、ゆっくり更新される主成分、および新しいアダプタに分割することで、すべてのタスクが前のタスクを既に吸収したモデルから始められるのです。 7～8B規模の4つのバックボーン上で6タスクの連続GLUEシーケンスでテストされた結果、ReCoLoRAはLoRA、PiSSA、AdaLoRA、DoRAなどのベースラインに対して、4つのバックボーンのうち3つで最高の最終平均スコアを達成しながら、より少ないパラメータでの学習を実現しました。GitHubで公開されたコードにより、研究コミュニティでの活用が期待されています。