複数の異なるソースモデルから知識を統合する「マルチソース転移学習」は、実務的な課題に直面しています。従来のアプローチでは、パラメータ融合の際にK個のソースモデルすべてをメモリに同時に読み込む必要があり、O(K)のメモリ消費が発生してしまいます。また、推論時にすべてのモデルをデプロイしなければならないため、本番環境での運用が現実的ではありませんでした。 これを解決するため、研究チームが提案したGRASP（Gradient-Aligned Sequential Parameter Transfer）は、メモリ消費をO(1)に抑えながら優れた知識統合を実現する革新的なアプローチです。その特徴は三つの要素で構成されています。第一に、ソースモデルを一つずつ順序立てて処理し、進化していくターゲットモデルに統合するという順序的アプローチ、第二に、パラメータ単位の勾配整列により、ターゲットドメインの最適化方向と一致したパラメータのみを選別して転移し、負の転移を回避する仕組み、そして第三に、次のソースを統合する前に転移された知識を適応的に微調整する段階的なファインチューニングです。 Yearbook、CLEAR-10、CLEAR-100という三つの継続学習ベンチマークで検証された結果は顕著です。10年から108年の時間的分布シフトにまたがり、1.3Mから25.6Mパラメータの四つのアーキテクチャにおいて、GRASPは全データセットとアーキテクチャを通じて93.5%の平均精度を達成しました。これに対して従来のアンサンブル法は71.7%の精度に留まっています。 最も重要な点は、GRASPが一度マージしたモデルを保持する必要がなく、任意の数のソースに対応してもメモリ増加が生じないということです。この特性により、リソース制約のある環境やソースドメインが継続的に変化する場面での実装が可能になり、実用的な価値が格段に高まります。