arXiv (ML)AI
複数の基礎モデルの活用と知識蒸留:軽量で堅牢な科学時系列予測の実現
When to Trust, How to Distill: Multi-Foundation Model Guidance for Lightweight, Robust Scientific Time Series Forecasting
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
時系列予測技術は気象予報や環境モニタリングなど、物理科学の多くの応用において重要な役割を担っています。近年、大規模な時系列基礎モデル(TSFM)の登場により、汎用的な予測能力が大幅に向上しました。しかし、これらのモデルを特定の科学領域に適用する際には、深刻な課題が生じています。具体的には、学習データの分布のズレによって予測精度が低下するだけでなく、計算コストが非常に高く、エッジコンピューティングデバイスへの導入が困難という問題があります。
この研究は、複数の基礎モデルから効果的に知識を抽出し、軽量で実用的な予測モデルを構築する革新的な手法「Guard」を提案しています。Guardの核となるのは、二つの適応メカニズムです。まず「文脈的ルータ」により、入力データの局所的な統計情報に基づいて、複数の教師モデルの中から最も関連性の高いものを動的に選択します。次に「不確実性ゲート付き温度機構」が、教師モデルの信頼度と実際の領域知識に乖離がある場合、自動的に学習信号を減弱させる「ブレーカー」として機能します。
評価実験では、気象予報、生態系の炭素フラックス、土壌水分、電力網といった四つの気候関連領域において、提案手法が従来の固定重み付け多教師蒸留を大幅に上回る性能を示しました。興味深いことに、分布のズレにより本来の精度が低かった教師モデルでも、難しい予測事例の28.5%では最高性能の基礎モデルを凌ぎ、重要な補正役として機能することが明らかになりました。この成果により、リソース制約のあるエッジデバイスでも高精度の科学的予測が実現可能になり、環境モニタリングセンサーネットワークなど、実世界への広範な応用が期待されます。