arXiv (ML)AI
QuantFlow:時系列予測のための連合学習ベースのMambaファウンデーションモデル
QuantFlow: A Federated Mamba-Based Post-Transformer Foundation Model for Time-Series Forecasting
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
時系列予測は金融、エネルギー、交通、公衆衛生、産業監視など、様々な分野における意思決定を支援する重要な技術です。近年、ファウンデーションモデルの登場により、異なる予測タスク間での転移学習が可能になりましたが、既存のモデルの多くは中央集約型のデータとTransformerの注意機構に依存しており、長期的で高次元、かつプライバシーに敏感な信号に対する適用が制限されていました。
このような背景の下、研究者らはQuantFlowという新しい確率的予測フレームワークを提案しました。QuantFlowは、逆順シーケンス埋め込み、双方向Mambaステートスペースデコーダ、分位数回帰、そして連合学習を組み合わせた革新的なアプローチです。このモデルでは、各変数が完全な観測ウィンドウ上に埋め込まれ、順方向と逆方向の両方で処理され、5つの条件付き分位数に投影されます。さらにTSMixupと呼ばれるデータ拡張技術を導入し、Dirichletの重み付け補間を通じて時間的多様性を拡張しつつ、シーケンス構造を保持しています。
実験は暗号資産、交通、電力、電力変圧器温度、インフルエンザ、天候データを含む多様なドメインで実施されました。QuantFlowはETTm1で0.2834、Weatherで0.2218の平均二乗誤差を達成し、20クライアントの非独立同分布環境でも3通信ラウンド後に生データを中央化することなく有用な精度を保持しています。これらの結果は、選別的なステートスペースモデリングがスケーラブルで不確実性を考慮し、プライバシー保護型の時系列予測の有望な基盤となることを示唆しています。一方で、不規則な疫学信号と長期予測の汎化に関する課題も明らかになりました。