arXiv (AI)AI
TITLE_JA: GITCO:時系列基盤モデルにおける推論時コンテキスト最適化
GITCO: Gated Inference-Time Context Optimization in TSFMs
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
時系列予測に特化した基盤モデル(TSFM)は、構造的に異常なパッチがモデルの注意機構を過度に占有することで、ゼロショット予測の精度が低下する「コンテキストポイズニング」という課題に直面しています。この問題に対処するため、新しい推論時最適化手法「GITCO(Gated Inference-Time Context Optimization)」が提案されました。
GITCOの特徴は、モデルの重みを変更するのではなく、入力コンテキストそのものを推論時に最適化することにあります。このフレームワークは3つの主要コンポーネントで構成されています。まずGateは有害なパッチを選別し、Routerがそれらを適切に振り分け、Criticが最終的な判定を行います。重要な点として、これらの処理はパラメータ更新を一切必要としない軽量な設計となっているため、計算効率が高く実装が容易です。
TimesFM 2.5を用いた評価では、GIFT-Evalの53個のデータセットに対してK分割交差検証を実施した結果、平均で1.95%のMASE削減を実現しました。これは改善の上限値の89.9%に相当し、実用的な精度向上が確認されています。さらに本研究では「コンテキスト感度プロファイル」という新しい特性が導入されました。これは時系列メタ特性からモデルアーキテクチャとデータの統計的構造が共同で形成する、推論時コンテキスト介入下での期待精度改善へのマッピングを表しており、今後のTSFM開発における重要な評価指標となる可能性があります。