arXiv (ML)AI
TITLE_JA: NEST:レジーム志向混合専門家モデルによるデータセットレベル分布シフトの解決
NEST: Tackling Dataset-Level Distribution Shifts via Regime-Oriented Mixture-of-Experts
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
複雑なシステムにおける長期予測は、データセットレベルの分布シフトによって精度が低下することが多い。異なる行動パターンや進化するシステム状態が動的多変量時系列を駆動する環境では、既存手法が局所的な時間的シフトに焦点を当てている一方で、データセットが複数の異なる運用レジーム(運用状態)の複合体であるという大局的な構造的課題に対応できていないのが実情である。
本論文で提案されるNESTは、進化する構造をモデル化および再構成するための二段階の密集混合専門家(MoE)アーキテクチャである。第一段階では、モーメント・エントロピー空間における教師なしクラスタリングを通じて、データセットを異なる運用レジームに分割することで構造的専門化を実現する。その後、レジーム志向ルーターメカニズムが時間的コンテンツに基づいて初期専門家重みを生成し、レジーム重心への幾何学的変調により洗練される。
個々の専門家がモノリシック予測器として機能するのではなく、運用レジーム固有の動的特性を捉えるための特殊化されたカーネルとして機能することが重要な特徴である。各専門家は独自の変量注意パターンを進化させることで、異なるレジーム下の予測精度を向上させる。異種ネットワークトラフィックおよび物理現象を含む多様なベンチマークでの広範な評価により、NESTが一貫して最先端の性能を達成することが実証された。コードとデータセットはGitHubで公開されている。