Mixture-of-Experts（MoE）モデルは、トークンごとに限定された専門家（experts）のサブセットのみを活性化する効率的な構造として注目されていますが、連続するトークンが異なる専門家を活性化することにより、エッジデバイスのような計算資源が限られた環境では、低速ストレージと高速メモリ間での頻繁な重みの入れ替えが発生するという問題を抱えています。これまでのこの問題への対応は、システムレベルのキャッシング戦略やモデル訓練後の事後的なルーター微調整に限定されており、事前訓練段階での根本的な解決には至っていません。 本研究で提案されるStickyMoEは、隣接するトークン間の専門家の急激な切り替えにペナルティを与える微分可能なルーティング一貫性損失関数です。このアプローチにより、ルーターは意味的に一貫性のある範囲全体にわたって同じ専門家の割り当てを維持するよう学習されます。StickyMoEは既存のアーキテクチャに変更を加えず、単一のハイパーパラメータλの追加のみで実装でき、また事後的な方法とは異なり、訓練の初期段階から専門家の表現とルーティング決定を共同に適応させることが可能です。 小規模MoE言語モデルを用いた実験では、StickyMoEは専門家の切り替え率を最大60%削減しながら、困惑度（perplexity）の低下を4%未満に抑えることに成功しました。品質と局所性のトレードオフフロンティアにおいて、事後的な微調整手法を上回る性能を示しており、ルーティングの時間的局所性は訓練時に導入することが最も効率的であることが実証されました。