大規模言語モデルの効率的なスケーリングを実現するMixture-of-Experts（MoE）技術は、トークンを少数の専門家（エキスパート）にルーティングすることで計算効率を向上させています。しかし既存のルーター（ルーティング機構）の多くは、トークン表現の浅い層や孤立した情報のみに基づいて専門家選択を行うため、異なるレイヤー間でルーティング決定が不安定になり、意味的に一貫性を欠く問題がありました。 このような課題に対して、新たな研究ではコンテキストの不完全性を根本的なボトルネックとして特定し、Multi-level Context Fusion MOE（MCF-MOE）というフレームワークを提案しています。MCF-MOEは、複数のレイヤーにまたがる意味情報の集約とトークンレベルのローカル相互作用から得られる補完的な信号を統合することで、コンテキスト認識表現を構築します。この手法により、より情報量の多い一貫性のある専門家選択が可能になります。 言語モデリングと言語理解ベンチマークでの実験結果から、MCF-MOEが既存の強力なMoEベースラインと比較して、ルーティング一貫性と下流タスクの性能を一貫して改善することが実証されました。これらの成果は、専門家ルーティングにおけるコンテキストの完全性がいかに重要であるかを浮き彫りにしています。研究チームはコードをオープンソース化し、公開しています。