大規模言語モデル（LLM）の性能を向上させるため、外部知識を注入する検索拡張生成（RAG）システムが広く活用されています。しかし、注入されるコンテンツの形式が、その意味的関連性とは独立して、モデルの注意分布に歪みをもたらす現象が存在することが明らかになりました。この研究は「構造的注意税」と呼ぶこの現象を詳細に分析しています。 研究チームが発見した主な課題は、ナレッジグラフ（KG）のトリプル形式が、関係演算子と繰り返されるスロットパターンを持つため、意味的に等価な自然言語テキストと比べてトークンあたり2～3倍もの注意を獲得するということです。具体的には、KGトリプルの注意スコアは約0.70に達する一方、中立的なテキストは約0.25に留まり、これにより実証例への注意が最大42%圧縮されてしまいます。重要なのは、このトリプルが実際に関連があるか、ノイズであるかを問わず、この現象が発生するという点です。 研究者らは注意スコアを意味的要素と構造的要素に分解する形式的枠組みを開発し、トークンレベルの形式バイアスが実証例の注意損失につながることを数学的に導き出しました。この分析により、検索拡張文脈内学習（ICL）を改善するための2つの直交軸が浮かび上がります。一つは検索品質の最適化（意味的軸）であり、もう一つは形式によって駆動される注意キャプチャの削減（構造的軸）です。 実験結果は、Mistral-7BおよびLLaMA-3-8Bという2つのモデルファミリーと3つのQAベンチマークを対象に実施されました。タスク適合的なBM25検索がHotpotQAで58～62%の精度を達成する一方、ConceptNetはわずか25～27%であり、30ポイント以上の大きな差が生じています。これはあらゆるゲーティング戦略（2ポイント以下）の効果を大きく上回るものです。研究チームは、プロンプト修正から学習時の正則化まで、5つの構造認識型軽減戦略を導き出しており、形式の平坦化（S3）は精度と注意レベルの両面で検証されています。