大規模言語モデル（LLM）から抽出された表現は、多くの下流タスクで重要な役割を果たしています。しかし、これらの表現の構造は意味内容よりも語彙的重複の影響を受けることが多く、この語彙的影響と意味内容の関係性、そして下流タスクへの影響についての理解は限定的です。 本研究では、LLMの表現を詳細に調査し、語彙的重複の影響を意味内容に対して相対的に定量化することを目指しています。研究チームは複数の敵対的な意味ストレステストを実施し、さらに情報理論的な観点からも知見を関連付けています。調査結果によると、語彙的影響はモデルの深さ全体に渡って存在し、異なるアーキテクチャ、学習体制、目的関数を含む複数の条件において一貫して観察されました。興味深いことに、意味的類似性のために訓練されたモデルでさえ、この語彙的影響は顕著に見られます。 さらに分析を進めると、モデルの中間深度領域では語彙信号と意味信号の両方が同時に劣化することが発見されました。これは表面形式と意味の両方の観点から表現品質が低い遷移領域の存在を示唆しています。最後に、研究チームは要約およびモデル編集をケーススタディとして、語彙的影響が下流タスクでのLLM利用に及ぼす実際の効果を実証しています。