ニューラル言語モデル（NLM）がどのように統計的学習を行い、内部表現を構築するのかを理解することは、深層学習の解釈性向上に向けた重要な課題です。本研究では、発達心理学における児童の言語習得プロセスに着想を得た「発達的アプローチ」を採用し、トランスフォーマーベースの生成モデルがどのように学習を進めていくかを詳細に追跡しています。 研究チームは、合成文法を用いてGenerative Transformerモデルを訓練し、学習過程の複数の段階でモデルの内部状態をスナップショットとして保存しました。その後、これらのモデルの内部表現がどのように変化していくかを分析することで、興味深い発見に至りました。NLMは学習の初期段階において最も抽象的で汎用的な統計的知識を獲得し、その後、より局所的で具体的な統計的依存関係を習得していくことが明らかになったのです。 注目すべき点は、学習プロセスの最初の段階から過度な一般化（オーバーゼネラライゼーション）が繰り返し生じており、この過度な一般化は学習が進むにつれて段階的に制約されていくということです。この観察は、人間の言語習得における誤用の段階を彷彿とさせます。本研究はこれらの知見に基づいて、NLMの統計学習と言語認知プロセスを説明するための新たな理論的枠組みを提案しており、AI の言語理解メカニズムの解明に貢献する成果となっています。