現代の大規模言語モデル（LLM）パイプラインには「文化的データファネル」という根本的な問題が存在する。これは、推論時の介入に焦点を当てた従来の文化的配置アプローチでは対応できない課題である。研究チームが実施した多次元的タグ付けフレームワークの分析により、事前学習、ファインチューニング、アライメント、推論の各データセットを通じて、明示的な文化的信号が学習後のプロセスで急激に低下することが明らかになった。 特に問題なのは、地理的に集中した、特定のタスクに特化したデータが優位を占めることである。モデルに文化的知識が十分に含まれていなければ、推論時にいかなる介入を施してもその知識を引き出すことはできない。つまり、現在のアプローチは根本的な原因に取り組むのではなく、表面的な症状にのみ対処しているということになる。 多言語対応はモデルが保有する文化知識の地理的多様性を向上させるが、表現のバランスが取れていることを保証しない。タグ付けされたデータセットを活用することで、下流の文化的ベンチマークパフォーマンスが改善されることが実証されており、真の進歩には訓練用データパイプラインの焦点を転換する必要があることが示唆される。 今後の研究を促進するため、研究チームは560万サンプルを含む文化的にタグ付けされたデータセット「CultureMarkers」をHuggingFaceで公開している。