arXiv (NLP)AI
言語モデルにおけるドメイン適応と推論フレームワーク:歴史的宇宙論を用いた制御実験
Domain Adaptation and Reasoning Frameworks in Language Models: A Controlled Experiment with Historical Cosmology
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
本研究は、歴史的宇宙論を題材とした制御実験を通じて、ドメイン適応が言語モデルの説明行動をいかに変化させるかを調査しています。研究は2つのフェーズに分けられており、言語モデルの学習過程でどのように知識表現や推論フレームが変わるのかを詳細に追跡しています。
第1フェーズでは、コペルニクス以前のコーパスから明示的な地動説的記述を除去した上で、小規模な言語モデルをゼロからトレーニングしました。その際、地球の運動や地動説の継続が自発的に生じるかどうかを評価しました。結果として、小規模モデルは局所的な地球運動の継続を時折生成しましたが、これらは全体的に不安定であり、一貫した宇宙論的推論を支えるには不十分でした。
第2フェーズでは、より大規模な事前学習済みモデルに対してQLoRAを用いてファインチューニングを行い、同じコーパスでドメイン適応がいかに説明フレームと宇宙論的立場を変化させるかを研究しました。モデルの出力はLLMを判定者として使用するフレームワークで評価され、宇宙論的立場(地心説、地動説、曖昧)と説明フレーム(前近代対現代)の両方がラベル付けされました。
興味深いことに、ファインチューニングは前近代的説明フレームへの統計的に有意なシフトを誘発しましたが、これらのフレーム内での条件付き宇宙論的立場の分布は比較的安定していました。つまり、地心説的な出力の増加は、立場の直接的な修正というよりは、むしろ説明体制にわたる再分配から生じていました。これらの結果は、ドメイン適応が主に継続が生成される言語的フレームワークを再形成し、立場の変化がそうした変化から二次的に生じることを示唆しています。