大規模言語モデル（LLM）は社会科学の研究方法論に大きな変化をもたらしています。研究者たちはLLMに対してプロンプトを与え、データのラベリングや調査回答のシミュレーションなど、社会的概念の定量的測定を生成させるようになりました。しかし、LLMはバイアス、幻覚現象、文脈によるばらつきなど、多くの方法論的課題を抱えており、これらが研究の妥当性にもたらす脅威は明確ではありません。 本研究は、8つの主要な社会科学学術誌から包括的な論文コーパスを収集し、LLMを測定手段として使用している研究における検証実践を体系的に分析しました。分析の結果、LLMによって生成された測定値が経験的分析において中心的な役割を果たしていることが判明しました。にもかかわらず、これらの測定値の検証実践は一貫性を欠き、限定的であることが明らかになったのです。 この現状は、社会科学の研究コミュニティにおいて、LLMの使用に関する標準的な実践と規範がまだ発展途上の段階にあることを示唆しています。本研究では、より堅牢な検証のための補完的な戦略を提示し、社会科学におけるLLM利用をめぐるより良い規範と基準の構築に向けた方向性を示唆しています。これにより、研究の信頼性と妥当性を高める新たな基準の確立が期待されます。