インターネット全体のデータで学習した大規模言語モデル（LLM）には、必然的に未来の情報が含まれてしまうという深刻な問題がある。このいわゆる「先読みバイアス」は、金融市場の過去の検証（バックテスト）や因果推論の妥当性を損なうため、経済学や社会科学の研究では特に大きな課題となっている。これに対して、各カレンダー日付までに利用可能だったテキストのみで学習する「ポイント・イン・タイム言語モデル」という手法が提案されているが、従来のアプローチでは制約のないモデルと比べて性能が大きく低下するという問題があった。 本研究は、このパフォーマンスギャップをスケーリング（モデルサイズの拡大）によってかなり縮小できることを実証している。研究チームは、FineWebから抽出した時系列でフィルタリングされた1兆トークンのデータセットを使用し、最大40億パラメータのデコーダーオンリートランスフォーマーを学習。2013年から2024年にかけての月次モデルチェックポイント一式を構築した。常識的推論や言語理解ベンチマークにおいて、これらのモデルはGemma-3-4BやLLaMA-7Bといった同規模の主要なオープンウェイトモデル（時系列制約なし）のパフォーマンスに接近している。ただしいくつかのタスクではなお性能ギャップが残存している。 さらに、LoRAを用いた命令微調整により、ダウンストリーム応用での実用性が向上している。研究チームは、データセット構築から学習インフラ、評価コードに至る完全なパイプラインを公開することで、再現可能なポイント・イン・タイム言語モデリングを実現し、厳密な時間的妥当性が必要とされる金融や社会科学の研究応用を支援する基盤を整備した。