動画配信プラットフォームのビリビリが開発した小規模言語モデル「Index-1.9B」に関する技術レポートがarXivで公開されました。このモデルシリーズは、19億個のパラメータ（埋め込み層を除く）を備えており、主に中国語と英語の2.8兆トークンでプリトレーニングされています。 Index-1.9Bシリーズは4つのバリエーションで構成されています。まずIndex-1.9B-Baseは基礎となるファウンデーションモデルで、Index-1.9B-Pureはコントロール用途として同じレシピで訓練されながら、命令形式のデータを厳密に除外したバージョンです。Index-1.9B-Chatは基礎モデルから教師付きファインチューニングと直接選好最適化によってアラインされており、Index-1.9B-Characterはチャットモデルに検索拡張生成を組み込んで、少数ショットのロールプレイカスタマイズに対応しています。 プリトレーニングではWarmup-Stable-Decayという学習率スケジュールを採用し、減衰段階では厳選されたデータの比率を大幅に増加させています。また、Norm-Headという出力層を導入することで、大きな学習率下での訓練を安定化させています。試験問題、推論、数学、コード生成を含む標準ベンチマークスイートにおいて、Index-1.9B-Baseは平均64.92点を達成し、数倍のサイズを持つオープンソースモデルと同等かそれを上回る性能を示しています。研究チームはモデルの深さ、学習率の大きさとスケジューリング、学習率減衰とデータ品質の相互作用など、詳細な制御研究も報告しており、すべてのモデルと評価コードはGitHubで公開されています。