arXiv (ML)AI
TITLE_JA: 拡散型大規模言語モデルの後学習量子化における境界認識不安定性再重み付けキャリブレーション
FAIR-Calib: Frontier-Aware Instability-Reweighted Calibration for Post-Training Quantization of Diffusion Large Language Models
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
拡散型大規模言語モデル(dLLM)は、トークンを段階的に生成する際に、一度確定したトークンは二度と変更できない不可逆的な特性を持つ。この特性に由来する「安定性ラグ」という現象がある。初期段階で生成されたトークンは、その後のプロセスを経ても脆弱なままであり、後学習量子化(PTQ)を適用した際に量子化誤差がこれらの境界的な決定を簡単に反転させてしまうのだ。一度反転すると、確定したトークンは固定されたまま増幅されるため、最終的な出力品質が大きく低下する問題が生じる。
このような課題に対処するため、研究者たちはFAIR-Calib(Frontier-Aware Instability-Reweighted Calibration)という二段階のPTQフレームワークを提案した。第一段階では、全精度の教師モデルを利用して、トークン確定時点での境界ヒットと隠れ層段階の信頼性を組み合わせた位置事前分布を推定する。第二段階では、層ごとに非政策キャリブレーションを実行し、再重み付けされた隠れ状態のMSEを最小化することで、計算コストが高い完全な拡散ロールアウトを必要とせずに脆弱な境界状態の保護を優先的に行う。
理論的には、この重み付け目的関数は出力KL発散の代理として正当化できる。実験では、FAIR-CalibはLLaDAおよびDream(W4A4)ベンチマークにおいて、最先端の手法を一貫して上回る性能を示し、様々なベンチマークで境界決定フリップを大幅に削減し、確定後の不整合を抑制することが実証された。