大規模言語モデルの推論過程における誤りを後付けで修正する技術が注目されています。本研究は、ブロック拡散デコーディングの枠組みの中でLLaDA2.1が実行するトークン間編集（T2T編集）に焦点を当てています。従来の訓練方法では、ランダムな語彙破損に対して編集器を学習させていました。しかし実際の推論時には、編集器が目にするのは、モデル自体が生成した流暢で信頼度の高い誤りであり、訓練データとの乖離が生じていました。 この訓練と推論のギャップを解決するため、研究者たちは自己生成T2T（Self-Generated T2T）という新しい手法を提案しました。この方法は、まず勾配計算なしでドラフト生成を実行し、マスクされた位置に予測トークンを挿入した後、これらの自己生成された破損に基づいて第二のパスで復旧を教師あり学習します。実装としては、LLaDA2.1-miniに対してLoRAを用いた短期の継続事前学習パスとして更新を行っています。 複数のベンチマークで公式のQ-Mode T2T手順に基づく評価を実施した結果、推論パラメータを変更することなく全般的に精度が向上し、同時にT2T編集の強度が低減されました。特に改善が見られたのは、推論処理が正しい場合でも最終桁の転記エラーが生じる失敗パターンや、簡潔な事実答の前における過剰な自己修正といった問題の軽減です。この成果は、言語モデルの推論時編集メカニズムの実用性向上に貢献するものです。