凍結された事前学習済み言語モデルの性能を向上させる際、計算量の増加と精度のバランスをいかに取るかは重要な課題である。従来のアプローチでは、バックボーン隠れ状態の上に追加の精密化ステップを重ねるという単純な方法が採られてきたが、これには固有の問題がある。固定的な追加精密化は往々にして浪費的であり、1ステップの精密化は不十分である一方、すべてのトークンに対して完全な2段階精密化を強制することは、転移学習の改善をもたらさないまま計算量を増加させるだけとなる。 このような課題を解決するために、新たに提案されたHALO（Hybrid Adaptive Latent-refinement）は、粗い精密化ステージと選別的な2段階潜在精密化を組み合わせたハイブリッド手法である。トークンスコアリングと単調トークン停止によって、精密化が必要なトークンのサブセットを選別し、効率的に計算資源を配分する仕組みが特徴である。 MMLU-ProとGPQA-Diamondから構築された主要公開ベンチマーク比較において、HALOは論文評価対象手法の中で最高の総合平均性能を達成し、凍結バックボーン、固定1段階、固定2段階のいずれをも上回った。内部分析によると、HALOは固定2段階とほぼ同等のトークン精度レベルに到達しながら、固定1段階よりも少ない平均適用精密化ステップで実現し、固定2段階よりはるかに少ない計算で達成している。これらの結果は、単に精密化回数を増やすのではなく、精密化の配分を最適化することの重要性を示唆しており、HALOはコントローラ計算量も削減しながら最強の性能を達成している。