大規模言語モデル（LLM）を人間の好みに合わせるための標準的な手法として、人間フィードバックからの強化学習（RLHF）が広く用いられています。しかし現在のRLHFには重大な課題があります。従来の報酬モデルは静的でタスクに依存しない設計となっており、学習対象となるタスクごとの特性を考慮していません。この不一致により、学習信号が疎になり、最終的なアライメント品質が損なわれるという問題が生じています。 こうした課題を解決するため、研究者らはMeRLa（Meta-Learned Reward Shaping）という新しいフレームワークを提案しました。MeRLaはRLHF訓練の前に、補助的なタスク群を通じてメタラーニングすることで、タスク認識型のシェーピング関数Φ(x,y;φ)を習得します。この学習されたシェーピング関数は、政策最適性を保持しつつタスク固有の学習信号を提供する複合報酬を生成します。メタ目的関数はタスク識別、エントロピー正則化、およびポテンシャルベースの保存を組み合わせて、安定した収束を実現しています。 LLaMA-3-8Bを用いた4つのベンチマークでの実験結果は、既存のPPO、DPO、GRPO、DAPOよりも一貫した改善を示しています。AlpacaEval 2.0では長さ制御付きで90.8%の勝率を達成し、MT-Benchで9.14のスコアを記録しました。さらに注目すべきことに、訓練の不安定性は41%削減されています。またMeRLaはプロセスベースおよびルーブリックベースの強化報酬と組み合わせた場合でも、その利点を維持することが確認されています。