arXiv (NLP)AI
バリデータとジェネレータの整合性向上による大規模言語モデルの改善
Improving LLMs via Validator-to-Generator Alignment
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
大規模言語モデル(LLM)は一貫性に欠ける傾向があります。プロンプトの微妙な変更や無関係な情報の追加により、モデルの出力が予期せず変わることがあります。こうした問題の一つとして、ジェネレータ・バリデータギャップ(G-Vギャップ)があります。これはLLMが生成した応答に対して、改めて検証するよう指示すると、そのLLM自身がそれを無効と判定してしまう現象を指しています。
本研究では、このG-V一貫性の問題に対する新しい定式化を提案します。重要な点は、表現の出現頻度に対する原理的な補正を導入することです。実際のところ、ジェネレータは有効な文字列であっても、先験的にその文字列が出現しにくいという理由だけで低い尤度を割り当ててしまいます。これが素朴なG-V一貫性の概念を機能させなくしているのです。複数の答えを持つ質問に対して理性的に答えるエージェントの自然なモデルの下では、頻度補正されたジェネレータスコアとのバリデータの一貫性が自然に生じることを理論的に示しています。
提案手法のFCPA(周波数補正されたプロンプトアライメント)は、実運用されるLLMに対して周波数補正G-V一貫性を実装する学習目的関数です。実験結果によると、FCPAを用いて学習することで、G-V一貫性とジェネレータの性能が従来手法を大幅に上回ります。具体的には、IFEvalとHumanEvalにおけるピアソン相関で最大27パーセントポイントの向上が見られ、同時にすべての評価タスクでバリデータの品質も保たれています。