arXiv (NLP)AI
アクセス不可能なターゲット領域に向けた堅牢なインコンテキスト学習:分布外プロキシを活用したデモンストレーション検索
Toward Robust In-Context Learning: Leveraging Out-of-distribution Proxies for Target Inaccessible Demonstration Retrieval
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
大規模言語モデル(LLM)は様々なタスクで優れた性能を発揮することが示されていますが、データの分布シフトが大きくなるにつれて、その優位性は次第に低下していく傾向があります。特に分布外(OOD)のタスクに直面する際、LLMの推論能力を向上させるために、利用可能なソースドメインから分布的に類似した有用なデモンストレーションを検索することが重要となります。
しかし実際の運用場面では、ターゲットドメインにアクセスできない状況が頻繁に生じます。このような場合、未知の分布を評価することが極めて困難となり、その結果として選択されるデモンストレーションの品質が低下してしまいます。この課題に対処するため、研究チームはDOPAという新しいデモンストレーション検索フレームワークを提案しました。
DOPAは、アクセス不可能なターゲットドメインを近似するためにOODプロキシを組み込み、検索プロセスをガイドします。プロキシベースの評価に基づいて、さらにマハラノビス距離を用いたグローバル多様性制約を導入することで、取得されるデモンストレーション間の充分な多様性を確保します。複数のLLMおよび複数のタスクを対象とした実験結果から、DOPAは分布外設定での堅牢性を効果的に向上させることが実証されました。