arXiv (AI & Society)AI
TITLE_JA: 大規模言語モデルの助言機能における「ペルソナ崩壊」の診断と修復
Diagnosing and Repairing Persona Collapse in LLM Advice
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
大規模言語モデル(LLM)が人間関係や仕事、倫理的葛藤、危機的状況など個人的な助言を提供する場面が増えている。これらのモデルは学習段階で安定した思慮深いアシスタント的キャラクターを形成するが、優れた助言には単なる標準的なキャラクターでは不十分だ。熟練したアドバイザーは危機的状況にある人を慰め、現実否認に陥る人に異議を唱え、物流的な質問に対しては手続き的に対応する必要がある。本研究は助言行為を、快感度とエージェンシーサポートで定義される空間における状況依存的ペルソナ選択として形式化し、このマッピングの失敗を「ペルソナ崩壊」(多様な状況が単一のデフォルトペルソナに圧縮される現象)と定義した。
14の文脈にまたがる1,281の助言投稿を分析したところ、人間による高評価の回答は5つのペルソナにわたって体系的に変動するのに対し、最先端の3つのモデルは文脈を無視して90%以上の回答を単一の支援的ペルソナに圧縮していた。モデルに事前にペルソナを選択させるよう促すと、むしろ崩壊が深刻化した。
研究チームはこの崩壊を修復できるかを検証した。提案手法「逆プロセス蒸留」は各人間の回答を生成した状況認識を再構築し、その結果で学習することで、回答そのものではなく状況とペルソナの対応関係を蒸留することを目指した。この方法は人間のペルソナ分布からの乖離を約80%削減した。しかし199人の経験豊富なアドバイザーによる盲検研究では、4つの状況を順序立てて評価した結果、修復されたモデルより崩壊したデフォルトを好む傾向が示された。特に異議を唱えるべき状況でこの傾向が強かったが、繰り返しの曝露により選好が変化した。