arXiv (NLP)AI
TITLE_JA: LLM適合性の大部分は話者がなくても生じる:ピアプレッシャーベンチマークにおける話者不在の基盤を測定する
Most LLM Conformity Needs No Speaker: Measuring the Speaker-Free Floor in Peer-Pressure Benchmarks
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
大規模言語モデル(LLM)が他のモデルや集団の回答に従う「適合性」という現象は、AIの信頼性を評価する上で重要なテーマとなっています。本研究は、従来測定されてきたLLMの適合性の大部分が、実は他者の存在とは無関係に生じていることを明らかにしました。
標準的な適合性テストプロンプトは、話者の存在と間違った回答の繰り返しという2つの要因を同時に含んでいるため、実際にはどちらが適合性を引き起こしているのか判別できていませんでした。研究チームはこの問題に対処するため「話者不在条件」を導入しました。これは話者を明示的に削除した同じ主張を提示するというものです。6つのオープンウェイトLLMと7つのQA・推論タスクにおいて、話者不在条件だけで、初期段階で正しかった回答の66.5%が有害な修正を受けました。これは単純な再質問での10.3%と比べて大幅に高い数値です。
この効果は、回答が言い換えられた場合やオープンエンド設定で選択肢が隠される場合でも持続しました。興味深いことに、話者の枠組み(例えば専門家パネルのラベル)はこの基盤値を調整する主な要因でしたが、最小限の人物ラベルでは信頼できる上昇が見られませんでした。モデルが回答を変える際、通常は確信を持って間違った答えを提示し、単純な再較正では元の回答を復帰させることができません。
この研究の重要な方法論的教訓は、適合性ベンチマークを開発する際には、話者が削除された後に何が残るかを最初に測定すべきだということです。このステップを経ずにベンチマークを実施すると、繰り返されたテキストを社会的影響と誤解してしまう可能性があります。