arXiv (NLP)AI
大規模言語モデルのイエス・ノーバイアスは道徳的判断の変化ではなく、回答順序と表現に由来する
The yes-no bias of large language models reflects answer order and wording, not shifts in moral judgment
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
大規模言語モデル(LLM)が二者択一の判断を下す際、論理的には無関係な表現の変更によって判断が変わる現象が報告されている。特に道徳的ジレンマに関する「イエス・ノーバイアス」は人間には見られない特異な傾向として注目されてきた。しかし、単一のフレーミングだけでは、この変化の真の原因を特定できない。「はい/いいえ」という質問形式では、「いいえ」という言葉が同時に論理的な答え、言語トークン、画面上の最後の選択肢となるため、これらの要因を区別する必要があるのだ。
研究チームは、論理的に無関係なすべての要因を対称的に入れ替えた心理測定バッテリーを開発し、複数の質問形式で検証を行った。等価な形式で段階的な評価を回復させると、一貫性のある内部的な道徳的スケールが現れる。フロンティアモデル(GPT-5.5やGeminiなど)の道徳的立場はほぼ形式不変であり、クロスフォーム不一致は±1軸で0.12~0.21という低い値を示す。一方、小規模なオープンウェイトモデルはモデル固有の方法で失敗する傾向がある。
イエス/ノー形式の回答を強制すると、分解可能なアーティファクト(人工的な偏り)が生じる。具体的には、最後に印刷された選択肢への順序バイアス(人間の原始性と逆)と、「いいえ」という言葉への語彙的引力である。このアーティファクトはClaudeモデルで顕著(-0.32~-0.86)だが、GPT-5.5とGeminiではほぼ0であり、推論の拡張で縮小する。単語を任意のラベルに置き換えると、verdict(評決)から分離できるようになり、すべてのフロンティアモデルで논리적なバイアスはほぼ0となるが、モデル固有のラベルと順序の付着は残る。これは、モデルが拒否に引き寄せられているのではなく、印刷された表面に従っているだけであることを示唆している。最終的に、このアーティファクトはフレーミング感受性と道徳的決定性によって要約でき、サンプリング温度とは測定可能に異なる。このバッテリーは任意のジレンマセットおよび二者択一形式に適用可能であり、モデルの価値観を測定するには、単に一度だけ質問するのではなく、質問のフレームを交差させることが必要である。