大規模言語モデル（LLM）はベンチマークで高い精度を達成することが多いものの、同じ質問を異なる表現で言い換えられた場合に、どの程度信頼性を持ってその知識を適用できるかについては、これまで十分な検証がされていませんでした。本研究は、意味を保ったまま言い換えられた質問に対して、モデルの回答がどのように変わるかを調査しています。事実問答と数学的推論タスクの4つのベンチマークと13個のモデルを対象とした分析では、モデルの出力がプロンプトの正確な表現に大きく依存することが明らかになりました。 全体的な精度は言い換え間で比較的安定していますが、個別の質問レベルではその安定性は大幅に低下しています。多くの質問について、モデルは表現の違いに応じて正答と誤答を行き来し、不一致率は23％を超えることもあります。元の表現で正答する質問に限定して調べると、答えが反転する事例はさらに増加し、単一のプロンプトでの正答が信頼性の指標として不十分であることを示唆しています。 一方、モデルは質問の複数の言い換え表現の少なくとも1つに対しては正答を生成することが多く、基礎となる知識は存在するものの、一貫性を持って引き出されていないことが示唆されます。この知見に基づき、研究者らは簡単な自己言い換え戦略が潜在知識を部分的に回復し、推論時のパフォーマンスを向上させることを示しました。これらの知見は、標準的な精度指標が大きな不安定性を隠蔽する可能性があり、同等の入力間での一貫性を評価することがLLMの信頼性をより正確に把握する方法であることを示唆しています。