arXiv (AI)AI
TITLE_JA: LLM評価における質問形式の感度指数:トークン制御型プロンプトラッパーのロバスト性とスキーマ準拠性
Format Sensitivity Index: Token-Controlled Prompt Wrapper Robustness and Schema Compliance in LLM Benchmarking
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
大規模言語モデル(LLM)のベンチマーク評価において、わずかな表示形式の違いがモデルのスコアに大きな影響を与え、リーダーボードの順位を覆す可能性があることが指摘されています。本研究は、このような問題を定量的に分析するために、フォーマット感度指数(FSI)とパース可能性感度指数(PSI)という2つの新しい指標を提案しています。
FSIは、異なるプロンプトラッパー形式の選択による精度の変動幅を測定し、PSIはその過程での回答解析可能性の変動幅を測定します。OpenRouterを通じた140,000件の生成データを分析した結果、7つのQAタスク、5つのラッパーファミリー、そして7Bから72Bパラメータまでの4つの指示調整モデルにおいて、平均FSIがモデル間で30倍以上の差異を示すことが明らかになりました。この差異の大部分はスキーマ準拠の失敗に起因しています。
固定効果回帰分析の結果、タスク、モデル、ラッパーを制御した後でも、パース可能性が精度の強力な予測指標であることが示されました。これらの知見は、ラッパー分散と準拠性を報告しない精度評価が統計的に脆弱であることを示唆しており、ベンチマーク評価と構造化出力システムの実装の両面において、実践的な推奨事項が提示されています。