arXiv (AI)AI
階層型言語エージェントにおける自己判定型明確化:質問のタイミングを知る
Knowing When to Ask: Self-Gated Clarification for Hierarchical Language Agents
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
階層的な推論タスクにおいて、AIエージェントが失敗する主な原因は、重要な情報が不足していることに気づかないまま、中間の判断地点で誤った分岐へコミットしてしまう点にあります。本研究は、この問題に対する新しいアプローチとして「ACTION-RATING」という手法を提案しています。従来、情報不足の解決は外部からの不確実性トリガーとして扱われてきましたが、この手法では質問や明確化を、ナビゲーション行動と同じ序数スケール上のアクション空間に組み込むことで、あらゆる決定地点で質問と行動が直接競合し、支援要請が中間段階で観察可能となります。
この手法を、30,000ノードの分類体系を持つ統一関税率表(HTS)分類タスクで検証したところ、エージェント自身の評価から2つの異なる情報探索モードが現れました。必須モード(実行可能な分岐がない場合)と機会的モード(有力な候補があるにもかかわらず残存する不確実性がある場合)です。9種類のLLMを4つのファミリーから用いて3つのベンチマークで評価した結果、必須的な明確化から機会的な明確化への体制転換が観察されました。
情報探索の有効性(ISE)を、支援インタラクションの後に正しい次のナビゲーション判定へ至った割合として定義したところ、50%から74%への向上が確認されました。エージェントの支援要請パターンは、回答品質が18.8%精度低下しても維持されることが実験的に示され、エージェントが支援を求める場所と受け取る支援の質に分離可能性があることが明らかになりました。統制された回答チャネル下では、10桁分類で最大16.2%の精度向上が達成され、これはより良い位置特定によってもたらされうる上限を示唆しています。