arXiv (AI)AI
CogniConsole:信頼性の高いLLM相互作用のための推論時制御の形式的抽象化
CogniConsole: Externalizing Inference-Time Control as a Formal Abstraction for Reliable LLM Interactions
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
大規模言語モデル(LLM)システムの信頼性は、従来はモデルの能力そのものに依存すると考えられてきました。しかし、新しい研究がこの認識に挑戦しています。LLMの信頼性は、実は推論時制御(タスク枠組みと文脈選択を支配する計算層)によって大きく影響されるというのです。
研究チームが提案した「CogniConsole」は、この推論時制御を構造化されたインターフェースへと外部化するアーキテクチャです。プログラム的な調整と制限されたプロンプトベースの推論を組み合わせることで、LLMとのより確実なやり取りを実現します。複数ステップのインタラクティブ環境において489個の制御可能性指向プローブを用いた実験を行った結果、構造的スカフォールディング(足場づけ)を段階的に増やしていくと、同じモデルアーキテクチャの下でも出力の分散が系統的に減少し、失敗率が低下することが明らかになりました。
注目すべきは、文脈のずれや制約条件の不一貫な遵守といった多くの失敗モードが、実はモデルの能力不足ではなく、制御が不十分に指定されていることに起因しているという発見です。この研究は、推論時制御を第一級の抽象化として扱うことの経験的根拠を提供するもので、単なるモデルのスケーリング以上に、LLMシステムの設計と評価のための新たな方向性を開いています。