arXiv (Multi-Agent)AI
TITLE_JA: LLM基盤マルチエージェントシステムにおける障害の原因特定手法
Who Broke the System? Failure Localization in LLM-Based Multi-Agent Systems
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
大規模言語モデル(LLM)を基盤としたマルチエージェントシステムは、複数のエージェントが協調して推論と行動を行うことで複雑な問題解決を実現しています。しかし、このような分散システム構造は、システムレベルの障害診断において新たな課題をもたらします。実行が失敗した際に、どのエージェントが責任を持ち、どの時点で実行軌跡が不可逆的に誤った方向へ進み始めたのかを特定することは、長期にわたる相互作用とエージェント間の密結合した振る舞いのために非常に困難です。
本研究は、LLM基盤マルチエージェントシステムにおける障害原因の特定という問題に取り組み、AgentLocateというフレームワークを提案しています。AgentLocateは、特定のエージェントと最初の決定的なステップの両方に障害を帰属させることができます。このフレームワークは、LLMベースの判定メカニズムと複数の独立した評価者による多角的な検証を組み合わせており、これらの評価は信頼度を考慮した戦略で集約されます。得られたフィードバックは軽量なファインチューニングを通じて判定者を適応させるために活用され、帰属の品質を向上させます。
AgentLocateは、多様なタスク、エージェント構成、軌跡の長さをカバーする2つの相補的なベンチマークで評価されました。実験結果は、AgentLocateが責任のあるエージェントと障害ステップの両方を特定する際に既存の障害特定手法を一貫して上回り、トークン使用量と実行時間の点でも効率的であることを示しています。このアプローチは、複雑なマルチエージェントシステムのデバッグと改善に向けた重要な一歩となるでしょう。