arXiv (Multi-Agent)AI
基盤モデルを用いた集合知システム:異なるモデルの協調による推論精度向上
Collective Intelligence with Foundation Models
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
基盤モデルの規模と多様性が増す中、複数のモデルを協調的な推論システムとして統合することは、より安全で信頼性の高いAIへの道を開くものとして注目されています。この研究は、複数のソルバーモデルが独立したドラフト案を生成し、それぞれを批評エージェントが構造化された批判と修正を加え、最終的に集約エージェントがコンセンサス解を統合するというマルチエージェントフレームワークを提案しています。スコアリングモジュールは全エージェント間で意味的、数値的、手続き的な評価を実施します。
研究チームは微積分、物理、化学、生物、経済、最適化、統計、数学にわたるベンチマークに対してアブレーション研究を実施し、フレームワークのアーキテクチャとモデルの多様性の相対的な貢献を分離しました。四つの構成を比較すると、単一のモデルを使用するホモジニアスフレームワークや同一モデルの複数インスタンスを使用する冗長ホモジニアスソルバーは限定的な改善に留まる一方で、異なる専門化したモデルを含むヘテロジニアスフレームワークが決定的な性能向上を実現することが明らかになりました。
ヘテロジニアス構成は、ステップごとの精度で0.64(単一モデルの0.54に対して)を達成し、ホモジニアス構成比で2.3倍の改善を実現します。カテゴリー難易度レベル全体で分散が削減される中、ステップごとの推論品質(最終答だけでなく中間ステップの正確性)はモデルの多様性のみで劇的に向上するため、ヘテロジニアスエージェントが説明可能性と監査可能性に不可欠な相補的なエラー検出と推論精密化を提供することが示されました。本研究は、科学・産業領域全体で透明で監査可能な高信頼意思決定を支援するアーキテクチャ原理と評価方法論について論じています。