arXiv (Game Theory & AI)AI
複数の大規模言語モデルを効率的に統合する構造化メッセージパッシング手法
From Talking Words to Sharing Thoughts: Scalable Multi-LLM Aggregation via Structured Message Passing
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
近年、特定の分野に特化した小規模な大規模言語モデル(LLM)が、その領域内では専門家レベルの性能を発揮する一方で、異なる分野では性能が低下する傾向が明らかになっています。こうした複数の専門的なLLMの補完的な強みを活かすため、従来は反復的なプロンプト再実行やモデル間の相互改善に依存するアンサンブル手法が用いられてきました。しかし、これらの方法は何度もLLMの推論を実行する必要があるため、計算コストと処理遅延が非常に大きいという課題を抱えていました。
本研究が提案する新しい枠組みは、この問題に対して根本的なアプローチを取っています。二部グラフ構造を用いて、複数のLLMの予測を意味論的レイヤーで統合するのです。個別のLLMは変数ノードとして表現され、複数のチェックノードが異なる知識的基準に基づいてそれらの一貫性を評価します。さらに、誤り訂正システムにヒントを得たメッセージパッシングプロトコルを開発し、モデル間の不一致を反復的に解決します。特に注目すべき特徴は、非対称ダンピング機構により、精度の高いモデルがアンサンブルの多数決によって過度に影響されるのを防ぐ設計となっている点です。
従来手法との大きな違いは、提案手法が出力分布に直接作用し、改善段階でさらなるLLM呼び出しを必要としないという点です。MMLU、MMLU-Pro、GPQA、MedMCQAの4つのベンチマークで評価した結果、トークン使用量を97%削減し、API呼び出しを最大6倍削減することに成功しました。推論時間は数分から数ミリ秒まで短縮されながら、同時に既存のマルチエージェント手法を上回る性能を実現しています。これらの成果は、グラフベースの信念伝播が、現在のマルチエージェントLLMシステムに対する堅牢で高速、かつスケーラブルな代替手段となり得ることを示唆しています。