大規模言語モデル（LLM）の実用化が進む中、これらのモデルが他のAIエージェントと協働して動作することへの期待が高まっています。このような複数エージェントの環境で効果的に機能するには、エージェント間の通信、情報共有、そして不確実性下での意思決定能力が不可欠です。こうした背景の下、研究者たちはSMAC-Talkと呼ぶ新しいベンチマークを開発しました。これはゲーム「StarCraft」を題材とした既存のマルチエージェント評価フレームワーク「StarCraft Multi-Agent Challenge」を、自然言語通信機能を備えるように拡張したものです。 SMAC-Talkは、分散制御、部分的な観測可能性、長期的な意思決定といった複雑な要素を含む協調的マルチエージェント環境でLLMベースのエージェントを評価するように設計されています。特に注目すべき機能は、エージェント間の自然言語による通信チャネルです。このチャネルを通じて、エージェント間の協調能力と信頼関係を詳細に検証できます。研究チームは、通信チャネルを利用して様々な評価シナリオを構築しており、その中には欺瞞的なコミュニケーターを意図的に埋め込み、通信だけを使って同盟者を混乱させたり欺いたりしようとする悪意あるシナリオも含まれています。 ベンチマークの評価には、Qwenファミリーの4つのモデルを使用する3つのエージェントが提供されています。研究者たちは、推論構造、メモリ、モデル規模がエージェント間の協調にどのような影響を与えるかを詳細に調査しました。SMAC-Talkはオープンソースとして公開されており、協調的マルチエージェント環境におけるLLMエージェントの開発と評価を推進する研究コミュニティの貴重なリソースとなることが期待されています。