arXiv (AI)AI
LLMの同質化から脱却:メタペルソナ・アンカリングと段階的温度スケーリングによる多様性の実現
Beyond the Hivemind: Escaping LLM Homogeneity via Meta-Persona Anchoring and Sequential Temperature Scaling
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
大規模言語モデル(LLM)において、回答の多様性が失われる「人工ハイブマインド」効果が近年指摘されている。この問題は、高温度サンプリングを用いても、開かれた質問に対して異なるモデルが非常に似た回答に収束してしまう現象である。研究チームの測定によれば、回答間の意味的類似度は0.80~0.90に達し、AIの多様性を著しく制限している。このような極端な同質化は、AIシステムが創意工夫に欠け、限定的な視点からしか物事を判断できなくなる危険性を示唆している。
今回発表された新しい手法は、メタペルソナ・アンカリングとフィルタード・テンperature・スケーリング(FTS)を組み合わせたアプローチである。このフレームワークは二段階の生成プロセスを採用している。第一段階では、モデルに対して独特で個性的なペルソナ(人格)を自己選択させることで、応答の出発点を固定する。第二段階では、デュアルステージ・サンプリング・ふるい分けを適用し、Top-pフィルタリングで文法的妥当性を保ちながら、極端な温度スケーリング(T≥4.0)を適用して確率分布を大きく拡張する。
約20Bパラメータの最新オープンウェイトモデルに対してINFINITY-CHATデータセットで評価した結果、意味的収束が大幅に削減された。ペアワイズのコサイン類似度は平均で0.85から0.65へ低下し、過半数の質問が0.7の閾値以下に収まることが確認された。この成果は人工的なモード崩壊と人間レベルの言語的多様性の間のギャップを効果的に狭めており、より多様で創造的なAI展開を可能にする手段となる。研究チームはこの実装をオープンソース・フレームワークとして公開し、広く活用できるようにしている。