arXiv (NLP)AI
小さな編集、大きなモデル:ウィキペディアの提唱活動はどのようにLLMの価値観を形作るか
Small edits, large models: How Wikipedia advocacy shapes LLM values
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
ウィキペディアの編集を通じて、少数のボランティアが大規模言語モデル(LLM)の振る舞いに実質的な影響を与えることができるのか。arXivに発表された最新研究によれば、答えはイエスである。研究チームは、動物福祉を推進するウィキペディア編集者グループ「Pro-Animal Wikipedians(PAW)」が行った125件の編集が、複数のLLMにどの程度の影響を及ぼすかを詳細に検証した。
ウィキペディアはほぼすべての主要言語モデルの訓練データセットに含まれており、ウェブクローリング텍스트よりも高い重み付けがされている。PAWのメンバーたちは関連記事に出典付きの動物福祉コンテンツを追加してきた。研究者たちはグラディエントベースのデータ帰属分析手法を用いて、これらの編集がLLMの動作にどう影響するかを追跡した。Llama 3.1 8BではTrackStar検索帰属分析により、PAW編集セクションが動物福祉クエリに対する最高帰属文書の68パーセントを占めることが判明した(p < 0.0001)。一方、同じ企業に関する無関係なクエリでは52パーセントに留まり、モデルがPAWコンテンツを特定のトピックに紐付けていることが明らかになった。
さらに興味深いのは、Llama-3.2-1BでのMAGIC反事実影響推定の結果である。5つのランダムな訓練順序でテストを実施したところ、すべてのシードにおいて、動物福祉クエリに対する最も影響力の高い上位10文書はすべてPAW編集であった。一般的なクエリではランダム分布に近づき、その差は6~30倍に達した。ファインチューニング実験では、PAWコンテンツで訓練されたモデルは動物福祉テキストの困惑度を12.4から8.4に低下させるなど、特定分野での性能向上を示した。この研究は、協調的で焦点を絞ったウィキペディア編集キャンペーンが言語モデルの応答に測定可能な影響を与えることを実証している。