オンラインプラットフォームにおける個性化アルゴリズムは、ユーザーが目にするコンテンツを決定する重要な仕組みです。しかし、これらのシステムを監査することは極めて困難です。独立した監査者はアルゴリズムへのアクセスがブラックボックスに限定されている一方で、個性化はユーザーの属性、行動、そして相互作用の履歴に依存するため、複雑な因果関係が生じるためです。従来の監査手法には大きなトレードオフがありました。実際のユーザーを対象とした研究は現実的な行動を捉えられますが、コストが高く制御が難しい一方で、架空アカウントを用いた監査はスケーラビリティに優れているものの、スクリプト化された行動に依存するため現実性に欠けていました。 このギャップを埋めるため、研究者らは生成AIエージェントを用いた新しい監査フレームワークを開発しました。各エージェントには人口統計データと政治的調査データに基づいた固定的なペルソナが与えられ、推論とアクション選択によってプラットフォームのコンテンツと相互作用します。重要な点は、各ペルソナ内では行動が固定されている一方で、年齢、性別、地域といったプラットフォームに見える信号は実験的に操作可能という設計です。この手法により、ユーザー属性とユーザー行動を分離し、プラットフォームがどのように個人特性に反応するかを反事実的に分析できます。 2024年米国大選直後、研究チームはX（旧Twitter）に1,120個のエージェントを展開し、14のペルソナと3つの反事実条件にわたって20万以上のコンテンツ露出を収集しました。その結果、Xのアルゴリズムフィードは時系列フィードと比べて毒性が強く分極的で政治的な、そして右寄りのコンテンツを増幅していることが判明しました。この増幅効果はユーザーのイデオロギーによって大きく異なります。反事実分析では、人口統計シグナルがコンテンツ配信に与える影響は集計レベルではほぼ無効ですが、部分群レベルでは方向と大きさが大きく変動することが示されました。本研究により、生成AIエージェントはアルゴリズム監査の新たなツールとして確立されたのです。