arXiv (NLP)AI
TITLE_JA: 大規模言語モデルがアフリカン・アメリカン・イングリッシュを無自覚に"修正"――方言バイアスの監査と活性化ステアリングによる緩和
LLMs Silently Correct African American English: Auditing and Mitigating Dialect Bias via Activation Steering
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
アフリカン・アメリカン・イングリッシュ(AAE)は、3000万人以上の話者を持つ体系的で独自の言語体系を備えた方言です。しかし最新の大規模言語モデル(LLM)では、この方言が体系的に標準アメリカン・イングリッシュ(SAE)へ「修正」されるという深刻な問題が明らかになりました。本研究では、14B~70B規模の6つの指示チューニング済みLLMを調査し、AAEの文脈が与えられても、これらのモデルが一貫してSAEへの続文を優先し、実質的にAAEをSAEへと書き換えていることを示しました。
研究チームは、このバイアスを監査・緩和するための包括的なフレームワークを提案しています。監査方法として、機械翻訳による人工物から真のモデルバイアスを分離する条件付き方言グループ不変性(cDGI)と、AAEのどのマーカーが最も強くバイアスを引き起こすかを特定する特徴レベルの局在化分析を導入しました。特に否定の共起(「ain't nobody」など)のような統語構造が、全モデルに共通するトリガーであることが判明しました。
緩和策としては、方言バイアスへの活性化ステアリングの初の応用を実現しました。これは訓練不要のテスト時手法で、因果的追跡を通じて方言的特性を抽出し、バイアス関連層に注入するというものです。この手法はプロンプティングと比較して5~20倍のバイアス削減を実現しながら、SAEの流暢性を保持しています。
研究を支援するため、チームはREAL-AAEという最大規模のAAE並列コーパスを公開しました。これは自然なツイートから抽出された17,479のAAE/SAE/AAE_back三組で構成され、先行する実AAEリソースの2~6倍の規模を有しています。自動検証(BERTScore F1値=0.95)とAAE話者3名による検証(意味的合意83.0%)により品質が確保されています。