arXiv (CV)AI
有害性は普遍的ではない:コミュニティ固有の毒性検出が急務である
Harm is not Universal: Community-Specific Toxicity Detection is Urgently Needed
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
テキスト・ツー・イメージ(T2I)生成モデルの安全性を確保するための有害性検出システムは、現在「万能型」のアプローチを採用しています。しかし最新の研究では、こうした一般的な有害性検出モデルが特定のコミュニティ、特に障害者コミュニティにおいて機能していないことが明らかになりました。研究チームの調査によると、安全と判定された生成画像の約35%が、障害者コミュニティからは有害だと評価されています。
本研究では、コミュニティ固有の毒性検出(CTD)の必要性を主張しています。障害者専門家との協力のもと、小人症(ドワーフィズム)と盲目・低視力の2つのコミュニティに向けた安全ガイドラインを開発しました。2,400枚の注釈付きT2I生成画像を用いた実験では、既存の大規模言語ビジョンモデルと汎用有害性検出器が、ゼロショット設定でこれらのガイドラインに基づく有害コンテンツをほぼ認識できず、F1スコアはランダム予測以下(0.32~0.37)という結果になりました。
一方、プロンプトベースの適応手法(ICL、VQA)を用いると検出性能が大幅に改善され、GPT-4oではF1スコアが0.50~0.78に向上しています。また、パラメータ効率的なファインチューニングにより、100以下のデモンストレーションで小規模モデル(0.5b~7b)の性能も改善され、最良F1スコアは0.48~0.59に達しました。しかし、これらの成果にもかかわらず、CTDの性能は汎用有害性検出で達成されたF1≈0.9には遠く及ばず、継続的な研究努力が不可欠であることが示唆されています。