arXiv (AI)AI
TITLE_JA: OriginBlame:AI訓練データセットのレコード・トークンレベルのデータ来源追跡システム
OriginBlame: Record- and Token-Level Data Provenance for AI Training Datasets
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
機械学習モデルの訓練に用いられたデータについて、データ提供者から削除要求を受けた場合、モデル開発者は深刻な課題に直面している。Unlearning(忘却)アルゴリズムを適用するには削除対象のデータセットを特定する必要があるが、特定の著者が所有するどの訓練レコードを削除すべきかを正確に特定するツールが存在しなかったのだ。既存のデータ来源追跡システムはファイルやデータセット単位で動作するため、対象の著者が関与していない大量の無関係データまで削除してしまう過度な削除(catastrophic over-deletion)が発生していた。
これを解決するため、研究者たちはOriginBlameという、レコードおよびトークンレベルで動作するデータ来源追跡システムを開発した。本システムはデータ処理パイプライン全体を通じて著者情報を伝播させ、削除要求を決定論的クエリを用いて正確な忘却セットに変換する機構を備えている。データの血統を詳細に追跡することで、削除対象の粒度を劇的に向上させることが可能になる。
219,555個のウィキペディアページでの評価では、レコードレベルの来源追跡により、データセット単位の過度な削除を101倍から1.3倍に削減できることが実証された。一方、システム統合時のオーバーヘッドはHuggingFaceで1.3~4.0%、Datatroveで2.1~19.0%の処理速度低下に留まった。さらに1.7Bパラメータのモデルにおいて、来源追跡に基づく忘却セットはランダムベースライン比で42%のunlearning改善をもたらした。