arXiv (ML)AI
立場論文:すべての正解データは客観的真実ではなく、人間による構成物である
Position: Every Ground Truth is a Human Construction, not an Objective Truth
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
機械学習モデルの訓練と評価における基準値として機能するグラウンドトゥルース(正解データセット)は、AI開発において極めて重要な役割を担っています。しかし、arXivに投稿されたこの立場論文は、グラウンドトゥルースが単なる客観的計測値ではなく、人間とテクノロジーの相互作用によって構成されたものであると主張しています。
従来、機械学習コミュニティではグラウンドトゥルースを中立的で客観的な参照値として扱ってきました。しかし著者らは、データセット構築の過程に含まれる人間による選択や判断が、しばしば不可視化され、報告されていないことを指摘しています。ラベリングの基準、アノテータの選定、データの収集方法など、数多くの決定が最終的なグラウンドトゥルースの形成に影響を与えるのです。
論文は、参照データセットが普遍的ではなく、文脈依存的かつ偶発的性質を持つことを認識することの重要性を強調しています。このような認識を深めることで、モデルをどこで、いつ、どのように使用するのが最適かについて、より情報に基づいた視点が可能になり、信頼性が向上するというのです。著者らは「状況的信頼性(situated reliability)」を高めることの必要性を提唱しており、これはモデルの限界と強みを明確に述べることを含みます。
グラウンドトゥルース構築プロセスへの関心を高めることで、透明性と説明責任を向上させ、学際的な協働を支援できるとの結論に至っています。