AI企業と監査人に対して透明性のある評価証拠の提供を求めるガバナンス枠組みが存在する中で、摂動ベースの構成概念妥当性監査がその証拠として一般的に使用されている。しかし、arXiv:2607.02586v1で報告された研究は、こうした監査そのものが脆弱であることを指摘している。監査の結論は、報告された数値には見えない実装上の詳細によって静かに製造される可能性があるというのだ。研究チームは監査パイプラインの5つの失敗クラスを特定し、安全性ベンチマークとオープンウェイトの指示チューニングモデルを用いた自己監査を通じてそれぞれを実証した。 統一された6段階のデューデリジェンスゲートの下では、検査対象のすべてが非確認的なカテゴリーに分類され、確認的に達するものは存在しなかった。この研究結果は2つのモデルと5つのベンチマークに限定した単一ケーススタディに基づいており、F1からF5までの分類は、監査失敗の包括的な分割ではなく、あくまで説明的で意図的に非網羅的な初期的分類法として位置付けられている。 研究者らはこのゲートを、古典的な構成概念妥当性証拠の補完的手段として機能する保留および開示プロトコルとして位置付けており、信頼性グレードの証拠提供メカニズムとして機能することを想定している。同時に、これはベンチマーク妥当性判定への道筋ではなく、あくまで監査プロセスの堅牢性向上を目指す補助的な手段として提案されている。