創薬分野で採用されつつある共形予測（Conformal Prediction）という手法が、不均衡なデータセットに直面するときに深刻な問題を抱えていることが明らかになりました。共形予測は、モデルの信頼度を定量化し、エラー率αを指定すると、真のラベルを少なくとも1-αの確率で含む予測集合を返すという理論的保証を提供します。しかし今回の研究では、この保証が不均衡データセットでは危険となることが実証されました。 研究チームは4つのデータセットで標準的なマージナル共形予測をテストしました。その結果、全体的には90%のカバレッジ目標を達成しているにもかかわらず、マイノリティクラス（少数派）の信頼性が大きく損なわれることが判明しました。血液脳関門透過性の予測では、マイノリティクラスのカバレッジが64.8%に低下し、臨床試験毒性データセットではわずか4.2%まで落ち込み、希少クラスがほぼ放置されている状態になっていました。この問題はランダムフォレスト、グラフニューラルネットワーク、凍結された化学言語モデルなど複数のモデルで再現され、すべての場合でp<0.001の統計的有意性を示していました。 この失敗の原因は保存則により説明されます。マイノリティクラスの不足分は、マジョリティクラス（多数派）の余剰に不均衡比を乗じたものに等しく、この理論は測定値と1ポイント以内で一致しました。問題は全体的なカバレッジと精度が高いままであるため、見逃されやすいという点で特に危険です。 解決策として、研究チームはクラス条件付き共形予測（Mondrian conformal prediction）を提案しました。すべてのデータセットでマイノリティクラスのカバレッジを目標値に回復させ、予測集合サイズのわずかな増加で済むことが確認されました。加えて、ベンゼンやピリジンなどの一般的な分子スカフォルド由来の失敗を特定し、1つの数値診断法を開発しました。コスト モデルを用いた分析では、影響を受けた化合物の評価を控えることで、スクリーニングキャンペーンの収益性を負から正に逆転させることが示されています。