arXiv (ML)AI
ガウス過程における境界分散膨張が取得バイアスを引き起こすメカニズム
Boundary Variance Inflation Causes Acquisition Bias in Gaussian Processes
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
ガウス過程は機械学習における重要な手法ですが、有界領域で定常カーネルを用いる場合、領域の境界付近で後験分散が膨張するという長年認識されてきた問題があります。この現象は地球統計学では古くから知られており、ベイズ最適化における過度な探索の原因となっていますが、その根本的な原因と影響については十分に検討されてきませんでした。
本研究は、この境界誘起の取得バイアスの根本原因が単純な幾何学的メカニズムにあることを明らかにしました。具体的には、領域の境界でカーネル相関領域が切断されることで、観測データとは独立した歪みが生じ、この歪みは次元数が増えるほど悪化するということです。この歪みは分散最大化、負の統合後験分散、予測情報利得の向上など、三つの異なる取得クラスに現れます。分散最大化は選択をコーナーに集中させる傾向を示し、一方で他の二つの手法は軸並列の内部シェルへ選択を移動させます。
注目すべきは、これらのパターンが目的関数を参照することなく発生するということです。つまり、取得行動は実現したいタスク固有の不確実性ではなく、カーネルの幾何学的性質に支配される可能性があります。本研究では、任意の取得方法、カーネル、有界領域幾何学に対応する関数非依存的な選択プロファイル診断法を導入し、この問題を定量化する手段を提供しています。