OpenAIが開発した個人識別情報（PII）検出システム「Privacy Filter」（OPF）の性能を、22言語と5つの領域にわたる42の合成ベンチマークを使用して、初めて独立した系統的評価を行った研究が発表されました。このシステムは15億パラメータの双方向モデルで構成されており、プライバシー保護の重要性が高まる現代において、実用的なPII検出ツールの性能把握は極めて重要です。 評価の結果、OPFはゼロショット学習でAI4PrivacyベンチマークでF1スコア0.855を達成し、医療データセット（SPY medical）では0.464を記録しました。これらの数値は、既存ツールのPresidio（0.431、0.273）やXLM-RoBERTa（0.269、0.111）を上回る性能を示しています。ただし多言語への対応では、13のインド言語や非ラテン文字言語ではXLM-RoBERTaがすべての言語でOPFを上回るという課題が明らかになりました。 ドメイン別の性能では、医療、法律、金融分野ではGPT-4oが最高の結果を示し、SPYベンチマークで平均0.643、Grelベンチマークで0.527のスコアを達成しました。一方、構造化された合成PII検出ではOPFが0.71の平均スコアで優位性を示し、カスタマーサポート領域でも0.60を記録しています。 しかし重大な制限が浮き彫りになりました。OPFは物語形式の散文にPIIが埋め込まれた場合、性能が急激に低下し、NERベンチマークではF1が0.04～0.57の範囲に落ち込みます。特に非ラテン文字では壊滅的で、アラビア語は0.04、キリル文字は0.03という極めて低い数値です。さらに詳細な誤差分析から、メールアドレス（0.78）と電話番号（0.76）のような構造的に規則的なPIIタイプには強いものの、人名（0.40）や住所（0.49）といった文化的に変動しやすい情報検出は弱点であることが判明しました。全体的には再現率に偏ったシステムであり、領域によって適合率が0.31～0.86と大きく変動することも報告されています。