arXiv (CV)AI
単一の写真から体重と身長を推定する深層学習モデルの開発と新規データセットの構築
Weight and Height Estimation from a Single Human Image Captured in the Wild
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
体重や身長などの身体的特性は、個人の身体的・精神的健康、日常生活の習慣、そして経済状況を示す重要な指標となります。これらの情報から算出されるBMI(ボディマス指数)は、従来から自己健康管理ツールとして利用されており、様々な疾病のリスク予測や寿命推定にも長期的な影響を持つものとして認識されてきました。しかし、日常生活で撮影された単一の人物写真からこれらの身体的特性を自動推定することは、人物の姿勢、カメラの角度、個人の外見、そして背景などの多様な変動要因があるため、極めて困難な課題となっています。
本研究では、この課題に対してディープニューラルネットワークを活用したアプローチを提案しています。RGB画像、深度マップ、ポーズアフィニティマップ、エッジマップといった複数のモダリティを組み合わせ、単一タスク学習と多タスク学習の両方の手法を検討しました。これらの手法を用いてSNS上で利用可能な日常生活画像からBMI、体重、身長を予測するモデルを開発しました。
研究グループは、BMI推定用の包括的なフルボディ画像データセットが公開されていない状況に対応するため、6105枚の画像に身長、体重、BMIの正解ラベルを付与した新規データセットを構築しました。このデータセットは多様な民族背景を持つ様々な年齢層と性別を含み、正面・背面・全身・半身・側面ポーズに加えて、鏡での自撮り画像や背景の変動、スケール変動、さらには顔の一部または全体が隠れたアーティファクトも含まれています。
VGG、DenseNet、ResNetなどの異なるCNNバックボーンを用いて、全身画像、半身画像、顔画像のみでの広範な実験を行った結果、全身画像を用いた場合が他の半身画像や顔画像のみを用いた場合よりも優れた推定精度を達成することが示されました。