arXiv (CV)AI
ステレオビジョンと人間姿勢推定を用いた転倒予測・検出システムのAMD Kria K26への実装
Stereo Vision-Based Fall Prediction and Detection using Human Pose Estimation on the AMD Kria K26 SOM
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
高齢者の転倒は深刻な怪我と生活の質の低下につながるため、迅速な予測と検出が重要な課題となっています。本研究は、AMD Kria K26システムオンモジュール上で人間姿勢推定(HPE)を活用し、ポータブルで低消費電力のバッテリー駆動型、ビジョンベースの転倒予測・検出システムを提案しています。このシステムの大きな特徴は、プライバシーを保護しながら非侵襲的にリアルタイム転倒検出を実現することにあります。
システムはIntel RealSense D455レンジセンシングカメラをK26 SOMに接続し、RGB画像とデプス画像を640×480の解像度で毎秒60フレームの同期取得を行います。処理パイプラインは3段階で構成されており、まず量子化されたYOLOXで人間のバウンディングボックスをRGB画像から検出した後、プライバシー保護のためRGB画像を破棄します。その後、A2J(Anchor-to-Joint)モデルがデプス画像を使用して1人あたり15個の関節キーポイントを推定し、CNNが選択された関節座標の3次元情報(x、y、z)を用いて転倒活動を分類する仕組みです。
学習データはYOLOXではCrowdHuman、A2JではITOP、MP-3DHP、URfall Detection、およびカスタムデータセットを使用しており、各段階で最適化されています。結果として、YOLOX、A2J、CNNそれぞれの精度は74%、84.13%、75.85%を達成し、スループットはシングルスレッド版の毎秒2.5フレームからマルチスレッド版の毎秒4.5フレームに改善されました。本研究の成果はAMD Kria K26エッジデバイス上でのプライバシー保護型転倒検出の実現可能性を実証しており、クラウド依存なしにオンデバイスで高齢者監視と医療支援システムの構築が可能であることを示しています。