-
输入:图片、视频、摄像头等
-
预处理:GBR2RGB、缩放、归一化等
-
检测:
- 加载训练模型BlazePose
- 检测是否有人
- 若有人,则提取33个关键点
注:BlazePose是一个基于MobileNet的训练模型。
MobileNet是一个基于CNN(卷积神经网络),专为移动设备和边缘计算的深度学习模型。
在训练BlazePose模型时,数据集需标注出关键点的位置。
-
输出关键点:将关键点的坐标传给KNN算法进行预测。
图1.来自Mediapipe帮助文档中的关键点信息
注:KNN算法:计算身体倾斜角,关键点的速度和加速度(一般结合3-5帧进行计算,两帧也可以)、身体与地面的距离变化和时间序列变化模式。
-
过滤/优化:非极大值抑制(NMS)、去重和优化定位。
-
可视化:将检测结果叠加到原始图像上。
最后由于官方提供的mediapipe当多个目标出现时,只能检测出一个目标,所以在生成3D点云图时,也只会在原点绘制。如果想解决,则需要比如:yolo,先检测到人体,然后将目标区域裁剪进行mediapipe检测关键点,这样就可以检测出多个目标,在绘制3D点云图时,加上偏移量,即可正常显示。
标签:KNN,Mediapipe,检测,模型,跌倒,BlazePose,关键点 From: https://blog.csdn.net/qq_74791832/article/details/141171721