Opencv学习项目4——手部跟踪

主要是使用opencv和mediapipe库来实现手部跟踪，首先我们先介绍一下mediapipe库

mediapipe库介绍

MediaPipe 是一个由 Google 开发的开源框架，用于构建基于机器学习的应用程序，特别是涉及实时数据处理和传感的应用。它提供了一套工具和库，使开发者可以轻松地构建复杂的多媒体处理流水线，包括视频处理、姿态估计、手势识别、对象追踪等。

主要特点和功能：

1. 模块化设计： MediaPipe 的设计非常模块化，允许开发者通过组合不同的处理单元（称为计算单元）来构建复杂的处理流水线。

2. 跨平台支持： 支持在多种平台上运行，包括桌面操作系统（如 Windows、Linux、macOS）和移动操作系统（如 Android、iOS）。

3. 预构建计算单元： 提供了大量预构建的计算单元，涵盖了从图像处理到深度学习模型应用的多个领域，开发者可以直接使用这些计算单元来加速开发进程。

4. 高效的媒体处理： MediaPipe 针对实时处理进行了优化，能够在设备上高效运行，适用于需要低延迟和高帧率的应用场景。

5. 开放的模型架构： 允许开发者集成自定义的机器学习模型和算法，以满足特定需求。

6. 易于集成： 提供了多种语言的 API，包括 Python、C++ 等，使得开发者可以选择最适合自己项目的编程语言。

主要应用领域：

• 实时手势识别和跟踪： 如手部关键点检测、手势识别等。
• 人体姿势估计： 检测和跟踪人体的姿势和动作。
• 对象检测和跟踪： 识别和跟踪视频中的特定对象。
• 面部检测和跟踪： 如面部表情识别、人脸关键点检测等。
• AR（增强现实）应用： 在实时视频中叠加虚拟物体或效果。
• 视频分析和处理： 包括实时分割、稳定化、滤镜应用等。

在手部识别中，有三行重要的代码

mpHands = mp.solutions.hands
hands = mpHands.Hands()
mpDraw = mp.solutions.drawing_utils

首先导入了 MediaPipe 库中的手部检测模块，然后使用模块中的 Hands 类来创建一个手部检测器对象 hands，最后导入了 MediaPipe 提供的绘图工具模块

import cv2
import  mediapipe as mp

cap = cv2.VideoCapture(1)
mpHands = mp.solutions.hands
hands = mpHands.Hands()
mpDraw = mp.solutions.drawing_utils

while True:
    success, img = cap.read()
    imgRGB = cv2.cvtColor(img,cv2.COLOR_BGR2RGB)
    #对RGB图像进行手部检测
    results = hands.process(imgRGB)
    print(results.multi_hand_landmarks)
    cv2.imshow("image", img)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
cap.release()
cv2.destroyAllWindows()

看一下我们的代码，首先是我们前面介绍的那三行重要代码，不过现在mpDraw还没用到，然后我们对图像格式进行转换，对RGB图像进行手部检测，multi_hand_landmarks包含检测到的所有手部的关键点信息，下面我们介绍一下multi_hand_landmarks

multi_hand_landmarks介绍

results.multi_hand_landmarks 是从 MediaPipe 手部检测器返回的结果对象中的一个属性。让我解释一下这个属性的含义和用途：

属性解释：

1. 属性名称： multi_hand_landmarks

2. 属性类型： 列表

3. 含义：

   这个属性包含了检测到的多个手部的关键点信息。每个检测到的手部都由一个 landmark landmarks` 对象来表示，这个对象包含了手部的关键点坐标。

4. 结构：如果没有检测到任何手部，results.multi_hand_landmarks 将返回 None 或者空列表 []。如果检测到了手部，则每个元素都代表一个检测到的手部。每个手部都由一系列的关键点（landmarks）组成，这些关键点描述了手部在图像中的位置。每个关键点通常是一个具有 x、y、z（可选）坐标的对象或元组，表示了手部的特定部位，如手指尖、手掌中心等。

我们看一下运行结果

这里可以看到我们摄像头没有检测到手部，返回None

这里可以看到，当摄像头检测到手部时，返回每个手部关键点x,y,z坐标信息（框出来的只是其一）

这里就完成了手部的识别，画出手部关键点和连接下一篇博客再讲，感兴趣的可以关注一下，项目不定时更新，谢谢