Mediapipe三维实时人体关键点检测与追踪

• 1.Mediapipe动作计数
• 2.动作计数
• • 2.1 俯卧撑
  • 2.2 引体向上
  • 2.3 仰卧起坐
  • 2.3 下蹲

1.Mediapipe动作计数

前面上文，我们已经知道了，人体姿态的动作，是通过3个关节点加二个人体支干，组成的关节角度，来判断动作的。

所以识别某一个具体的动作，我们只需要找出人体做出指定动作的最明显的肢体部位，比如说，人体做下蹲的时候，最明显的特征可以识别出这个动作的肢体就是大腿和小腿。

等我们找到对面的肢体部位，将对应的部位，映射到mediapipe的具体关节点，比如说引体向上，对应的肢体就是我们的手臂。

手臂对应到Mediapipe中的索引号是16，14，12（左臂）11，13，15（右臂）。可以看下，做引体向上，角度（16-14-12）的夹角，角度（11-13-15）的夹角会在引体向上过程中发生变化。

具体动作计数步骤：

1. 先识别出人体的姿态
2. 计算关键肢体位置的角度
3. 我们通过记录肢体角度的变化，来对动作进计数

2.动作计数

2.1 俯卧撑

要想做好不同动作识别，最关键就是找到做动作，肢体变化最明显的部位。

🐵比如说俯卧撑，可以看出人的手臂和躯干在变化

对应到mediapipe的部位编号就是16，14，12（左臂），15，13，11（右臂），12，24，26（躯干）

有了动作计数，我们还需要有一个动作完成进度，因为每一个动作都是从初始动作一点点，变化到标准动作位置。对应的肢体角度也是一点点的变化的。

因此我们需要一个动作进度条。这里使用一种函数np.interp()线性插值。

函数解释：
np.interp(angle,(x1,y1),(x2,y2))

• angle：就是对应我们通过mediapipe得到的肢体夹角，角度
• (x1,y1)：可以理解为angle的角度变化的范围
• (x2,y2)：可以理解为通过角度的数值，映射到进度条的数值的范围，类似于m=2n,n的取值范围就是角度的范围，m的取值范围就是进度条的取值范围。

最后返回一个进度条数值。

这样我们就可以通过获取实时的角度，映射到进度条中，得到实时的进度条的值。

我们这里认为手臂的角度小于50为俯卧撑撑下，角度大于125为撑上，躯干角度为一直保持在165到175之间。

# 导入opencv工具包
import cv2
# 导入numpy
import numpy as np
# 导入姿势识别器
from poseutil import PoseDetector# 打开视频文件
cap = cv2.VideoCapture('videos.mp4')
# 姿势识别器
detector = PoseDetector()# 方向与个数
dir = 0  # 0为下，1为上
count = 0# 视频宽度高度
width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))# 录制视频设置
fourcc = cv2.VideoWriter_fourcc(*'mp4v')
out = cv2.VideoWriter('videos.mp4', fourcc, 30.0, (width, height))while True:# 读取摄像头，img为每帧图片success, img = cap.read()if success:h, w, c = img.shape# 识别姿势img = detector.find_pose(img, draw=True)# 获取姿势数据positions = detector.find_positions(img)if positions:# 获取俯卧撑的角度angle1 = detector.find_angle(img, 12, 24, 26)angle2 = detector.find_angle(img, 12, 14, 16)# 进度条长度bar = np.interp(angle2, (45, 150), (w // 2 - 100, w // 2 + 100))cv2.rectangle(img, (w // 2 - 100, h - 150), (int(bar), h - 100), (0, 255, 0), cv2.FILLED)# 角度小于50度认为撑下if angle2 <= 50 and angle1 >= 165 and angle1 <= 175:if dir == 0:count = count + 0.5dir = 1# 角度大于125度认为撑起if angle2 >= 125 and angle1 >= 165 and angle1 <= 175:if dir == 1:count = count + 0.5dir = 0cv2.putText(img, str(int(count)), (w // 2, h // 2), cv2.FONT_HERSHEY_SIMPLEX, 10, (255, 255, 255), 20, cv2.LINE_AA)# 打开一个Image窗口显示视频图片cv2.imshow('Image', img)# 录制视频out.write(img)else:# 视频结束退出break# 如果按下q键，程序退出key = cv2.waitKey(1)if key == ord('q'):break# 关闭视频保存器
out.release()
# 关闭摄像头
cap.release()
# 关闭程序窗口
cv2.destroyAllWindows()

2.2 引体向上

同样的引体向上也可以做
引体向上对应到mediapipe的部位编号就是16，14，12（左臂），15，13，11（右臂）

import cv2
import numpy as np
from poseutil import PoseDetector# opencv打开一个视频
cap = cv2.VideoCapture('video.mp4')
# 创建一个PoseDetector类的对象
detector = PoseDetector()
# 方向和完成次数的变量
dir = 0
count = 0while True:# 读取视频图片帧success, img = cap.read()if success:# 检测视频图片帧中人体姿势img = detector.find_pose(img, draw=True)# 获取人体姿势列表数据lmslist = detector.find_positions(img)# 右手肘的角度right_angle = detector.find_angle(img, 12, 14, 16)# 以170到20度检测右手肘弯曲的程度right_per = np.interp(right_angle, (20, 170), (100, 0))# 进度条高度数据right_bar = np.interp(right_angle, (20, 170), (200, 400))# 使用opencv画进度条和写右手肘弯曲的程度cv2.rectangle(img, (1200, 200), (1220, 400), (0, 255, 0), 3)cv2.rectangle(img, (1200, int(right_bar)), (1220, 400), (0, 255, 0), cv2.FILLED)cv2.putText(img, str(int(right_per)) + '%', (1190, 450), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 255), 2)# 左手肘的角度left_angle = detector.find_angle(img, 11, 13, 15)left_per = np.interp(left_angle, (20, 170), (100, 0))left_bar = np.interp(left_angle, (20, 170), (200, 400))cv2.rectangle(img, (500, 200), (520, 400), (0, 255, 0), 3)cv2.rectangle(img, (500, int(left_bar)), (520, 400), (0, 255, 0), cv2.FILLED)cv2.putText(img, str(int(left_per)) + '%', (490, 450), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 255), 2)# 检测个数，我这里设置的是从20%做到80%，就认为是一个if (left_per >= 80 and right_per >= 80):if dir == 0:count = count + 0.5dir = 1if (left_per <= 20 and right_per <= 20):if dir == 1:count = count + 0.5dir = 0# 在视频上显示完成个数cv2.putText(img, str(int(count)), (1000, 100), cv2.FONT_HERSHEY_SIMPLEX, 3, (0, 255, 255), 4)cv2.imshow('Image', img)else:breakk = cv2.waitKey(1)if k == ord('q'):breakcap.release()
cv2.destroyAllWindows()

2.3 仰卧起坐

仰卧起坐对应到mediapipe的部位编号就是11，23，25（右侧躯干），12，24，26（左侧躯干）

# 导入opencv工具包
import cv2
# 导入numpy
import numpy as np
# 导入姿势识别器
from poseutil import PoseDetector# 打开视频文件
cap = cv2.VideoCapture('videos.mp4')
# 姿势识别器
detector = PoseDetector()# 方向与个数
dir = 0  # 0为躺下，1为坐起
count = 0while True:# 读取摄像头，img为每帧图片success, img = cap.read()if success:h, w, c = img.shape# 识别姿势img = detector.find_pose(img, draw=True)# 获取姿势数据positions = detector.find_positions(img)if positions:# 获取仰卧起坐的角度angle = detector.find_angle(img, 11, 23, 25)# 进度条长度bar = np.interp(angle, (50, 130), (w // 2 - 100, w // 2 + 100))cv2.rectangle(img, (w // 2 - 100, h - 150), (int(bar), h - 100), (0, 255, 0), cv2.FILLED)# 角度小于55度认为坐起if angle <= 55:if dir == 0:count = count + 0.5dir = 1# 角度大于120度认为躺下if angle >= 120:if dir == 1:count = count + 0.5dir = 0cv2.putText(img, str(int(count)), (w // 2, h // 2), cv2.FONT_HERSHEY_SIMPLEX, 10, (255, 255, 255), 20, cv2.LINE_AA)# 打开一个Image窗口显示视频图片cv2.imshow('Image', img)else:# 视频结束退出break# 如果按下q键，程序退出key = cv2.waitKey(1)if key == ord('q'):break# 关闭摄像头
cap.release()
# 关闭程序窗口
cv2.destroyAllWindows()

2.3 下蹲

下蹲对应mediapipe的部位编号就是24，26，28（左腿），23，25，27（右腿）

# 导入opencv工具包
import cv2
# 导入numpy
import numpy as np
# 导入姿势识别器
from poseutil import PoseDetector# 打开视频文件
cap = cv2.VideoCapture('videos.mp4')
# 姿势识别器
detector = PoseDetector()# 方向与个数
dir = 0  # 0为站立，1为蹲下
count = 0while True:# 读取摄像头，img为每帧图片success, img = cap.read()if success:h, w, c = img.shape# 识别姿势img = detector.find_pose(img, draw=True)# 获取姿势数据positions = detector.find_positions(img)if positions:# 获取仰卧起坐的角度angle = detector.find_angle(img, 24, 26, 28)# 进度条长度bar = np.interp(angle, (50, 170), (w // 2 - 100, w // 2 + 100))cv2.rectangle(img, (w // 2 - 100, h - 150), (int(bar), h - 100), (0, 255, 0), cv2.FILLED)# 角度小于55度认为下蹲if angle <= 55:if dir == 0:count = count + 0.5dir = 1# 角度大于120度认为站立if angle >= 120:if dir == 1:count = count + 0.5dir = 0cv2.putText(img, str(int(count)), (w // 2, h // 2), cv2.FONT_HERSHEY_SIMPLEX, 10, (255, 255, 255), 20, cv2.LINE_AA)# 打开一个Image窗口显示视频图片cv2.imshow('Image', img)else:# 视频结束退出break# 如果按下q键，程序退出key = cv2.waitKey(1)if key == ord('q'):break# 关闭摄像头
cap.release()
# 关闭程序窗口
cv2.destroyAllWindows()

本文链接：https://my.lmcjl.com/post/14062.html