首页 > 其他分享 >OpenCV+dlib实现人脸关键点定位

OpenCV+dlib实现人脸关键点定位

时间:2023-05-13 10:34:48浏览次数:50  
标签:image cv2 OpenCV shape 人脸 68 dlib 关键点

目录

本文基于OpenCV并利用dlib工具包实现了对传入图像的人脸关键点定位。

步骤:

  • 首先需要对传入图像进行预处理操作,其次,利用dlib工具包对整张图像进行人脸检测,然后,对检测到的每一个人脸框利用dlib官方训练好的工具包:shape_predictor_68_face_landmarks.dat进行关键点定位,最后,绘制相应的区域。

(1)了解工具包

人脸关键点定位使用dlib官方训练好的工具包:shape_predictor_68_face_landmarks.dat 下载地址:http://dlib.net/files/
其中人脸关键点根据https://ibug.doc.ic.ac.uk/resources/facial-point-annotations/网页的68关键点数据,索引如下图:

(2)加载人脸检测与关键点定位

detector = dlib.get_frontal_face_detector()#dlib正面人脸检测
predictor = dlib.shape_predictor(args["shape_predictor"])#关键点定位,传入68关键点模型

(3)数据预处理

 # 读取输入数据,预处理
image = cv2.imread(args["image"])
(h, w) = image.shape[:2]
width=500
r = width / float(w)
dim = (width, int(h * r))
image = cv2.resize(image, dim, interpolation=cv2.INTER_AREA)
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)#灰度图

(4)人脸检测

先用人脸检测器获取到人脸矩形框rects,再用68点模型对人脸框进行关键点定位。最后将关键点标记出来,并提取ROI区域。

rects = detector(gray, 1)#检测人脸,多张人脸对应多个矩形框

# 遍历检测到的框(一张图可能有多个人脸)
for (i, rect) in enumerate(rects):
	# 对人脸框进行关键点定位
	# 转换成ndarray
	shape = predictor(gray, rect)#传入处理后的输入图像以及指定好框的位置,返回关键点相对于人脸框的位置
	shape = shape_to_np(shape)#转换成ndarray格式

	# 遍历每一个部分
	for (name, (i, j)) in FACIAL_LANDMARKS_68_IDXS.items():#i,j相当于一个部分的区域,比如37-42表示左眼
		clone = image.copy()
		cv2.putText(clone, name, (10, 30), cv2.FONT_HERSHEY_SIMPLEX,#cv2.FONT_HERSHEY_SIMPLEX字体效果
			0.7, (0, 0, 255), 2)

		# 根据位置画点
		for (x, y) in shape[i:j]:
			cv2.circle(clone, (x, y), 3, (0, 0, 255), -1)

		# 提取ROI区域
		(x, y, w, h) = cv2.boundingRect(np.array([shape[i:j]]))
		
		roi = image[y:y + h, x:x + w]
		(h, w) = roi.shape[:2]
		width=250
		r = width / float(w)
		dim = (width, int(h * r))
		roi = cv2.resize(roi, dim, interpolation=cv2.INTER_AREA)
		
		# 显示每一部分
		cv2.imshow("ROI", roi)
		cv2.imshow("Image", clone)
		cv2.waitKey(0)
#所调用函数
FACIAL_LANDMARKS_68_IDXS = OrderedDict([#按顺序取
	("mouth", (48, 68)),#名字和区域
	("right_eyebrow", (17, 22)),
	("left_eyebrow", (22, 27)),
	("right_eye", (36, 42)),
	("left_eye", (42, 48)),
	("nose", (27, 36)),
	("jaw", (0, 17))
])

def shape_to_np(shape, dtype="int"):
	# 创建68*2
	coords = np.zeros((shape.num_parts, 2), dtype=dtype)
	# 遍历每一个关键点
	# 得到坐标
	for i in range(0, shape.num_parts):
		coords[i] = (shape.part(i).x, shape.part(i).y)#shape.part(i).x:第i个关键点的x坐标
	return coords

总共有嘴巴、右眉毛、左眉毛、右眼、左眼、鼻子、脸颊七个部位,下图只截取开始和结尾两个结果。

(5)绘制所有区域

 # 展示所有区域
output = visualize_facial_landmarks(image, shape)
cv2.imshow("Image", output)
cv2.waitKey(0)

def visualize_facial_landmarks(image, shape, colors=None, alpha=0.75):
	# 创建两个copy
	# overlay and one for the final output image
	overlay = image.copy()
	output = image.copy()
	# 设置一些颜色区域
	if colors is None:
		colors = [(0,65,255), (175,238,238), (230, 159, 23),
			(168, 100, 168), (158, 163, 32),
			(205,201,201), (180, 42, 220)]
	# 遍历每一个区域
	for (i, name) in enumerate(FACIAL_LANDMARKS_68_IDXS.keys()):
		# 得到每一个点的坐标
		(j, k) = FACIAL_LANDMARKS_68_IDXS[name]
		pts = shape[j:k]
		# 检查位置
		if name == "jaw":
			# 用线条连起来
			for l in range(1, len(pts)):
				ptA = tuple(pts[l - 1])
				ptB = tuple(pts[l])
				cv2.line(overlay, ptA, ptB, colors[i], 2)
		# 计算凸包
		else:
			hull = cv2.convexHull(pts)
			cv2.drawContours(overlay, [hull], -1, colors[i], -1)
	# 叠加在原图上,可以指定比例,alpha透明比例
	cv2.addWeighted(overlay, alpha, output, 1 - alpha, 0, output)
	return output

标签:image,cv2,OpenCV,shape,人脸,68,dlib,关键点
From: https://www.cnblogs.com/lushuang55/p/17396119.html

相关文章

  • opencv高维数组-4维
    转载:https://blog.csdn.net/weixin_41767419/article/details/116204595创建高维数组#include<opencv2/opencv.hpp>#include<iostream>usingnamespacecv;usingnamespacestd;intmain(){intp=1;intq=2;intt=3;intu=4;......
  • OpenCV实现多目标追踪(2)
    目录1.预处理操作(1)给出深度学习分类的标签(2)读取网络模型(3)预处理视频流2.基于第一帧检测目标3.追踪目标4.效果展示5.多进程优化追踪器本文使用dlib库以及Caffe训练好的SSD模块对短视频流中的人进行目标追踪,并使用多线程进行优化。步骤:首先需要加载SSD分类标签并读取网......
  • 拉普拉斯图像融合,基于sobel算子的边缘检测,PCA人脸识别,SIFT图像配准,分形维数计算,数字图
    拉普拉斯图像融合,基于sobel算子的边缘检测,PCA人脸识别,SIFT图像配准,分形维数计算,数字图像水印,霍夫变换做直线检测,人脸纹理识别,伪彩色增强,图像增强,图像分割,特征提取,字符分割,各种GUI,等等各种跟图像处理有关的程序。ID:1360615396171857......
  • OpenCV实现多目标追踪(1)
    目录1.配置参数2.实例化追踪器3.处理视频的每一帧4.框选ROI并追踪本文利用OpenCV已有的七种目标追踪算法,通过对传入视频中感兴趣的目标对象进行框选,实现实时追踪框选对象。步骤:首先需要配置相应参数并创建MultiTracker对象,其次,读取并处理视频的每一帧,接着,框选ROI区域,然后,给M......
  • 树莓派之人脸识别与智能家居
    访问【WRITE-BUG数字空间】_[内附完整源码和文档]树莓派加上摄像头之后就可以拍照、录视频等各种功能了,这样做一个树莓派相机已经是非常简单的事情了。我们在这里做一个简单的人脸区域检测的功能实验,然后我们在下一个实验让树莓派来控制风扇转动。发现有人脸了,就开始转动风扇。这也......
  • Building wheel for opencv-python (pyproject.toml) ,安装命令增加 --verbose 参数
    Mac安装paddlehub出现Buildingwheelsforcollectedpackages:opencv-python,ffmpy,jieba,seqeval,futureBuildingwheelforopencv-python(pyproject.toml)...解决方法pipinstallopencv-python-ihttps://pypi.tuna.tsinghua.edu.cn/simple--verbose......
  • opencv图片内存占用过大优化
    //读取图片文件到内存std::ifstreamfile(img.toStdString(),std::ios::binary);std::vector<char>buffer((std::istreambuf_iterator<char>(file)),std::istreambuf_iterator<char>());cv::Matimage=cv::imdecode(cv::Ma......
  • 在一个进程中通过队列的方式缓存opencv视频帧,并在另一个进程中读取
    import_threadimportqueueimporttimeimportcv2fromflaskimportFlask,Responseapp=Flask(__name__)max_size=3q1=queue.Queue(maxsize=max_size)q2=queue.Queue(maxsize=max_size)open_flag=1defopen_and_show(ip_camera_url,title):......
  • CentOS7编译dlib GPU版
    1.安装CUDA和CudNN略..2.更新cmake1)下载cmake源码wgethttps://cmake.org/files/v3.13/cmake-3.13.3-Linux-x86_64.tar.gz2)解压tarzxvfcmake-3.13.3-Linux-x86_64.tar.gz3)删除旧的cmakesudoyumremovecmake4)添加cmake环境变量sudonano/etc/profile#在最......
  • 基于opencv的OCR识别
    前言最近项目需要识别图片中的文字,实现之后把流程记录一下,希望对你有所帮助。运行环境win10,python3.8,opencv-python==4.7.0.68,pytesseract(需另外下载安装,请根据自己环境自行选择版本,dev表示正式版,beta测试版,w32位,W64位)引用上述安装好的pytesseract#指定配合opencv图片文......