目录
前言
图像拼接是一种将多张图像合成一幅大图的技术，常用于全景图生成、图像拼接和图像合成等应用场景。
一、两个函数
1.显示图像
def cv_show(name, img):
cv2.imshow(name, img)
cv2.waitKey(0)
2.计算图片特征与描述符
- 将输入图像转换成灰度图
- 创建sift对象
- 对该灰度图进行特征检测并计算描述符
- 将每一个关键点的坐标装入数组
- 返回关键点，关键点坐标数组和描述符
def detectAndDescribe(image):
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
sift = cv2.SIFT_create()
# 检测SIFT特征点,并计算描述符,第二个参数为掩膜
(kps, des) = sift.detectAndCompute(gray, None)
# 将结果转換成NumPy数组
kps_float = np.float32([kp.pt for kp in kps])
# kp.pt 包含两个值,分别是关键点在图像中的 x 和 y 坐标。这些坐标通常是浮点数,可以精确地描述关键点在图像中的位置。
return (kps, kps_float, des)
二、代码实例
1.准备图像
- 选择需要拼接的图像，确保它们之间有一定的重叠区域。
import cv2
import numpy as np
import sys
"""读取拼接图片"""
imageA = cv2.imread('1.jpg')
cv_show('imageA', imageA)
imageB = cv2.imread('2.jpg')
cv_show('imageB', imageB)输出：
2.特征检测
- 使用特征检测算法（如 SIFT、ORB 或 AKAZE）找到每张图像中的关键特征点。
"""计算图片特征点及描述符"""
(kpsA, kps_floatA, desA) = detectAndDescribe(imageA)
(kpsB, kps_floatB, desB) = detectAndDescribe(imageB)
3.特征匹配
- 通过描述子匹配算法（如 BFMatcher 或 FLANN）将不同图像中的特征点进行匹配。
"""建立暴力匹配器BFMatcher,在匹配大型训练集合是使用FlannBasedMatcher速度更快"""
matcher = cv2.BFMatcher()
# knnMatch(queryDescriptors,trainDescriptors,k,mask=None, compactResult=None)
# 使用KNN检测来自A、B图的SIFT特征匹配对,参数说明:
# queryDescriptors:查询图像A的描述符
# trainDescriptors:目标图像B的描述符
# k:最佳匹配的描述符个数。一般K=2.
# 返回的数据结构描述:
# distance:匹配的特征点描述符的欧式距离,数值越小也就说明个特征点越相近。
# queryIdx:查询图像的特征点描述符的下标(第几个特征点描述符),同时也是描述符对应特征点的下标。
# trainIdx:目标图像的特征点描述符下标,同时也是描述符对应特征点的下标。
# 选查询图像中的一个关键点 选目标图像中的两个点 进行判断
rawMatches = matcher.knnMatch(desB, desA, 2)
good = [] # 例如,[[m1, m2], [m3, m4], ...] 的格式,其中 m1, m2 是对应于同一关键点的两个匹配。
matches = []
for m in rawMatches:
# 当最近距离跟次近距离的比值小于0.65值时,保留此匹配对
if len(m) == 2 and m[0].distance < 0.65 * m[1].distance:
good.append(m)
# 存储两个点在featuresA,featuresB中的索引值
matches.append((m[0].trainIdx, m[0].queryIdx))
print(len(good))
print(matches)
# 绘制k近邻匹配结果
# kp2 是要取两个关键点的图像
vis = cv2.drawMatchesKnn(imageB, kpsB, imageA, kpsA, good, None, flags=cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)
cv_show('Keypoint Matches', vis)输出：
4.图像变换
- 根据计算出的变换矩阵，将图像变换到同一平面上。
"""透视变换"""
if len(matches) > 4: # 当筛选后的匹配对大于4时,计算视角变换矩阵。
# 获取匹配对的点坐标
ptsA = np.float32([kps_floatA[i] for (i, _) in matches]) # matches是通过阈值筛选之后的特征点对象
ptsB = np.float32([kps_floatB[i] for (_, i) in matches]) # kps_floatA是图片A中的全部特征点坐标
# 计箅透视变換矩阵
# findHomography(srcPoints, dstPoints, method=None, ransacReprojThreshold=None)
# 计算视角变换矩阵,透视变换雨数,与cv2.getPerspectiveTransform()的区别在与可多个数据点变换
# 参数srcPoints:选一个关键点的图
# 参数dstPoints:选两个关键点的图
# 參数method:计算变换矩降的方法
# 0 - 使用所有的点,最小二乘法
# RANSAC - 基于随机样本一致性,https://zhuanlan.zhihu.com/p/402727549
# LMEDS - 最小中值
# RHO - 转于浙近样本一致性
# ransacReprojThreshold:最大允许币投影错误阀值。该参数只有在method参数为RANSAC与RHO的时启用,默认为3
# 返回值中:h为变换矩阵、mask是掩模标志,指示哪些点对是内点、哪些是外点。 内点;指那些与估计的模型非常接近的数据点,通常是正确匹魔或真实数据。
(H, mask) = cv2.findHomography(ptsB, ptsA, cv2.RANSAC, 10)
else:
print('图片未找到4个以上匹配点')
sys.exit()
输出：
5.图像融合
- 将变换后的图像合成在一起，可以使用加权平均、渐变等方式来平滑拼接缝隙。
result = cv2.warpPerspective(imageB, H, (imageB.shape[1] + imageA.shape[1], imageB.shape[0]))
cv_show("resultB", result)
# 将图片A传入result图片最左璇
result[0:imageA.shape[0], 0:imageA.shape[1]] = imageA
cv_show("result", result)
输出：
