opencv-python 4.8. 图像金字塔

理论

通常，我们曾经使用恒定大小的图像。但在某些情况下，我们需要使用不同分辨率的（相同）图像。例如，在搜索图像中的某些内容时，如脸部，我们不确定该对象在所述图像中的大小。在这种情况下，我们需要创建一组具有不同分辨率的相同图像，并在所有图像中搜索对象。这些具有不同分辨率的图像被称为图像金字塔（因为当它们保持在堆叠中，底部具有最高分辨率图像而顶部具有最低分辨率图像时，它看起来像金字塔）。 图像金字塔有两种：高斯金字塔和拉普拉斯金字塔 通过去除较低级别（较高分辨率）图像中的连续行和列来形成高斯金字塔中的较高级别（低分辨率）。然后，较高级别中的每个像素由来自基础级别中的5个像素的贡献形成，具有高斯权重。通过这样做，M×N图像变为M/2 × N/2图像。因此面积减少到原始面积的四分之一。它被称为Octave(八度)。当我们在金字塔中上升时（即分辨率降低）将以相同的模式继续。同样，在扩展时，每个级别的区域变为4次。我们可以使用cv.pyrDown()向下采样和cv.pyrUp()向上采样函数找到高斯金字塔。
两个函数原型参数一致，参数说明如下：

• src：输入图像；
• dst： 输出图像；
• dstsize： 输出图像尺寸，默认值按照 ((src.cols+1)/2, (src.rows+1)/2) 计算

高斯金字塔

import cv2 as cv

img = cv.imread(r'C:\Users\yuyalong\Pictures\Saved Pictures\dog.jpg')

# 向下采样
lower_reso1 = cv.pyrDown(img)
lower_reso2 = cv.pyrDown(lower_reso1)

# 向上采样
higher_reso1 = cv.pyrUp(lower_reso2)
higher_reso2 = cv.pyrUp(lower_reso1)

cv.imshow('original', img)
cv.imshow('lower_reso1', lower_reso1)
cv.imshow('lower_reso2', lower_reso2)

cv.imshow('higher_reso1', higher_reso1)
cv.imshow('higher_reso2', higher_reso2)

cv.waitKey(0)

cv.destroyAllWindows()

向下采样结果

向上采样结果

注意 lower_reso1 != higher_reso1, higher_reso2 != img。因为一旦向下采样(降低了分辨率)，就会丢失信息。在使用向上采样时，是没法与原图一样。

拉普拉斯金字塔（Laplacian Pyramid， LP）

拉普拉斯金字塔主要用于重建图像，由上文我们已经知道在使用高斯金字塔的的时候，上采样和下采样会导致图像细节丢失。

拉普拉斯就是为了在放大图像的时候，可以预测残差，何为残差，即小图像放大的时候，需要插入一些像素值，在上文直接插入的是 0，拉普拉斯金字塔算法可以根据周围像素进行预测，从而实现对图像最大程度的还原。

学习到原理如下：用高斯金字塔的每一层图像，减去其上一层图像上采样并高斯卷积之后的预测图像，得到一系列的差值图像即为 LP 分解图像（其中 LP 即为拉普拉斯金字塔图像）。

关于拉普拉斯还存在一个公式（这是本系列课程第一次书写公式），其中 L 为拉普拉斯金字塔图像，G 为高斯金字塔图像
Ln = Gn - PyrUp(PyrDown(Gn))
使用下面的代码进行测试。

import cv2 as cv

img = cv.imread(r'C:\Users\yuyalong\Pictures\Saved Pictures\opera.jpg')

# 向下采样
lower_reso1 = cv.pyrDown(img)
# lower_reso2 = cv.pyrDown(lower_reso1)

# 向上采样
# higher_reso1 = cv.pyrUp(lower_reso2)
higher_reso2 = cv.pyrUp(lower_reso1)

# 计算拉普拉斯金字塔图像 原图 - 向上采样一次的图
laplace = cv.subtract(img, higher_reso2)

cv.imshow('original', img)
cv.imshow('lower_reso1', lower_reso1)
# cv.imshow('lower_reso2', lower_reso2)

# cv.imshow('higher_reso1', higher_reso1)
cv.imshow('higher_reso2', higher_reso2)

cv.imshow('laplace', laplace)

cv.waitKey(0)

cv.destroyAllWindows()

使用金字塔的图像混合

金字塔的一个应用是图像混合。例如，在图像拼接中，你需要将两个图像堆叠在一起，但由于图像之间的不连续性，它可能看起来不太好。在这种情况下，与金字塔混合的图像可以让你无缝混合，而不会在图像中留下太多数据。其中一个典型的例子是混合了两种水果，橙子和苹果。

简单地完成如下： 1. 加载苹果和橙色的两个图像 2. 找到苹果和橙色的高斯金字塔（在这个特殊的例子中，级别数是6） 3. 从高斯金字塔，找到他们的拉普拉斯金字塔 4. 现在加入左半部分的苹果和右半部分的拉普拉斯金字塔 5. 最后，从这个联合图像金字塔，重建原始图像。

现在查看结果以了解我在说什么：

以下是完整的代码。（为简单起见，每个步骤都是单独完成的，可能会占用更多内存。如果需要，可以对其进行优化）。

import cv2 as cv
import numpy as np, sys

A = cv.imread(r'C:\Users\yuyalong\Pictures\Saved Pictures\apple.jpg')
B = cv.imread(r'C:\Users\yuyalong\Pictures\Saved Pictures\orange.jpg')

# generate Gaussian pyramid for A
G = A.copy()
gpA = [G]
for i in range(6):
    G = cv.pyrDown(G)
    gpA.append(G)

# generate Gaussian pyramid for B
G = B.copy()
gpB = [G]
for i in range(6):
    G = cv.pyrDown(G)
    gpB.append(G)

# generate Laplacian Pyramid for A
lpA = [gpA[5]]
for i in range(5, 0, -1):
    GE = cv.pyrUp(gpA[i])
    L = cv.subtract(gpA[i - 1], GE)
    lpA.append(L)

# generate Laplacian Pyramid for B
lpB = [gpB[5]]
for i in range(5, 0, -1):
    GE = cv.pyrUp(gpB[i])
    L = cv.subtract(gpB[i - 1], GE)
    lpB.append(L)

# Now add left and right halves of images in each level
LS = []
for la, lb in zip(lpA, lpB):
    rows, cols, dpt = la.shape
    ls = np.hstack((la[:, 0:cols / 2], lb[:, cols / 2:]))  # 将参数元组的元素数组按水平方向进行叠加
    LS.append(ls)

# now reconstruct
ls_ = LS[0]
for i in range(1, 6):
    ls_ = cv.pyrUp(ls_)
    ls_ = cv.add(ls_, LS[i])

# image with direct connecting each half
real = np.hstack((A[:, :cols / 2], B[:, cols / 2:]))

cv.imshow('Apple', A)
cv.imshow('Orange', B)
cv.imshow('Direct Connection', real)
cv.imshow('Pyramid Blending', ls_)