[OpenCV实战]10 使用Hu矩进行形状匹配

目录

​​1 什么是图像矩？​​

​​2 如何计算图像矩​​

​​2.1 质心获取​​

​​2.2 中心矩​​

​​2.3 Hu矩​​

​​3 基于Hu矩实现形状匹配​​

​​3.1 Hu矩的计算​​

​​3.2 基于matchShapes函数计算两个图形之间的距离​​

​​4 代码​​

​​4.1 Hu矩计算​​

​​4.2 形状匹配​​

​​5 参考​​

在这篇文章中，我们将展示如何使用Hu Moments进行形状匹配。您将学习以下内容

• 什么是图像矩？
• 如何计算图像矩？
• 什么是图像矩不变量（或胡时刻）？
• 如何使用OpenCV计算图像的Hu图像矩？
• 如何使用Hu图像矩来找到两个形状之间的相似性。

1 什么是图像矩？

图像矩是图像像素强度的加权平均值。让我们选择一个简单的例子来理解。

为简单起见，我们考虑单通道二进制图像I。位置处的像素强度（X，Y）为I（X，Y）。二进制图像的I（X，Y）可以取值0或255。

最简单的图像矩可以这样计算：

我们在上面的等式中所做的就是计算所有像素值的总和。换句话说，所有图像矩仅基于它们的值加权，而不是基于它们在图像中的位置。

对于二进制图像，可以以几种不同的方式解释上述矩:

1. 它是值白色像素的数量（即强度=255）。
2. 它是代表图像中白色区域的面积。

到目前为止，您可能不会对图像矩留下深刻印象，但这里有一些有趣的东西。图1包含三个二进制图像S（S0.png），旋转S（S5.png）和K（K0.png）

S图像和旋转S图像的图像矩非常接近，K的矩就大大不同。

对于两个相同的形状，上面的图像矩必然是相同的，但它不是一个充分的条件。我们可以很容易地构建两个图像，其中图像矩相同的，但它们看起来非常不同。

2 如何计算图像矩

2.1 质心获取

让我们看看一些更复杂的矩。

i和j是整数。这种矩通常被称为图像几何矩，以区别于本文后面提到的中心矩。请注意，上述矩取决于像素的强度及其在图像中的位置。如此直观地说，这些矩正在捕捉一些形状的信息。

我们可以通过图像矩计算质心。使用以下公式计算质心：

2.2 中心矩

中心矩非常类似于我们之前看到的几何矩，在几何矩的基础上我们需要减去质心坐标。

请注意，上述中心矩是具有平移不变性的。换句话说，无论图像中的blob在哪里，如果形状相同，则中心矩是不变的。

如果我们还能让这个矩具有不变性，那会不会很酷？那么为此我们需要在中心矩添加标准化，得到中心归一化矩。如下所示。

中心矩是平移不变的，中心归一化矩是平移和尺度不变的。三种矩总结如下：

2.3 Hu矩

中心矩具有很不错的特性，但是不足以用于特征匹配。我们想要计算对平移，缩放和旋转不变的矩，幸运的是，我们实际上可以计算出这样的矩，他们被称为Hu矩的7个不变量。如下图所示。

Hu矩（或者更确切地说是Hu矩不变量）是使用对图像变换不变的中心矩计算的一组7个变量。事实证明，前6个矩不变量对于平移，缩放，旋转和映射都是不变的。而第7个矩会因为图像映射而改变。

Hu矩的理论你可参考论文：

​​https://www.researchgate.net/publication/224146066_Analysis_of_Hu's_moment_invariants_on_image_scaling_and_rotation​​

3 基于Hu矩实现形状匹配

3.1 Hu矩的计算

幸运的是，我们不需要在OpenCV中进行所有计算，因为我们有计算Hu矩的函数。在OpenCV中，我们HuMoments()用来计算输入图像中的Hu矩。

（1）我们先读取原图并将其转换为灰度图像

C++:

// Read image as grayscale image

Mat im = imread(filename,IMREAD_GRAYSCALE);

Python:

# Threshold image

_,im = cv2.threshold(im, 128, 255, cv2.THRESH_BINARY)

（2）使用阈值处理对图像进行二值化：

C++：

// Threshold image 阈值分割

threshold(im, im, 0, 255, THRESH_OTSU);

Python:

# Threshold image

_,im = cv2.threshold(im, 128, 255, cv2.THRESH_BINARY)

（3）基于OpenCV先计算图像中心矩，再计算图像Hu矩

C++:

// Calculate Moments

Moments moments = moments(im, false);

// Calculate Hu Moments

double huMoments[7];

HuMoments(moments, huMoments);

Python:

# Calculate Moments

moments = cv2.moments(im)

# Calculate Hu Moments

huMoments = cv2.HuMoments(moments)

（4）在前一步骤中获得的Hu矩变化过大。例如k图像的Hu矩为：

h[0] = 0.00162663

h[1] = 3.11619e-07

h[2] = 3.61005e-10

h[3] = 1.44485e-10

h[4] = -2.55279e-20

h[5] = -7.57625 e-14

h[6] = 2.09098e-20

请注意，hu [0]的大小与hu [6]不具有可比性。我们可以使用下面给出的对数转换将它们放在相同的范围内

转换后的结果如下：

H[0] = 2.78871

H[1] = 6.50638

H[2] = 9.44249

H[3] = 9.84018

H[4] = -19.593

H[5] = -13.1205

H[6] = 19.6797

转换代码为：

C++:

// Log scale hu moments

for(int i = 0; i < 7; i++)

{

  huMoments[i] = -1 * copysign(1.0, huMoments[i]) * log10(abs(huMoments[i])); 

}

Python:

# Log scale hu moments

for i in range(0,7):

  huMoments[i] = -1* copysign(1.0, huMoments[i]) * log10(abs(huMoments[i])))

其中copysign函数的意思是将函数第一个变量的符号设置成第二个变量的正负数符号，然后输出第一个变量。例如若第二个变量为负数，则上式1变为负数-1，输出-1。

3.2 基于matchShapes函数计算两个图形之间的距离

如前所述，所有7个Hu矩不变量不管图像缩放和旋转都是不变的。只有映射时比如图像翻转，那么第七个Hu矩正负符号就会变化。那不是很漂亮吗?

我们来看一个例子。在下表中我们有6张图片和他们的Hu矩。

如您所见，我们在S1.png中移动字母S，并在S2.png中移动+缩放它。我们添加了一些旋转来制作S3.png并进一步翻转图像以制作S4.png。注意，S0，S1，S2，S3和S4的所有Hu矩在值上彼此接近，除了翻转S4的第七个Hu矩的符号。另外，请注意它们与K非常不同。

在本节中，我们将学习如何使用Hu Moments来找到两个形状之间的距离。如果距离小，则两个图形在外观上接近。

OpenCV提供了一个易于使用的名为matchShapes函数，它接收两个图像（或轮廓）并使用Hu矩找到它们之间的距离。所以，你只需将图像二值化并使用matchShapes即可。

用法如下所示

C++:

double d1 = matchShapes(im1, im2, CONTOURS_MATCH_I1, 0);

double d2 = matchShapes(im1, im2, CONTOURS_MATCH_I2, 0);

double d3 = matchShapes(im1, im2, CONTOURS_MATCH_I3, 0);

Python:

d1 = cv2.matchShapes(im1,im2,cv2.CONTOURS_MATCH_I1,0)

d2 = cv2.matchShapes(im1,im2,cv2.CONTOURS_MATCH_I2,0)

d3 = cv2.matchShapes(im1,im2,cv2.CONTOURS_MATCH_I3,0)

请注意，您可以通过第三个参数（CONTOURS_MATCH_I1，CONTOURS_MATCH_I2或CONTOURS_MATCH_I3）使用三种b不同的距离。如果上述距离很小，则两个图像（im1和im2）相似。您可以使用任何距离测量。它们通常产生类似的结果。个人喜欢第二种，因为好计算。

三种距离具体计算如下：

1 CONTOURS_MATCH_I1

2 CONTOURS_MATCH_I2

3 CONTOURS_MATCH_I3

是图像A和B之间的距离， 和 是图像A和B第i个Hu矩对数转换后的值。

当我们在图像上使用形状匹配时，如S0与S0,K0和S4，我们得到以下输出：

S0和S0：0.0

S0和K0：0.10783054664091285

S0和S4：0.008484870268973932

如果您想在两个形状之间自定义距离。例如，您可能希望使用由给定的Hu Moments之间的欧几里德距离。首先，如前一节所述，计算对数变换的Hu矩，然后自己计算距离，而不是使用matchShapes。

4 代码

代码地址：

​​https://github.com/luohenyueji/OpenCV-Practical-Exercise​​

如果没有积分（系统自动设定资源分数）看看参考链接。我搬运过来的，大修改没有。

4.1 Hu矩计算

C++:

#include "pch.h"
#include <iostream>
#include "opencv2/opencv.hpp"

using namespace cv;
using namespace std;

int main()
{
  //是否进行log转换
  bool showLogTransformedHuMoments = true;

  // Obtain filename 图像地址
  string filename("./image/s0.png");

  // Read Image 读图
  Mat im = imread(filename, IMREAD_GRAYSCALE);

  // Threshold image 阈值分割
  threshold(im, im, 0, 255, THRESH_OTSU);

  // Calculate Moments 计算矩
  //第二个参数True表示非零的像素都会按值1对待，也就是说相当于对图像进行了二值化处理，阈值为1
  Moments moment = moments(im, false);

  // Calculate Hu Moments 计算Hu矩
  double huMoments[7];
  HuMoments(moment, huMoments);

  // Print Hu Moments
  cout << filename << ": ";

  for (int i = 0; i < 7; i++)
  {
    if (showLogTransformedHuMoments)
    {
      // Log transform Hu Moments to make squash the range
      cout << -1 * copysign(1.0, huMoments[i]) * log10(abs(huMoments[i])) << " ";
    }
    else
    {
      // Hu Moments without log transform.
      cout << huMoments[i] << " ";
    }
  }
  // One row per file
  cout << endl;
}

Python:

from math import copysign, log10

def main():
    showLogTransformedHuMoments = True

    # Obtain filename from command line argument
    filename = './image/s0.png'

    # Read image
    im = cv2.imread(filename,cv2.IMREAD_GRAYSCALE)

    # Threshold image
    _,im = cv2.threshold(im, 128, 255, cv2.THRESH_BINARY)

    # Calculate Moments
    moment = cv2.moments(im)

    # Calculate Hu Moments
    huMoments = cv2.HuMoments(moment)

    # Print Hu Moments
    print("{}: ".format(filename),end='')

    for i in range(0,7):
        if showLogTransformedHuMoments:
            # Log transform Hu Moments to make
            # squash the range
            print("{:.5f}".format(-1*copysign(1.0,\
                    huMoments[i])*log10(abs(huMoments[i]))),\
                    end=' ')
        else:
            # Hu Moments without log transform
            print("{:.5f}".format(huMoments[i]),end=' ')
    print()

if __name__ == "__main__":
    main()

4.2 形状匹配

C++:

#include "pch.h"
#include "opencv2/opencv.hpp"

using namespace cv;
using namespace std;

int main()
{
  Mat im1 = imread("./image/S0.png",IMREAD_GRAYSCALE);
  Mat im2 = imread("./image/K0.png",IMREAD_GRAYSCALE);
  Mat im3 = imread("./image/S4.png",IMREAD_GRAYSCALE);

  double m1 = matchShapes(im1, im1, CONTOURS_MATCH_I2, 0);
  double m2 = matchShapes(im1, im2, CONTOURS_MATCH_I2, 0);
  double m3 = matchShapes(im1, im3, CONTOURS_MATCH_I2, 0);

  cout << "Shape Distances Between " << endl << "-------------------------" << endl;
  cout << "S0.png and S0.png : " << m1 << endl;
  cout << "S0.png and K0.png : " << m2 << endl;
  cout << "S0.png and S4.png : " << m3 << endl;
}

Python:

import cv2

def main():

    im1 = cv2.imread("./image/S0.png",cv2.IMREAD_GRAYSCALE)
    im2 = cv2.imread("./image/K0.png",cv2.IMREAD_GRAYSCALE)
    im3 = cv2.imread("./images/S4.png",cv2.IMREAD_GRAYSCALE)

    m1 = cv2.matchShapes(im1,im1,cv2.CONTOURS_MATCH_I2,0)
    m2 = cv2.matchShapes(im1,im2,cv2.CONTOURS_MATCH_I2,0)
    m3 = cv2.matchShapes(im1,im3,cv2.CONTOURS_MATCH_I2,0)

    print("Shape Distances Between \n-------------------------")

    print("S0.png and S0.png : {}".format(m1))
    print("S0.png and K0.png : {}".format(m2))
    print("S0.png and S4.png : {}".format(m3))

if __name__ == "__main__":
    main()

5 参考

​​https://www.learnopencv.com/shape-matching-using-hu-moments-c-python/​​