opencv - py_photo - py_non_local_means 非局部均值去噪

文章目录

• 图像去噪
• • 目标
  • 理论
  • OpenCV 中的图像去噪
  • • 1. cv.fastNlMeansDenoisingColored()
    • 2. cv.fastNlMeansDenoisingMulti()
  • 其他资源

图像去噪

目标

在本章中，

• 您将了解非局部均值去噪算法，以去除图像中的噪声。
• 您将看到不同的函数，如 cv.fastNlMeansDenoising()、
  cv.fastNlMeansDenoisingColored() 等。

理论

在前面的章节中，我们已经看到了许多图像平滑技术，如高斯模糊、中值模糊等，它们在一定程度上可以很好地去除少量噪声。在这些技术中，我们在一个像素周围取一个小的邻域，并进行一些操作，如高斯加权平均值、值的中值等，以替换中心元素。简而言之，像素的噪声去除是其邻域的局部去除。

噪声有一个特性。噪声通常被认为是一个具有零均值的随机变量。
考虑一个噪声像素， p = p 0 + n p = p_0 + n p=p0​+n，其中 p 0 p_0 p0​ 是像素的真实值， n n n 是该像素中的噪声。您可以从不同的图像中获取大量相同的像素（例如 N N N）并计算它们的平均值。理想情况下，您应该得到 p = p 0 p = p_0 p=p0​，因为噪声的平均值是零。

你可以通过一个简单的设置来自己验证。将静态相机放在某个位置几秒钟。这将为你提供大量帧或同一场景的大量图像。然后编写一段代码来查找视频中所有帧的平均值（这对你来说现在应该太简单了）。比较最终结果和第一帧。你可以看到噪音减少了。不幸的是，这种简单的方法对相机和场景运动不稳健。而且通常只有一张嘈杂的图像可用。所以这个想法很简单，我们需要一组相似的图像来平均噪音。考虑图像中的一个小窗口（比如 5x5 窗口）。相同的补丁可能在图像中的其他地方。有时在它周围的一个小街区。如何将这些相似的补丁一起使用并找到它们的平均值？对于那个特定的窗口，这很好。请参见下面的示例图像：

图像中的蓝色斑块看起来很相似。绿色斑块看起来很相似。因此，我们取一个像素，在其周围取一个小窗口，在图像中搜索类似的窗口，对所有窗口求平均值，然后用我们得到的结果替换像素。这种方法是非局部均值去噪。与我们之前看到的模糊技术相比，它需要更多时间，但效果非常好。更多详细信息和在线演示可以在其他资源中的第一个链接中找到。

对于彩色图像，将图像转换为 CIELAB 颜色空间，然后分别对 L 和 AB分量进行去噪。

OpenCV 中的图像去噪

OpenCV 提供了此技术的四种变体。

1. cv.fastNlMeansDenoising() - 适用于单个灰度图像

2. cv.fastNlMeansDenoisingColored() - 适用于彩色图像。

3. cv.fastNlMeansDenoisingMulti() - 适用于短时间内捕获的图像序列
   （灰度图像）

4. cv.fastNlMeansDenoisingColoredMulti() - 与上文相同，但适用于彩色图像。

常见参数为：

• h：决定过滤器强度的参数。较高的 h 值可以更好地去除噪音，但也会去除
  图像的细节。（10 也可以）
• hForColorComponents：与 h 相同，但仅适用于彩色图像。（通常与 h 相同）
• templateWindowSize：应为奇数。（建议 7）
• searchWindowSize：应为奇数。 （推荐 21）

请访问其他资源中的第一个链接，了解有关这些参数的更多详细信息。

我们将在这里演示 2 和 3。剩下的留给你。

1. cv.fastNlMeansDenoisingColored()

如上所述，它用于从彩色图像中去除噪声。（噪声预计为高斯噪声）。
请参阅以下示例：

import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt

img = cv.imread('die.png')

dst = cv.fastNlMeansDenoisingColored(img,None,10,10,7,21)

plt.subplot(121),plt.imshow(img)
plt.subplot(122),plt.imshow(dst)
plt.show()

以下是结果的放大版本。我的输入图像具有 σ = 25 \sigma = 25 σ=25 的高斯噪声。请参阅结果：

2. cv.fastNlMeansDenoisingMulti()

现在我们将同样的方法应用于视频。第一个参数是噪声帧的列表。第二个参数 imgToDenoiseIndex 指定我们需要对哪个帧进行去噪，为此我们传递输入列表中帧的索引。第三个参数是 temporaryWindowSize，它指定用于去噪的附近帧的数量。它应该是奇数。在这种情况下，总共使用 temporaryWindowSize 个帧，其中中心帧是要去噪的帧。例如，您传递了一个包含 5 个帧的列表作为输入。让 imgToDenoiseIndex = 2 和 temporaryWindowSize = 3。然后使用帧 1、帧 2 和帧 3 来对帧 2 进行去噪。让我们看一个例子。

import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt

cap = cv.VideoCapture('vtest.avi')

# create a list of first 5 frames 创建前 5 帧的列表
img = [cap.read()[1] for i in range(5)]

# convert all to grayscale 将所有转换为灰度
gray = [cv.cvtColor(i, cv.COLOR_BGR2GRAY) for i in img]

# convert all to float64 将所有转换为 float64
gray = [np.float64(i) for i in gray]

# create a noise of variance 25 创建方差为 25 的噪声
noise = np.random.randn(*gray[1].shape)*10

# Add this noise to images 将此噪声添加到图像
noisy = [i+noise for i in gray]

# Convert back to uint8 转换回 uint8
noisy = [np.uint8(np.clip(i,0,255)) for i in noisy]

# Denoise 3rd frame considering all the 5 frames 考虑所有 5 个噪声对第 3 帧进行去噪帧
dst = cv.fastNlMeansDenoisingMulti(noisy, 2, 5, None, 4, 7, 35)

plt.subplot(131),plt.imshow(gray[2],'gray')
plt.subplot(132),plt.imshow(noisy[2],'gray')
plt.subplot(133),plt.imshow(dst,'gray')
plt.show()

下图显示了我们得到的结果的放大版本：

计算需要花费大量时间。结果中，第一幅图像是原始帧，第二幅是噪声帧，第三幅是去噪图像。

其他资源

1. ipol（其中包含详细信息、在线演示等。强烈建议访问。我们的测试图像由此链接生成）

2. Coursera 在线课程（第一幅图像取自此处）

IPOL 是一本图像处理和图像分析研究期刊，强调数学作为算法设计来源的作用以及研究的可重复性。每篇文章都包含有关算法及其源代码的文本，并配有在线演示工具和实验档案。文本和源代码经过同行评审，演示受到控制。IPOL 是一本开放科学和可重复研究期刊。(https://www.ipol.im/)