opencv-python学习笔记9-图像分割

标签：分割 阈值 python cv2 笔记 像素 opencv 算法 图像

目录

一、图像分割的概述、技术现状、应用：

技术现状：

传统图像分割技术：

深度学习驱动的图像分割技术：

应用领域：

二、 图像分割的方法和分类：

（1）基于阈值的分割方法：

（2）基于区域的分割方法：

（3）基于边缘的分割方法：

（4）基于特定理论的分割方法：

（5）基于深度学习的分割方法：

三、图像分割的原理：

（1）阈值法：

基本原理：

基本步骤：

公式：

阈值确定方法：

Otsu方法的公式：

（2）类聚法：

K-means算法的基本原理：

K-means算法的基本步骤：

K-means算法的数学公式：

K-means算法的优点和缺点：

K-means算法的优化方法：

 （3）边界法：

基本原理及步骤：

边缘检测算子：

边缘连接方法：

Hough变换：

局限性：

（4）区域法：

基本原理及公式：

区域生长算法：

区域分裂合并算法：

分水岭算法：

总结：

（5）图论法：

基本原理

基本公式：

 三、使用OpenCV进行图像分割：

（1）固定阈值分割：

步骤：

threshold 函数：

函数原型：

参数：

返回值：

阈值类型说明：

代码示例： 

 （2）自适应阈值分割：

自适应阈值分割技术的优化方法：

adaptiveThreshold()函数：

代码示例：

（3）彩色图像分割：

颜色空间转换：

颜色阈值分割：

形态学操作：

提取分割区域：

边缘检测和区域生长：

深度学习方法：

（4） grabCut算法分割图像：

GrabCut算法的基本概念和原理：

GrabCut函数：

compare函数：

 （5）floodfill漫水填充分割：

基本原理：

函数原型：

代码示例：

（6）分水岭分割法：

分水岭分割法的原理：

分水岭分割法的函数：

分水岭分割法的代码示例：

---

一、图像分割的概述、技术现状、应用：

图像分割是计算机视觉中的一个重要步骤，其基本目标是将图像划分为若干个具有特定特征或意义的区域。每个区域内部的像素共享相似的属性，如颜色、纹理、亮度或深度。图像分割可以基于灰度、彩色、空间纹理和几何形状等特征进行划分，并使这些特征在同一区域内表现出一致性或相似性，而在不同区域间呈现出差异性。

技术现状：

传统图像分割技术：

传统的图像分割方法主要包括基于阈值的方法、边缘检测方法、区域生长方法、聚类方法以及图论方法等。例如，基于阈值的方法通过设定一个或多个阈值来区分不同的像素值，从而实现二值化分割；而边缘检测方法则利用图像中边缘信息来进行分割。然而，这些传统方法在处理复杂场景时往往效果不佳，容易受到光照变化等因素的影响。

深度学习驱动的图像分割技术：

近年来，深度学习技术极大地推动了图像分割的发展。卷积神经网络（CNN）及其变体如全卷积网络（FCN）、U-Net等被广泛应用于图像分割任务中。这些方法能够自动学习图像的深层特征并进行精确的像素级标注。此外，无监督和自监督学习方法也在减少对大量标记数据依赖方面取得了显著进展。

应用领域：

图像分割技术在多个领域有着广泛的应用：

• 医学影像分析：在医学影像中，图像分割可以帮助医生更准确地定位病灶，如肿瘤分割。

• 自动驾驶：在自动驾驶系统中，图像分割用于识别道路、行人和其他车辆，以提高系统的安全性和可靠性。

• 安防监控：在视频监控系统中，图像分割有助于实时跟踪目标物体，增强系统的智能化水平。

• 遥感图像处理：在遥感图像分析中，图像分割用于提取地物信息，支持环境监测和资源管理。

• 工业质检：在工业生产过程中，图像分割用于检测产品质量，如缺陷检测和分类。

• 零售和时尚行业：在基于图像的搜索中，图像分割技术被用来识别商品类别和位置。

二、 图像分割的方法和分类：

（1）基于阈值的分割方法：

• 全局阈值分割：

  • 基于点的全局阈值：选择一个固定阈值，将图像中的像素分为前景和背景。
  • 基于区域的全局阈值：计算图像的直方图，找到直方图中的峰值和谷值，作为分割的阈值。

• 局部阈值分割：

  • 根据图像的局部特征（如局部灰度均值）动态确定阈值，适用于光照不均匀的图像。

（2）基于区域的分割方法：

• 种子区域生长法：

  • 从一个或多个种子点开始，根据预定的准则（如灰度相似性）将相邻像素合并到种子区域中。

• 区域分裂合并法：

  • 将图像递归地分割成更小的区域，然后根据相似性准则合并这些区域。

• 分水岭法：

  • 将图像视为地形图，通过模拟水的流动来找到图像中不同对象的边界。

（3）基于边缘的分割方法：

• 边缘检测法：

  • 使用边缘检测算子（如Canny、Sobel、Prewitt等）来识别图像中的边缘。

• 边界追踪法：

  • 从边缘检测的结果开始，跟踪边缘以形成闭合的轮廓。

（4）基于特定理论的分割方法：

• 基于聚类的方法：

  • 将图像像素根据相似性分组，如K-means聚类。

• 基于图论的方法：

  • 将图像表示为图，通过最小割等图论算法进行分割。

• 基于数学形态学的方法：

  • 使用形态学操作（如膨胀、腐蚀）来分割图像。

• 基于小波变换的方法：

  • 使用小波变换的多尺度特性进行图像分割。

• 基于能量泛函的方法：

  • 通过优化能量泛函来实现图像分割。

（5）基于深度学习的分割方法：

• 全卷积网络（FCN）：

  • 将卷积神经网络应用于图像分割，通过端到端的训练学习像素级的分类。

• 金字塔场景解析网络：

  • 使用多尺度的卷积神经网络来处理不同尺度的图像分割问题。

• U-Net：

  • 一种用于医学图像分割的网络，具有特殊的U型结构，能够精确地定位图像中的小对象。

• 生成对抗网络（GANs）：

  • 使用生成对抗网络进行图像分割，其中生成器和判别器共同学习分割任务。

三、图像分割的原理：

（1）阈值法：

阈值法（Thresholding）是图像分割中一种简单而有效的方法，它的基本原理是通过选择一个或多个阈值将图像的像素划分为不同的类别，通常是将图像转换为二值图像，即前景和背景。

基本原理：

阈值法的关键在于确定一个合适的阈值（或多个阈值），使得图像中的像素可以根据这个阈值被分为两个或多个区域。在二值化的情况下，阈值通常用来区分前景和背景。

基本步骤：

• 选择阈值：根据图像的特性或使用某种算法确定一个阈值 TT。
• 像素分类：将图像中的每个像素 p 与阈值 T 比较：
  • 如果 p≥Tp≥T，则将像素分配给一类（通常是前景，设值为白色或255）。
  • 如果 p<Tp<T，则将像素分配给另一类（通常是背景，设值为黑色或0）。

公式：

对于二值化，阈值操作可以用以下公式表示：

• B(x,y)是原始图像在坐标 (x,y)处的像素值。
• T是选定的阈值。

阈值确定方法：

• 固定阈值：根据经验或图像特性手动设置一个固定的阈值。
• 全局阈值：使用图像的全局特性（如亮度均值）来确定阈值。
• Otsu方法：自动计算阈值，以最大化类间方差，从而分离前景和背景。
• 自适应阈值：根据图像的局部特性动态确定阈值，适用于光照不均匀的图像。

Otsu方法的公式：

Otsu方法通过最小化类内方差或最大化类间方差来自动确定阈值。其计算公式如下：

其中：

• w0​(T) 和w1​(T) 分别是阈值 T 下的背景和前景的权重（像素比例）。
• μ0(T)和 μ1(T)分别是阈值 T 下的背景和前景的平均灰度值。
• μ 是整个图像的平均灰度值。
• σwithin2​ 是类内方差。
• σbetween2​ 是类间方差。
• Otsu方法通过遍历所有可能的阈值来找到使类间方差最大的阈值 TT。
• 这种方法不需要对图像的先验知识，适用于各种类型的图像。

（2）类聚法：

类聚法，通常指的是聚类分析中的一类方法，它基于数据点之间的相似性或距离来将数据集分成多个组或“类”。在聚类分析中，K-means算法是最常用的类聚法之一。

K-means算法的基本原理：

K-means算法的目标是将数据集中的 n个对象划分为 K 个聚类，使得每个对象到其所属聚类中心的距离之和最小。这里的距离通常是指欧几里得距离，但也可以使用其他距离度量。

K-means算法的基本步骤：

• 选择初始聚类中心：随机选择 KK 个数据点作为初始聚类中心。
• 分配数据点：将每个数据点分配给最近的聚类中心，形成 KK 个聚类。
• 更新聚类中心：计算每个聚类中所有数据点的均值，将该均值作为新的聚类中心。
• 重复步骤2和3：直到聚类中心不再发生变化，或直到达到预设的迭代次数。

K-means算法的数学公式：

对于数据点 x 和聚类中心 c，欧几里得距离的计算公式为：

其中，xi是数据点 x 的第 i个特征，ci是聚类中心 c的第 i个特征。

聚类中心的更新公式为：

其中，S是聚类中心 c 的聚类，m 是聚类 S 中数据点的数量。

K-means算法的优点和缺点：

优点：

• 简单易懂，容易实现。
• 收敛速度快。
• 对于球形或凸形的数据集聚类效果较好。

缺点：

• 需要预先指定聚类数 KK。
• 对初始聚类中心的选择敏感，可能导致不同的聚类结果。
• 可能陷入局部最优解。
• 对噪声和异常值敏感。

K-means算法的优化方法：

• K-means++：改进初始聚类中心的选择策略，以提高聚类的稳定性。
• 使用其他距离度量：如余弦相似度或曼哈顿距离，以适应不同类型的数据。
• 并行化计算：利用多核处理器或分布式计算平台加速计算。

K-means算法是一种强大的聚类工具，通过不断迭代优化聚类结果，使得每个聚类内的对象尽可能紧密，而不同聚类间的对象尽可能分开。

 （3）边界法：

边界法（基于边缘的图像分割）是一种利用图像中边缘信息进行分割的方法。其基本原理是通过识别图像中的边缘（即像素强度发生显著变化的地方）来确定不同区域的边界，从而将图像分割成多个互不重叠的子区域。

基本原理及步骤：

• 加载图像：将待处理的图像加载到内存中。
• 预处理：对图像进行预处理操作，如去噪、平滑、增强等，以提高边缘检测的准确性。
• 边缘检测：应用边缘检测算法（如Canny边缘检测、Sobel算子、Prewitt算子等）来识别图像中的边缘。
• 边缘连接：将检测到的边缘点连接成连续的边缘曲线或轮廓。这一步通常涉及到边缘跟踪算法，如光栅跟踪或全向跟踪。
• 边缘细化：对边缘曲线进行细化处理，消除冗余的像素点，得到更准确的边界线。
• 区域填充：根据边界线将图像分割成不同的区域，可以使用基于种子点的区域生长算法进行区域填充。
• 结果显示：将分割后的图像进行显示或保存。

边缘检测算子：

• 梯度算子：计算图像的梯度，即图像亮度的空间变化率，用于确定边缘的位置。
• Roberts算子：使用对角线方向的差分来近似梯度，适用于边缘的初步检测。
• Sobel算子：通过计算图像亮度的水平和垂直方向的一阶导数来检测边缘。
• Prewitt算子：与Sobel算子类似，但使用不同的卷积核来计算梯度。

边缘连接方法：

• 局部处理法：对边缘检测后的图像的每个点进行邻域分析，将相似的点连接成一个共享共同特性的边界。
• 边缘跟踪：将检测到的边缘点连接成线，形成有意义的边界。可以采用光栅跟踪或全向跟踪方法。

Hough变换：

Hough变换是一种在图像处理和计算机视觉中用于检测特定形状（如直线、圆等）的数学方法。它的基本原理是将图像空间中的点映射到参数空间，并在参数空间中寻找这些点的共同特征，从而识别出图像中的特定形状。

基本原理及公式：

Hough变换的核心思想是利用点与线的对偶性。在图像空间中，一条直线可以由无数个点组成，而在参数空间中，这些点对应的直线参数（如直线的斜率和截距）会相交于一点。因此，通过在参数空间中寻找这些交点，就可以确定图像空间中的直线。

对于直线检测，Hough变换通常使用极坐标系（ρ, θ）作为参数空间，其中ρ表示从坐标原点到直线的距离，θ表示直线的倾斜角度。直线的参数化表示为： 其中，(x, y)是图像空间中的点坐标。

算法步骤：

• 边缘检测：首先对输入图像进行边缘检测，得到二值化的边缘图像。
• 参数空间初始化：初始化参数空间，通常为ρ-θ平面。
• 累加器填充：对于边缘图像中的每个像素点，计算其对应的所有可能的(ρ, θ)值，并在累加器中对应的位置增加计数。
• 寻找峰值：在累加器中寻找局部最大值，这些最大值对应的(ρ, θ)即表示检测到的直线参数。
• 绘制直线：根据检测到的(ρ, θ)值，在原始图像中绘制直线。

优点：

• 能够从噪声中提取出直线特征。
• 对于直线的缺失部分不敏感，可以检测到被遮挡或断裂的直线。

缺点：

• 计算量大，尤其是在参数空间的分辨率较高时。
• 只能检测到直线，对于曲线或其他形状需要扩展算法。

改进方法

为了提高Hough变换的效率和准确性，有多种改进方法，如：

• Hough变换的加速算法：通过减少参数空间的分辨率或使用快速算法来减少计算量。
• 自适应阈值：根据图像内容动态调整阈值，以更好地识别直线。
• 多尺度Hough变换：在不同的尺度上应用Hough变换，以检测不同大小的直线。

局限性：

边界法可能受到复杂背景和噪声干扰的影响，导致边缘检测不准确。此外，对于细小物体或线条，边界法可能难以进行准确分割。

（4）区域法：

区域法是一种基于图像区域特征的图像分割方法，其基本原理是通过将图像划分为多个具有相似特征的区域来实现分割。这些特征可能包括颜色、灰度、纹理等。区域法的关键在于如何定义区域之间的相似性以及如何合并或分割这些区域。

基本原理及公式：

• 相似性准则：区域法假设图像中相似的像素具有相似的颜色、纹理或其他特征。相似性可以通过像素之间的距离来衡量，例如欧几里得距离或颜色空间中的距离。

• 区域合并：通过合并相似的区域来实现图像分割。首先将图像划分为初始的小区域，然后根据相似性度量合并相邻的区域。

• 区域生长：从种子像素开始，根据相似性准则逐渐扩展区域。在生长过程中，将相邻的像素添加到区域中。

• 区域分割：通过将图像中的像素划分为若干个区域，使得每个区域内的像素具有相似的特征，并且不同区域之间的特征差异明显。

区域生长算法：

区域生长算法是一种常见的区域法，其步骤通常包括：

• 种子点选取：从图像中选取一个或多个种子点，这些种子点可以是人工选择或自动检测的。

• 生长准则：定义一个准则来决定哪些像素可以被添加到种子点所在的区域。这个准则通常基于像素之间的相似性。

• 生长过程：从种子点开始，逐步添加满足生长准则的相邻像素到区域中。

• 停止条件：当没有更多的像素满足生长准则时，生长停止。

区域分裂合并算法：

区域分裂合并算法是另一种区域法，它从整幅图像开始，逐步将图像分裂成更小的区域，然后根据相似性合并这些区域。

• 初始化：将整幅图像视为一个区域。

• 分裂：根据一定的准则将当前区域分裂成更小的子区域。

• 合并：根据相似性准则，将相邻的子区域合并。

• 迭代：重复分裂和合并步骤，直到满足停止条件。

分水岭算法：

分水岭算法是一种基于图像拓扑结构的区域法，它将图像视为地形图，通过模拟水的流动来找到图像中不同对象的边界。

• 模拟浸水：将图像中的局部最小值视为水源，模拟水的流动过程。

• 构建分水岭：在水流汇合的地方构建分水岭，这些分水岭即为图像中不同对象的边界。

• 标记区域：根据分水岭将图像分割为不同的区域。

总结：

区域法是一种基于图像区域特征的图像分割方法，它通过合并或分割具有相似特征的区域来实现图像分割。区域生长、区域分裂合并和分水岭算法是区域法中的几种典型方法。

（5）图论法：

图论法在图像分割中的应用主要是基于图论中的一些基本概念，如节点、边、路径、连通性等，将图像视为一个图结构，其中像素点作为节点，像素之间的关系作为边。这种方法通常用于将图像分割成多个互不重叠的区域，这些区域在某种意义上是“一致”的，例如颜色、纹理或灰度相似。

基本原理

• 图的表示：

  • 图通常由节点集合和边集合组成。在图像分割中，每个节点代表一个像素，而边代表像素之间的关系。

• 相似性度量：

  • 图的边通常具有权重，这些权重反映了节点之间的相似性。权重可以基于颜色、灰度、纹理等特征的差异来计算。

• 连通性：

  • 在图论中，连通分量是指图中的一个最大子图，其中任意两个节点都是连通的，即存在一条路径连接它们。

• 最小割：

  • 图割是将图分割成两个或多个不相交子集的过程。最小割是指在所有可能的割中，边权重之和最小的割。

• 图的遍历：

  • 通过遍历图来识别连通分量或执行分割。常用的遍历算法包括深度优先搜索（DFS）和广度优先搜索（BFS）。

基本公式：

• 边权重：

  • 边的权重可以根据节点之间的特征差异来定义。例如，对于颜色差异，可以使用欧几里得距离：​
  •  其中，u 和 v 是图中的两个节点，ci(u)和 ci​(v) 分别是节点u 和 v 在第 i个颜色通道上的强度。

• 最小割：

  • 最小割问题可以通过多种算法求解，如Kuhn-Munkres算法（也称为匈牙利算法）或Boykov-Kolmogorov算法。

• 区域合并：

  • 在区域合并算法中，合并两个区域的决策可以基于区域特征的相似性，例如： 
  •  其中，S(Ri​,Rj​) 是区域 Ri​ 和 Rj之间的相似性度量，μ(R) 是区域 R 的特征均值，σ 是标准差。

 三、使用OpenCV进行图像分割：

（1）固定阈值分割：

在OpenCV中，使用固定阈值进行图像分割是一种简单直接的方法。这种方法适用于图像的前景和背景在灰度值上有明显区别的情况。

步骤：

• 读取图像：加载你想要分割的图像。
• 转换为灰度图：如果图像是彩色的，需要先转换为灰度图，因为阈值分割通常在灰度图上进行。
• 应用阈值分割：使用cv2.threshold函数应用固定阈值，将图像分割为前景和背景。
• 显示结果：显示分割后的图像。

threshold 函数：

cv2.threshold 函数是 OpenCV 库中用于图像二值化（阈值分割）的函数。它可以根据指定的阈值将图像转换为二值图像，其中像素值高于或低于阈值的像素会被赋予不同的固定值。这个函数非常灵活，支持多种阈值类型。

函数原型：

retval = cv2.threshold(src, thresh, maxval, type)

参数：

• src：输入图像，必须是单通道灰度图像。
• thresh：阈值参数，用于确定像素的分类界限。
• maxval：最大值参数，用于确定二值化后的图像中超过阈值的像素值。
• type：阈值类型，决定了如何处理像素值。支持的类型包括 cv2.THRESH_BINARY, cv2.THRESH_BINARY_INV, cv2.THRESH_TRUNC, cv2.THRESH_TOZERO, cv2.THRESH_TOZERO_INV, cv2.THRESH_OTSU, 和 cv2.THRESH_TRIANGLE。

返回值：

• retval：返回计算得到的阈值，如果使用了 cv2.THRESH_OTSU 或 cv2.THRESH_TRIANGLE 类型，则返回自动计算的阈值。

阈值类型说明：

在 OpenCV 中，cv2.threshold 函数使用的阈值类型（ThresholdTypes）决定了如何处理图像中的像素值。以下是每种阈值类型的描述和相应的处理公式：

• cv2.THRESH_BINARY:

  • 如果像素值大于阈值，则设置为 maxval，否则设置为 0。
  • 公式:

• cv2.THRESH_BINARY_INV:

  • 如果像素值大于阈值，则设置为 0，否则设置为 maxval。
  • 公式:

• cv2.THRESH_TRUNC:

  • 如果像素值大于阈值，则设置为阈值，否则保持不变。
  • 公式:

• cv2.THRESH_TOZERO:

  • 如果像素值小于阈值，则设置为 0，否则保持不变。
  • 公式:

• cv2.THRESH_TOZERO_INV:

  • 如果像素值大于阈值，则设置为 0，否则保持不变。
  • 公式:

• cv2.THRESH_MASK:

  • 这不是一个真正的阈值类型，而是用于创建掩码。高于阈值的像素在掩码中被设置为 255，其他像素设置为 0。

• cv2.THRESH_OTSU:

  • 使用 Otsu 的方法自动决定最佳阈值。这个类型需要 maxval 参数，并且 thresh 参数会被忽略。

• cv2.THRESH_TRIANGLE:

  • 使用三角形算法自动决定最佳阈值。这个类型需要 maxval 参数，并且 thresh 参数会被忽略。

代码示例： 

使用 cv2.threshold 函数进行固定阈值分割的示例：

import cv2

# 读取图像
image = cv2.imread("C:\\Users\\86173\\Desktop\\TI\\faves.png", cv2.IMREAD_GRAYSCALE)

# 设置阈值和最大值
threshold_value = 127
max_value = 255

# 应用阈值分割
ret, binary_image = cv2.threshold(image, threshold_value, max_value, cv2.THRESH_BINARY)

# 显示原始图像和二值化图像
cv2.imshow('Original Image', image)
cv2.imshow('Binary Image', binary_image)

cv2.waitKey(0)
cv2.destroyAllWindows()

• 首先读取了一幅图像，并将其转换为灰度图像。然后，设置阈值 threshold_value 和最大值 max_value。使用 cv2.threshold 函数应用 cv2.THRESH_BINARY 类型的阈值分割，将图像转换为二值图像。最后，显示原始图像和二值化后的图像。

 （2）自适应阈值分割：

自适应阈值分割技术在图像处理领域，尤其是在光照不均匀或背景复杂的情况下，提供了一种有效的图像二值化方法。这种技术的核心在于局部区域的处理，它能够根据图像的局部特征动态调整阈值，以适应图像中的局部变化。

自适应阈值分割技术的优化方法：

• 局部统计方法：通过计算图像局部区域的统计量（如均值、中值、高斯加权平均值）作为阈值，以应对局部的光照变化。

• 噪声抑制：在计算局部统计量之前，可以采用降噪技术（如高斯滤波、中值滤波）来减少噪声的影响。

• 阈值调整策略：引入自适应调整策略，如根据局部区域的方差或标准差动态调整阈值，以增强算法的鲁棒性。

• 多尺度分析：结合多尺度分析，从不同尺度上计算阈值，以更好地捕捉图像的细节和纹理信息。

adaptiveThreshold()函数：

OpenCV中的adaptiveThreshold()函数是一种用于图像二值化的自适应阈值方法，它根据图像的局部区域特性动态调整阈值，特别适合处理光照不均匀的图像。

函数原型：

adaptiveThreshold()函数的原型如下：

cv2.adaptiveThreshold(src, maxValue, adaptiveMethod, thresholdType, blockSize, C)

参数说明：

• src：输入的8位单通道灰度图像。
• maxValue：二值化图像中超过阈值的像素值。
• adaptiveMethod：自适应阈值计算方法，可以是cv2.ADAPTIVE_THRESH_MEAN_C（邻域平均值减去C）或cv2.ADAPTIVE_THRESH_GAUSSIAN_C（邻域高斯加权平均值减去C）。
• thresholdType：阈值类型，通常是cv2.THRESH_BINARY或cv2.THRESH_BINARY_INV。
• blockSize：计算阈值时使用的邻域大小，必须是正奇数。
• C：从邻域平均值或高斯加权平均值中减去的常数，用于微调阈值。

工作原理：

adaptiveThreshold()函数对图像的每个像素计算一个局部阈值，然后根据这个阈值将图像转换为二值图像。局部阈值是基于像素周围blockSize×blockSize区域内的像素值计算得到的。这种方法允许图像中不同区域根据其局部亮度特性进行二值化，从而提高了分割效果。

代码示例：

import cv2

# 读取图像
img = cv2.imread("C:\\Users\\86173\\Desktop\\TI\\faves.png", cv2.IMREAD_GRAYSCALE)

# 检查图像是否读取成功
if img is None:
    print("Error: Image not found")
else:
    # 应用自适应阈值
    thresh = cv2.adaptiveThreshold(img, 255, cv2.ADAPTIVE_THRESH_MEAN_C, cv2.THRESH_BINARY, 11, 2)

    # 显示原图和二值化后的图像
    cv2.imshow('Original Image', img)
    cv2.imshow('Adaptive Thresholding', thresh)
    cv2.waitKey(0)
    cv2.destroyAllWindows()

在使用adaptiveThreshold()函数时，选择合适的blockSize和C值对于获得良好的二值化效果至关重要。通常，blockSize的选择取决于图像中目标物体的大小，而C值可以根据图像的对比度和亮度进行调整。

（3）彩色图像分割：

彩色图像分割是一个复杂的过程，因为需要处理图像中的多个通道。在OpenCV中，可以通过多种方法进行彩色图像分割，包括但不限于阈值分割、基于区域的方法、基于边缘的方法以及使用机器学习或深度学习技术。

颜色空间转换：

颜色空间转换是图像处理中的一个重要步骤，特别是在进行颜色分割时。不同的颜色空间对于颜色的表示和处理有着不同的优势。在OpenCV中，可以使用 cv2.cvtColor 函数来实现颜色空间的转换。

BGR/RGB 到 HSV 的转换：

HSV颜色空间由三个分量组成：色调（Hue）、饱和度（Saturation）、亮度（Value）。这个颜色空间对于人类视觉系统来说更加直观，因为它将颜色的属性（如颜色的种类和颜色的深浅）分开表示。

在OpenCV中，将BGR或RGB图像转换为HSV格式的代码如下：

import cv2
import numpy as np
from matplotlib import pyplot as plt

# 读取图像
img_BGR = cv2.imread("C:\\Users\\86173\\Desktop\\TI\\faves.png")

# 将BGR图像转换为HSV图像
img_HSV = cv2.cvtColor(img_BGR, cv2.COLOR_BGR2HSV)
    # 显示原图和二值化后的图像
cv2.imshow('img_BGR', img_BGR)
cv2.imshow('img_HSV', img_HSV)
cv2.waitKey(0)
cv2.destroyAllWindows()R2HSV)

BGR/RGB 到 Lab 的转换：

Lab颜色空间由三个分量组成：亮度（L），以及从绿色到红色和从蓝色到黄色的两个颜色对手分量（a和b）。这个颜色空间在图像处理中用于颜色恒常性、颜色分割和颜色转换。

在OpenCV中，将BGR或RGB图像转换为Lab格式的代码如下：

import cv2
import numpy as np
from matplotlib import pyplot as plt

# 读取图像
img_BGR = cv2.imread("C:\\Users\\86173\\Desktop\\TI\\faves.png")

# 将BGR图像转换为Lab图像
img_Lab = cv2.cvtColor(img_BGR, cv2.COLOR_BGR2Lab)
    # 显示原图和二值化后的图像
cv2.imshow('img_BGR', img_BGR)
cv2.imshow('img_HSV', img_Lab)
cv2.waitKey(0)
cv2.destroyAllWindows()

 

• HSV颜色空间：常用于颜色检测和分割，因为它允许独立地操作颜色和亮度，使得在不同光照条件下检测特定颜色变得更加容易。
• Lab颜色空间：在图像处理中用于颜色分割和图像增强，因为它更好地反映了人类视觉对颜色的感知。

注意事项：

• 在进行颜色空间转换时，确保图像已经加载到内存中，并且路径正确。
• 不同的颜色空间转换可能对图像的表示有显著影响，因此在选择颜色空间时应考虑最终的应用目标。
• OpenCV中的 cv2.cvtColor 函数非常灵活，支持多种颜色空间之间的转换。

• 颜色阈值分割：

  • 在OpenCV中，使用cv2.inRange函数进行颜色阈值分割是一种常见的实践，特别是在处理彩色图像时。这个函数允许你定义一个颜色范围，并创建一个二值化掩码，其中属于指定颜色范围的像素被设置为白色（255），而其他像素则设置为黑色（0）。

  • 这种方法在HSV颜色空间中尤其有效，因为HSV空间将颜色信息分解为色调（Hue）、饱和度（Saturation）和亮度（Value），这使得颜色分割变得更加直观和灵活。

使用cv2.inRange进行颜色阈值分：

• 转换颜色空间： 首先，将图像从BGR颜色空间转换为HSV颜色空间。这是因为HSV空间更适合进行颜色分割。

  import cv2
  import numpy as np
  
  # 读取图像
  image = cv2.imread("C:\\Users\\86173\\Desktop\\TI\\faves.png")
  # 转换为HSV颜色空间
  hsv_image = cv2.cvtColor(image, cv2.COLOR_BGR2HSV)

• 定义颜色范围： 确定你想要分割的颜色的HSV阈值范围。这些值可以通过实验、颜色选择器工具或在线资源来确定。

  # 定义蓝色的HSV阈值范围
  lower_blue = np.array([110, 50, 50])
  upper_blue = np.array([130, 255, 255])

• 创建掩码： 使用cv2.inRange函数创建一个掩码，该掩码将根据定义的颜色范围分割图像。

  # 创建颜色阈值掩码
  mask = cv2.inRange(hsv_image, lower_blue, upper_blue)

• 应用掩码： 将掩码应用于原始图像，以提取特定颜色的区域。

  # 应用掩码并提取蓝色区域
  result = cv2.bitwise_and(image, image, mask=mask)

• 显示结果： 显示原始图像、掩码和结果图像。

  # 显示图像
  cv2.imshow('Original Image', image)
  cv2.imshow('Mask', mask)
  cv2.imshow('Blue Areas', result)
  cv2.waitKey(0)
  cv2.destroyAllWindows()

注意事项：

• 颜色选择：选择合适的颜色范围对于分割的效果至关重要。可以通过实验或使用颜色选择器工具来确定这些值。
• 光照条件：光照变化可能会影响颜色的检测，因此在不同的光照条件下可能需要调整阈值。
• 噪声处理：在应用掩码之前，可能需要对图像进行降噪处理，以减少错误检测。

形态学操作：

• 使用形态学操作如膨胀和腐蚀来改善掩码的质量，去除噪声。例如，可以使用 cv2.morphologyEx 函数进行形态学操作：

  kernel = np.ones((5,5),np.uint8)
  mask = cv2.morphologyEx(mask, cv2.MORPH_OPEN, kernel)

提取分割区域：

• 通过将掩码应用于原始图像，可以提取出分割的区域。例如，可以使用 cv2.bitwise_and 函数来提取特定颜色的区域：

  result = cv2.bitwise_and(img_BGR, img_BGR, mask=mask)

边缘检测和区域生长：

• 对于更复杂的分割任务，可以使用边缘检测算法（如Canny算法）或区域生长算法来进一步处理图像。

深度学习方法：

• 对于更高级的分割任务，可以使用深度学习模型，如卷积神经网络（CNN），这些模型可以学习图像中的特征并进行像素级的分割。

（4） grabCut算法分割图像：

GrabCut算法是一种基于图割（Graph Cut）的图像分割算法，广泛应用于图像处理和计算机视觉领域。它的主要特点是能够通过用户提供的初始标记或边界框，自动分割图像中的前景和背景。

GrabCut算法的基本概念和原理：

• 用户交互：GrabCut算法通常需要用户提供一个初始的边界框（bounding box），用于标记图像中目标物体的大致位置。用户也可以通过提供前景和背景的掩模（mask）来进一步细化分割结果。

• 迭代优化：算法通过迭代优化背景和前景模型参数，逐步细化前景和背景的区分。每次迭代都会更新模型参数，从而提高分割结果的准确性。

• 高斯混合模型（GMM） ：GrabCut算法使用高斯混合模型来估计前景和背景的颜色分布。通过GMM，算法能够更好地捕捉到前景和背景的颜色特征，从而提高分割的准确性。

• 能量函数最小化：GrabCut算法通过最小化一个能量函数来实现图像分割。这个能量函数结合了颜色信息和边界信息，使得分割结果更加准确。

• 灵活性和准确性：与传统的图像分割算法相比，GrabCut算法具有更高的准确性和灵活性。它不仅能够处理简单的背景，还能够处理复杂的背景，从而实现更精确的分割。

GrabCut函数：

cv2.grabCut 函数是 OpenCV 库中用于实现 GrabCut 算法的函数，它是一种基于图割的图像分割方法，用于将图像中的前景从背景中分离出来。GrabCut 算法通过迭代的方式优化分割结果，直到达到稳定状态。

函数原型：

dst = cv2.grabCut(src, mask, rect, bgdModel, fgdModel, iterCount, mode)

参数：

• src：输入图像，必须是8位的3通道（BGR）图像。
• mask：输入/输出掩码图像，大小与输入图像相同，类型为8位单通道。掩码初始化后由函数内部修改。
• rect：定义了图像中感兴趣区域（ROI）的矩形，格式为 (x, y, w, h)。这个矩形应该包含前景对象。
• bgdModel：背景模型，由函数内部使用，用户不需要预先填充。
• fgdModel：前景模型，由函数内部使用，用户不需要预先填充。
• iterCount：算法迭代的次数。
• mode：初始化模式，可以是 cv2.GC_INIT_WITH_RECT 或 cv2.GC_INIT_WITH_MASK。

返回值：

• dst：输出图像，与输入图像 src 大小相同，类型为8位3通道（BGR）。输出图像中的像素值与输入图像相同，但掩码中标记为背景的像素会被设置为背景颜色（通常是黑色）。

掩码 mask 的值：

• cv2.GC_BGD：确定的背景。
• cv2.GC_FGD：确定的前景。
• cv2.GC_PR_BGD：可能的背景。
• cv2.GC_PR_FGD：可能的前景。

compare函数：

在OpenCV中，cv2.compare 函数用于逐像素比较两个图像，并根据指定的比较操作返回一个结果图像。这个结果图像是一个二值图像，其中的像素值要么是0（表示比较结果为假），要么是255（表示比较结果为真）。

函数原型：

cv2.compare(src1, src2, dst, cmpop)

参数：

• src1：第一个输入图像或数组。
• src2：第二个输入图像或数组，必须与src1大小和类型相同。
• dst：输出图像，类型为CV_8UC1，即单通道8位图像。
• cmpop：比较操作符，可以是以下值之一：
  • cv2.CMP_EQ：检查两个像素是否相等。
  • cv2.CMP_GT：检查src1中的像素是否大于src2中的像素。
  • cv2.CMP_GE：检查src1中的像素是否大于或等于src2中的像素。
  • cv2.CMP_LT：检查src1中的像素是否小于src2中的像素。
  • cv2.CMP_LE：检查src1中的像素是否小于或等于src2中的像素。
  • cv2.CMP_NE：检查两个像素是否不相等。

 示例代码：

import cv2
import numpy as np
from matplotlib import pyplot as plt

# 读取图像
image = cv2.imread("C:\\Users\\86173\\Desktop\\TI\\Coin.jpg")

# 创建掩码，全初始化为可能的背景
mask = np.zeros(image.shape[:2], np.uint8)

# 创建背景和前景模型
bgdModel = np.zeros((1, 65), np.float64)
fgdModel = np.zeros((1, 65), np.float64)

# 定义矩形，包含前景对象
rect = (150,200, image.shape[1]-100, image.shape[0]-100)

# 应用GrabCut算法
cv2.grabCut(image, mask, rect, bgdModel, fgdModel, 5, cv2.GC_INIT_WITH_RECT)

# 处理掩码，获取最终的前景
mask2 = np.where((mask == 2) | (mask == 0), 0, 1).astype('uint8')
foreground = image * mask2[:, :, np.newaxis]

# 显示结果
cv2.imshow('Foreground', foreground)
cv2.waitKey(0)
cv2.destroyAllWindows()

 （5）floodfill漫水填充分割：

在图像处理中，漫水填充（Flood Fill）算法是一种用于填充连续区域的技术，它在许多应用中都非常有用，如图像分割、区域标记和颜色填充等。OpenCV提供了cv2.floodFill函数来实现这一算法。

基本原理：

漫水填充算法的基本原理是从指定的种子点开始，根据像素值的相似性标准，递归地填充其周围的像素。这个过程一直进行，直到填充了所有符合条件的连续区域。

函数原型：

OpenCV中的cv2.floodFill函数有两种重载形式，一种带掩膜（mask），一种不带掩膜。

函数原型如下：

int cv2.floodFill(InputOutputArray image, InputOutputArray mask,
 Point seedPoint, Scalar newVal, Rect* rect=0, 
Scalar loDiff=Scalar(), Scalar upDiff=Scalar(), int flags=4)

• image：输入输出图像。
• mask：可选的掩膜图像，用于限制填充区域。
• seedPoint：填充开始的位置。
• newVal：填充的新颜色值。
• rect：可选的输出参数，返回填充区域的边界矩形。
• loDiff和upDiff：允许填充的像素值与种子点像素值之间的最大差异。
• flags：操作标志，如cv2.FLOODFILL_FIXED_RANGE或cv2.FLOODFILL_MASK_ONLY。

代码示例：

import cv2
import numpy as np

def floodfill_segmentation(image_path, seed_point, new_color, lo_diff=20, up_diff=20):
    # 读取图像
    image = cv2.imread(image_path)
    
    # 创建掩码，掩码的大小比图像大两个像素
    mask = np.zeros((image.shape[0] + 2, image.shape[1] + 2), dtype=np.uint8)
    
    # 使用floodFill进行填充
    cv2.floodFill(image, mask, seed_point, new_color, loDiff=(lo_diff, lo_diff, lo_diff), upDiff=(up_diff, up_diff, up_diff), flags=4)
    
    # 返回填充后的图像和掩码
    return image, mask

# 示例使用
image_path = "C:\\Users\\86173\\Desktop\\TI\\faves.png"
seed_point = (100, 100)  # 种子点坐标
new_color = (0, 255, 0)  # 新颜色，这里是绿色

filled_image, mask = floodfill_segmentation(image_path, seed_point, new_color)

# 显示结果
cv2.imshow('Filled Image', filled_image)
cv2.imshow('Mask', mask)
cv2.waitKey(0)
cv2.destroyAllWindows()

• 使用cv2.imread函数读取输入图像。掩码的大小比图像大两个像素，用于floodFill算法。使用cv2.floodFill函数进行填充，种子点为seed_point，新颜色为new_color，loDiff和upDiff控制填充的颜色范围。返回填充后的图像和掩码。使用cv2.imshow函数显示填充后的图像和掩码。

（6）分水岭分割法：

        分水岭分割法是一种基于拓扑理论的数学形态学的图像分割方法，其基本思想是将图像看作是测地学上的拓扑地貌，图像中每一点像素的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆，而集水盆的边界则形成分水岭。分水岭的概念和形成可以通过模拟浸入过程来说明，在每一个局部极小值表面，刺穿一个小孔，然后把整个模型慢慢浸入水中，随着浸入的加深，每一个局部极小值的影响域慢慢向外扩展，在两个集水盆汇合处构筑大坝，即形成分水岭。

        分水岭算法的计算过程是一个迭代标注过程，比较经典的计算方法是L. Vincent提出的。在该算法中，分水岭计算分两个步骤，一个是排序过程，一个是淹没过程。

分水岭分割法的原理：

• 图像预处理：将图像转化为灰度图像，并对图像进行高斯模糊，以平滑图像的灰度值分布。
• 梯度计算：对图像进行灰度梯度计算，得到图像的梯度。
• 分水岭计算：通过模拟浸入过程，计算出图像的分水岭，即集水盆的边界。

分水岭分割法的函数：

在OpenCV中，分水岭算法的实现主要通过cv2.watershed函数来完成。该函数需要输入一个标记图像，标记图像中的每个非零像素表示一个种子点，分水岭算法会从这些种子点开始扩展，直到遇到边界为止。

函数原型：

cv2.watershed(image, markers)

参数：

• image：输入图像，必须是8位或32位的3通道图像。
• markers：标记图像，必须是32位整数类型，其中的每个非零值代表一个种子点。

返回值：

• None，但会直接修改markers数组，将其转换为分割后的标记图，其中边界像素被标记为-1。

分水岭分割法的代码示例：

import cv2
import numpy as np

# 读取图像
image = cv2.imread("C:\\Users\\86173\\Desktop\\TI\\faves.png")
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

# 阈值处理
ret, thresh = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)

# 去除噪声
kernel = np.ones((3, 3), np.uint8)
opening = cv2.morphologyEx(thresh, cv2.MORPH_OPEN, kernel, iterations=2)

# 确定背景区域
sure_bg = cv2.dilate(opening, kernel, iterations=3)

# 确定前景区域
dist_transform = cv2.distanceTransform(opening, cv2.DIST_L2, 5)
ret, sure_fg = cv2.threshold(dist_transform, 0.7 * dist_transform.max(), 255, 0)

# 找到未知区域
sure_fg = np.uint8(sure_fg)
unknown = cv2.subtract(sure_bg, sure_fg)

# 标记
ret, markers = cv2.connectedComponents(sure_fg)

# 为所有的标记加1，保证背景是0而不是1
markers = markers + 1

# 现在让所有的未知区域为0
markers[unknown == 255] = 0

# 应用分水岭
markers = cv2.watershed(image, markers)
image[markers == -1] = [255, 0, 0]

# 显示结果
cv2.imshow('Watershed Segmentation', image)
cv2.waitKey(0)
cv2.destroyAllWindows()

• 首先对图像进行预处理，包括阈值处理和去噪声。然后，确定背景和前景的种子点，并使用cv2.connectedComponents函数对前景区域进行标记。接着，将未知区域标记为0，并应用cv2.watershed函数进行分水岭变换。最后，将边界像素标记为蓝色，并显示分割结果。
• 分水岭算法对于图像中的小噪声非常敏感，因此在应用分水岭算法之前，通常需要对图像进行适当的预处理。
• 分水岭算法的关键在于正确地标记种子点，这通常需要根据图像内容进行适当的调整。

 

标签：分割,阈值,python,cv2,笔记,像素,opencv,算法,图像
From： https://blog.csdn.net/The_xz/article/details/142198565