首页 > 编程语言 >【Python&语义分割】Segment Anything(SAM)模型交互式分割+掩膜保存(三)

【Python&语义分割】Segment Anything(SAM)模型交互式分割+掩膜保存(三)

时间:2023-10-17 16:15:24浏览次数:46  
标签:-% 分割 plt 掩膜 Anything image print

我之前分享了Segment Anything(SAM)模型的基本操作,这篇给大家分享下交互式语义分割代码,可以通过鼠标点击目标物生成对应的掩膜,同时我还加入了掩膜保存的代码。

1 Segment Anything介绍

1.1 概况

        Meta AI 公司的 Segment Anything 模型是一项革命性的技术,该模型能够根据文本指令或图像识别,实现对任意物体的识别和分割。这一模型的推出,将极大地推动计算机视觉领域的发展,并使得图像分割技术进一步普及化。

        论文地址:https://arxiv.org/abs/2304.02643

        项目地址:Segment Anything

1.2 使用方法

        具体使用方法上,Segment Anything 提供了简单易用的接口,用户只需要通过提示,即可进行物体识别和分割操作。例如在图片处理中,用户可以通过 Hover & Click 或 Box 等方式来选取物体。值得一提的是,SAM 还支持通过上传自己的图片进行物体分割操作,提取物体用时仅需数秒。

        总的来说,Meta AI 的 Segment Anything 模型为我们提供了一种全新的物体识别和分割方式,其强大的泛化能力和广泛的应用前景将极大地推动计算机视觉领域的发展。未来,我们期待看到更多基于 Segment Anything 的创新应用,以及在科学图像分析、照片编辑等领域的广泛应用。

2 交互式分割代码实现

2.1 用于生成显示掩膜的函数(初始化)

        里面包含三个封装好的函数,一个是生成掩膜(分割的轮廓)的函数,一个是显示标记点(自己选择需要分割的目标)的函数。

def show_mask(mask, ax, random_color=False):
    if random_color:
        color = np.concatenate([np.random.random(3), np.array([0.6])], axis=0)
    else:
        color = np.array([30 / 255, 144 / 255, 255 / 255, 0.6])
    h, w = mask.shape[-2:]
    mask_image = mask.reshape(h, w, 1) * color.reshape(1, 1, -1)
    ax.imshow(mask_image)


def show_points(coords, labels, ax, marker_size=25):
    pos_points = coords[labels == 1]
    neg_points = coords[labels == 0]
    ax.scatter(pos_points[:, 0], pos_points[:, 1], color='green', marker='o', s=marker_size, edgecolor='white',
               linewidth=1.25)
    ax.scatter(neg_points[:, 0], neg_points[:, 1], color='red', marker='o', s=marker_size, edgecolor='white',
               linewidth=1.25)

2.2 交互事件&分割掩膜

        这里在原始单点生成掩膜的基础上加入了鼠标点击的事件,可以实现点击后自动分割该点的目标,同时右键可以清楚当前窗口所有的掩膜。

def select_point(event):
    # 鼠标点击事件
    global predictor, img_raster, image  # 声明全局变量
    if event.button == 1:
        x, y = event.xdata, event.ydata
        input_point = np.array([[int(x),int(y)]])
        # 单点 prompt  输入格式为(x, y)和并表示出点所带有的标签1(前景点)或0(背景点)。
        input_label = np.array([1])  # 点所对应的标签
        masks, scores, logit = predictor.predict(
            point_coords=input_point,
            point_labels=input_label,
            multimask_output=False,  # 为False时,它将返回一个掩码
        )
        # print(masks.shape)  # (3, 2160, 3840)波段,高,宽
        for i, (mask, score) in enumerate(zip(masks, scores)):
            # 三个置信度不同的图
            show_mask(mask, plt.gca())
            img_raster[mask] = 1
            show_points(input_point, input_label, plt.gca())
            print("[%s]坐标:%s,%s已分割完成......" % (datetime.now().strftime('%Y-%m-%d %H:%M:%S'), int(x), int(y)))
    if event.button == 3:  # 如果点击了鼠标右键
        print("[%s]正在清除内容......" % datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
        img_raster = np.zeros((image.shape[0], image.shape[1]))  # 覆盖原来的掩膜,全新的0数组
        plt.clf()  # 清楚所有图形
        plt.imshow(image)  # 显示原始图片
        plt.axis('off')  # 不显示坐标系
    plt.draw()  # 更新窗口中的图片

2.3 基础函数&模型加载

        这里是分割的图片加载、模型加载、参数设置,里面链接了之前的鼠标点击事件,可以整体实现左键点击分割目标,右键删除所有目标。

global predictor, img_raster, image  # 声明全局变量
print("【程序准备阶段】")
print("[%s]正在读取图片......" % datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
image = cv2.imread(image_path)  # 读取的图像以NumPy数组的形式存储在变量image中
print("[%s]正在转换图片格式......" % datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)  # 将图像从BGR颜色空间转换为RGB颜色空间,还原图片色彩(图像处理库所认同的格式)
print("[%s]正在初始化模型参数......" % datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
img_raster = np.zeros((image.shape[0], image.shape[1]))
# 创建一个二维数组,用于保存掩膜做栅格转面
fit = plt.figure(figsize=(15, 15))
plt.imshow(image)
sys.path.append("..")  # 将当前路径上一级目录添加到sys.path列表,这里模型使用绝对路径所以这行没啥用
sam_checkpoint = model_path  # 定义模型路径
model_type = model_type  # 定义模型类型
device = device  # "cpu"  or  "cuda"
sam = sam_model_registry[model_type](checkpoint=sam_checkpoint)
sam.to(device=device)  # 定义模型参数
predictor = SamPredictor(sam)  # 调用预测模型
predictor.set_image(image)
# 调用`SamPredictor.set_image`来处理图像以产生一个图像嵌入。`SamPredictor`会记住这个嵌入,并将其用于随后的掩码预测
print("【单点分割阶段】")
print("[%s]正在分割图片......" % datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
fit.canvas.mpl_connect('button_press_event', select_point)
# 窗口点击事件
plt.axis('off')
plt.show()
print("【结果保存阶段】")
print("[%s]正在保存分割数据......" % datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
driver = gdal.GetDriverByName('GTiff')  # 载入数据驱动,用于存储内存中的数组
ds_result_raster = driver.Create(out_path, image.shape[1], image.shape[0], bands=1, eType=gdal.GDT_Float64)
ds_result_raster.GetRasterBand(1).SetNoDataValue(0)  # 将无效值设为0
ds_result_raster.GetRasterBand(1).WriteArray(img_raster)  # 将结果写入数组

3 实现效果

        这里我选择了多个点,每个点都是通过鼠标左键点击生成的掩膜,单点鼠标右键可以清空整个窗口的所有掩膜。事实上,实现多点、正负点、矩形+负点的交互式操作会大大减少我们的工作量,但我没什么精力所以就没往后继续写了。大家如果有兴趣可以自己去实现,然后分享给我(手动偷笑)。

标签:-%,分割,plt,掩膜,Anything,image,print
From: https://www.cnblogs.com/RSran/p/17769925.html

相关文章

  • 代码随想录算法训练营-动态规划-3-(0-1背包问题)|416. 分割等和子集、1049. 最后一块石
    416.分割等和子集01背包的递推公式为:dp[j]=max(dp[j],dp[j-weight[i]]+value[i]);如果dp[j]==j说明,集合中的子集总和正好可以凑成总和j,理解这一点很重要。1classSolution:2defcanPartition(self,nums:List[int])->bool:3_sum=......
  • Shell(五):文件的排序、合并和分割
    Linux文本处理命令是Shell编程中的常用命令,文本处理包含对文件记录的排序、文件的合并和分割等。1、sort命令sort命令是一种对文件排序的工具,sort命令将输入文件看做由多条记录组成的数据流,而记录由可变宽度的字段组成,以换行符作为定界符。sort命令,可将记录分成多......
  • 【Python&语义分割】Segment Anything(SAM)模型全局语义分割代码+掩膜保存(二)
    ​ 我上篇博文分享了SegmentAnything(SAM)模型的基本操作,这篇给大家分享下官方的整张图片的语义分割代码(全局),同时我还修改了一部分支持掩膜和叠加影像的保存。1SegmentAnything介绍1.1概况        MetaAI公司的SegmentAnything模型是一项革命性的技术,该模型能......
  • 【Python&语义分割】Segment Anything(SAM)模型详细使用教程+代码解释(一)
    ​1SegmentAnything介绍1.1概况        MetaAI公司的SegmentAnything模型是一项革命性的技术,该模型能够根据文本指令或图像识别,实现对任意物体的识别和分割。这一模型的推出,将极大地推动计算机视觉领域的发展,并使得图像分割技术进一步普及化。    论文......
  • 【Python深度学习】目标检测和语义分割的区别
    ​        在计算机视觉领域,语义分割和目标检测是两个关键的任务,它们都是对图像和视频进行分析,但它们之间存在着明显的区别。本文将通过图像示例,详细阐述语义分割和目标检测之间的差异。一、基本概念        1.1语义分割(SemanticSegmentation)      ......
  • 【Python&语义分割】语义分割的原理及常见模型的介绍
    1概述        语义分割是计算机视觉中的重要任务之一,其目的是将图像中的每个像素分配给特定的类别,从而实现对图像的精细分割。与目标检测不同,语义分割并不需要对物体进行位置和边界框的检测,而是更加注重对图像中每个像素的分类。随着深度学习的兴起,语义分割得到了广泛......
  • 【Python&语义分割】Segment Anything(SAM)模型介绍&安装教程
    ​1SegmentAnything介绍1.1概况        MetaAI公司的SegmentAnything模型是一项革命性的技术,该模型能够根据文本指令或图像识别,实现对任意物体的识别和分割。这一模型的推出,将极大地推动计算机视觉领域的发展,并使得图像分割技术进一步普及化。    论......
  • 基于HSV空间的彩色图像分割技术
    1.引言每当我们看到图像时,它通常都是由各种元素和目标组成的。在某些情况下,我们可能会想要从图像中提取某个特定的对象,大家会怎么做?首先我们会想到的是进行crop相关的操作,这在某种程度上是可行的,但是这通常也会有一些不相关的像素会被包括在内,我确信大多情况下我们不希望这样。事......
  • C# OpenVino Yolov8 Seg 分割
    效果 项目代码usingSystem;usingSystem.Collections.Generic;usingSystem.ComponentModel;usingSystem.Data;usingSystem.Drawing;usingSystem.Linq;usingSystem.Text;usingSystem.Windows.Forms;usingOpenCvSharp;namespaceOpenVino_Yolov8_Demo{publi......
  • openvino道路分割
    我这里仅显示道路和车道线1mask=np.zeros((hh,ww,3),dtype=np.uint8)2mask[np.where(res>0)]=(0,255,0)#路面3mask[np.where(res>1)]=(255,0,0)#车道线 模型的下载还是老方法AccuracyThequalitymetricscalculatedon500imagesfrom"Might......