首页 > 其他分享 >【论文笔记】用于遥感图像语义分割的几何边界引导特征融合与空间-语义上下文聚合技术

【论文笔记】用于遥感图像语义分割的几何边界引导特征融合与空间-语义上下文聚合技术

时间:2024-02-07 12:12:32浏览次数:27  
标签:聚合 边界 特征 语义 融合 遥感 上下文

作者: Yupei Wang
发表年代: 2023
使用的方法: 边界指导、上下文聚合
来源: IEEE TIP
方向: 语义分割
期刊层次: CCF A;计算机科学1区;IF 13.3

文献链接:

https://doi.org/10.1109/TIP.2023.3326400
Wang Y, Zhang H, Hu Y, et al. Geometric boundary guided feature fusion and spatial-semantic context aggregation for semantic segmentation of remote sensing images[J]. IEEE Transactions on Image Processing, 2023.


摘要:

要解决什么问题?

(1)目前的方法将多级特征融合和边界引导视为两个独立的任务,导致了次优解。
(2)遥感图像类内差异大、类间可分性低,目前的方法往往无法准确地聚合长程上下文线索。

工作:

(1)边界指导多级特征融合模块:将边界引导无缝地结合到多级特征融合操作中。
(2)基于几何相似性的边界损失函数:进一步有效地加强边界指导。
(3)基于通道相关性的空间语义上下文聚合模块:有效地聚合上下文线索。
(4)再在 ISPRS Vaihingen 和高分二号数据集上进行的大量定性和定量实验结果证明了该方法的有效性。


网络结构:

1. 网络整体结构


『边缘指导的多级特征融合』和『通道相关性指导的空间-语义上下文聚合』

2. 边界指导的多级特征融合模块

该模块下面有 2 个子模块:边界感知特征学习和边界指导特征融合。

  • 边界感知特征学习:有监督,边缘标签。把主干网络的特征融合到一起,和边缘正确标注(ground truth edge)

  • 边界指导特征融合:将多级边界感知特征与主干的最高级特征融合。

  • \(x_i ∈ R ^{C_i \times H_i \times W_i}, i=1,2,3,4\) 是主干网络的第 \(i\) 层特征

  • \(F_{e_i}\) 表示第 \(i\) 个阶段的元素总和,它在 ground truth edge 的监督下学习边界特征

  • \(\hat{F}_{edge}∈R ^{C_B\times H_B \times W_B}\) 边界感知特征 \(\text{reshape}→\) \(M^{C_B\times N_B},N_B = H_B \times W_B\)

  • 像素相关系数矩阵:

  • 3D 特征 \(x_4\) 经 \(1\times 1\text{Conv}\) 变成 2D 特征 \(x_{4}'\) ,边界感知特征 \(F_{EA}\) 中的每个元素是增强的边缘感知特征和高级语义特征的相关值。

  • 在计算 \(F_{BFF}\) 时,引入原始特征 \(x_{4}\) ,一定程度上补偿了特征信息的损失

    \(L_{GEO}+L_{edge\_CE}=L_{edge}\) 约束边界感知特征的学习

\(L_{seg}\) 监督分割预测的学习

3. 通道相关性指导的空间语义上下文聚合

  • 空间上下文矩阵 \(M_{SC}\) :在通道语义相关性的监督下,空间上下文的聚合可以通过空间像素和语义类别之间的交互来实现

  • 3D 重新校准矩阵 \(F_{SS}\) 的每个元素都是指空间域中的像素空间上下文和语义类别维度中的通道相关性得分之间的聚合空间语义上下文,从而实现有效的空间语义上下文聚合。

  • 训练损失:\(L_{seg}\) 监督分割预测,\(L_{edge}\) 监督边缘预测。\(\lambda _1 = 1, λ_2 = 30, λ_3 = 5\)


实验:

1. 消融实验

CSCA:空间语义上下文聚合;BMFF:多级特征融合;\(L_{GEO}\) :基于几何相似性的边界损失函数


消融实验可视化

2. 和最先进的方法对比


在 ISPRS Vaihingen 数据集上的对比

在 GaoFen-2 数据集上的对比

标签:聚合,边界,特征,语义,融合,遥感,上下文
From: https://www.cnblogs.com/xing9/p/18010776/GBGFF-SSCA

相关文章

  • go-carbon v2.3.8 发布,轻量级、语义化、对开发者友好的 golang 时间处理库
    carbon是一个轻量级、语义化、对开发者友好的golang时间处理库,支持链式调用。目前已被awesome-go收录,如果您觉得不错,请给个star吧github.com/golang-module/carbongitee.com/golang-module/carbon安装使用Golang版本大于等于1.16//使用github库goget-ugithu......
  • 上下文切换(context switch)
    上下文切换(contextswitch)1、平均负载高CPU使用率高I/O使用率低---->原因:计算密集型(CPU使用密集)2、平均负载高CPU使用率低I/O使用率高---->原因:I/O密集型3、平均负载高CPU使用率低I/O使用率高多进程iowait较高---->原因:大量进程挤占多个进程竞争......
  • Mygin上下文之sync.Pool复用
    本篇是mygin的第七篇,参照gin框架,感兴趣的可以从Mygin第一篇开始看,Mygin从零开始完全手写,在实现的同时,带你一窥gin框架的核心原理实现。目的sync.Pool的作用介绍mygin中使用sync.Poolsync.Pool的作用先看看官方文档怎样说的吧,我截取了官方文档的第一句。//APoolisa......
  • Mygin中间件优化及sync.Pool上下文复用
    本篇是mygin的第六篇,参照gin框架,感兴趣的可以从Mygin第一篇开始看,Mygin从零开始完全手写,在实现的同时,带你一窥gin框架的核心原理实现。目的中间件Middleware优化默认log日志中间件在上篇Mygin实现中间件Middleware中间件Middleware很生硬,完全依赖循环,如果某个中间件想要c......
  • Easysearch:语义搜索、知识图和向量数据库概述
    什么是语义搜索?语义搜索是一种使用自然语言处理算法来理解单词和短语的含义和上下文以提供更准确的搜索结果的搜索技术。旨在更好地理解用户的意图和查询内容,而不仅仅是根据关键词匹配,还通过分析查询的语义和上下文来提供更准确和相关的搜索结果。传统的关键词搜索主要依赖于对关键......
  • 史上最全知识图谱建模实践(上):本体结构与语义解耦
    在“无需复杂图谱术语,7个原则搞定Schema建模”一文中,我们总结了知识建模最佳实践的7个指导原则。本文中,我们将分基础篇、进阶篇,针对不同业务场景的建模需求,由浅及深讲解基于SPG的知识建模的方法和案例,并涉及术语的解释。本文档所提出的建模方案,已经在OpenSPG做了对应的能力支持实现......
  • Easysearch:语义搜索、知识图和向量数据库概述
    什么是语义搜索?语义搜索是一种使用自然语言处理算法来理解单词和短语的含义和上下文以提供更准确的搜索结果的搜索技术。旨在更好地理解用户的意图和查询内容,而不仅仅是根据关键词匹配,还通过分析查询的语义和上下文来提供更准确和相关的搜索结果。传统的关键词搜索主要依赖于对......
  • go-carbon v2.3.7 发布,轻量级、语义化、对开发者友好的 golang 时间处理库
    carbon是一个轻量级、语义化、对开发者友好的golang时间处理库,支持链式调用。目前已被awesome-go收录,如果您觉得不错,请给个star吧github.com/golang-module/carbongitee.com/golang-module/carbon安装使用Golang版本大于等于1.16//使用github库goget-ugithu......
  • 17、std::move和移动语义详解
    概述std::move是C++标准库中的一个函数模板,用于将一个左值(左值引用)转化为右值引用,从而实现移动语义。移动语义是一种可以将资源(如内存)从一个对象转移到另一个对象的方式,而不是进行资源的复制。移动操作通常比复制操作更高效,对于大型的对象(如容器、字符串等)可以带来很大的......
  • go-carbon v2.3.6 发布,轻量级、语义化、对开发者友好的 golang 时间处理库
    carbon是一个轻量级、语义化、对开发者友好的golang时间处理库,支持链式调用。目前已被awesome-go收录,如果您觉得不错,请给个star吧github.com/golang-module/carbongitee.com/golang-module/carbon安装使用Golang版本大于等于1.16//使用github库goget-ugithu......