首页 > 其他分享 >Score-CAM: Score-Weighted Visual Explanations for Convolutional Neural Networks论文阅读笔记

Score-CAM: Score-Weighted Visual Explanations for Convolutional Neural Networks论文阅读笔记

时间:2023-03-01 11:12:36浏览次数:38  
标签:Convolutional Weighted 置信度 Score CAM 归一化 Networks

摘要

作者提出了一种不依赖梯度的类激活图生成方法Score-CAM,其通过前向传播获取每一个激活图的权重。实验证明Score-CAM能在解释决策过程方面实现更好的视觉性能和公平性。

方法

不同于之前的方法,作者将置信度增量纳入重要性的计算。置信度增量定义如下:
\(c_i=f(X_b◦H_i)-f(X_b)\),其中\(X_b\)是长度为n的向量,\(H_i\)和\(X_b\)大小相同且除了第i个位置为1其他位置的值都为0,最终得到的\(c_i\)就是第i个位置的贡献。更进一步,通道维度的置信度增量定义如下:

\(C(A_l^k)=f(X◦H_l^k)-f(X_b), H_l^k=s(Up(A_l^k))\)

其中l为网络中的某个卷积层,k代表第k个通道,s为归一化函数。注意这里的\(X_b\)是baseline(作者使用的是全黑图像,因此在代码中可以忽略)。

截屏2023-02-28 16.52.18

方法的整体流程是,对于类别c,首先得到最后一层输出的n个特征图,之后遍历这些特征图,将其插值到原图大小,归一化后与输入图像做点乘,送入网络计算属于c的概率,将这个概率作为权重与当前的特征图相乘,最后求和就得到了最终的CAM。

截屏2023-03-01 10.54.13

实验

相比于Grad-CAM,Score-CAM可以定位多个目标,且能捕捉到更加重要的特征。

截屏2023-03-01 10.56.42

截屏2023-03-01 10.57.23

截屏2023-03-01 10.57.39

标签:Convolutional,Weighted,置信度,Score,CAM,归一化,Networks
From: https://www.cnblogs.com/lipoicyclic/p/17167378.html

相关文章