首页 > 其他分享 >【人脸伪造检测后门攻击】 Exploring Frequency Adversarial Attacks for Face Forgery Detection

【人脸伪造检测后门攻击】 Exploring Frequency Adversarial Attacks for Face Forgery Detection

时间:2024-11-07 22:41:43浏览次数:1  
标签:伪造检测 PGD Exploring 攻击 模型 FGSM 频域 Forgery 图像

一、研究动机

​ 现有的后门攻击方法生成的对抗样本容易被识别,只是在空间域增加了扰动。为此,作者提出了一种频率对抗性攻击的方法,在频域中增加了对抗性的扰动DCT,接着利用融合模块对不同频段的能量进行微调,有效的避免了在空间范围攻击的冗余噪声:FGSM, PGD,最终通过逆变换生成对抗样本。

[!NOTE]

关键点:空间域和频率域混合攻击,元学习实现交替式的混合攻击学习

攻击模型优点:隐藏在频带中,不易于被发现

模型缺点: 黑盒攻击存在过拟合现象

[!TIP]

可学习的点

  • 低频区域与占大部分能量的图像内容有关,而高频区域与图像的边缘和纹理信息有关。
  • 与真脸相比,假脸在高频区域显示出更多的能量

二、模型方法

[!NOTE]

  • FUNSION MODULE:修正频域中的能量
  • \(L_p-norm\) :约束分布 (对比其他模型是通过最小化扰动)
  • 基于频域的模型攻击
    image

  • 混合模式攻击

三、数据与模型

  • 对比的攻击模型:FGSM, PGD
    • 基础模型框架:EfficientNet b4, ResNet 50, XceptionNet,F3-Net,LRL
  • 数据:DFDC:随机选取1000张假图

FaceForensics++:从四种算法中选取 560张假图(140 \(\times\) 4)

  • 评价指标:攻击成功率:攻击成功的图像在所有被分类为假人脸的图像中所占的比例
  • 攻击图像的指标:MSE, PSNRand SSIM
  • 图像输入大小 320 $\times$320 $\times$3
  • PGD模作为混合攻击模式下的空间攻击

四、实验

  • 在三个基础空间域检测模型(DFDC, FaceForensics++)的攻击实验

由于Eff b4和Xcep之间结构的明显差异,两个网络之间的对抗性攻击相互之间的可转移性有限。

image

  • 消融实验

image

  • 频域模型的攻击实验
    image

  • 图像生成结果及评价
    image

image

参考文献

  • 对抗模型:

标签:伪造检测,PGD,Exploring,攻击,模型,FGSM,频域,Forgery,图像
From: https://www.cnblogs.com/DLShark/p/18534156

相关文章

  • 【AIGC人脸生成的后门攻击】 Is It Possible to Backdoor Face Forgery Detection wit
    [!CAUTION]本篇论文主要是关于AIGC生成人脸的后门攻击,与换脸技术的后门攻击有差异,因此本篇文章主要研究trigger的生成部分,后面的实验部分不加以研究。一、研究动机​ 目前的后门攻击模型还比较简单,是基于数字像素上的操作,例如增加噪声或者像素补丁,这些攻击已经有很多backd......
  • 【backdoor attack】 POISONED FORGERY FACE: TOWARDS BACKDOOR ATTACKS ON FACE FORG
    一、研究动机​ 虽然目前在图像识别任务中有许多有效后门攻击方法,直接扩展到人脸伪造检测领域却存在着一定的问题,例如存在一些伪造人脸检测的算法(SBI,FaceX-ray)是通过真实图像合并转换为负样本进行模型训练的,这种情况下会导致:Backdoorlabelconflict[!NOTE]存在原因:对真实......
  • Exploring Qualcomm IPQ5332 and IPQ5322: The Champions of WiFi 7 Solutions
    AsWiFi7technologyrapidlyadvances,Qualcomm'sIPQ5332andIPQ5322chipshaveemergedaspopularchoicesforusers.Thesetwochipsnotonlyexhibitoutstandingperformancebutalsopossessuniquefeaturestailoredtodifferentnetworkrequirement......
  • Exploring the Nexus of Large Language Models and Legal Systems: A Short Survey
    本文是LLM系列文章,针对《ExploringtheNexusofLargeLanguageModelsandLegalSystems:AShortSurvey》的翻译。探索大型语言模型与法律制度的联系:一个简短的调查摘要1引言2大型语言模型在法律任务中的应用3不同国家和地区的微调大型语言模型4大型语言......
  • Exploring Large Language Models and Hierarchical Frameworks for Classification o
    本文是LLM系列文章,针对《ExploringLargeLanguageModelsandHierarchicalFrameworksforClassificationofLargeUnstructuredLegalDocuments》的翻译。探索大型非结构化法律文件分类的大型语言模型和层次框架摘要1引言2相关工作3方法:分类框架(MESc)4结......
  • Non-stationary Transformers: Exploring the Stationarity in Time Series Forecasti
    文章目录摘要1引言2相关工作2.1时间序列预测的深度模型2.2时间序列预测的平稳化3非平稳变压器3.1序列平稳化3.2去平稳化注意力核心思想数据平稳化自注意力机制中的去平稳化操作具体流程为什么需要去平稳化操作总结为什么最终预测结果还要进行去平稳化调整后的......
  • [ICML2022]Open-Sampling Exploring Out-of-Distribution Data for Re-balancing Long
    引入开集样本训练模型有点像dropout,“破坏”某些模型参数防止尾部类的过拟合Motivation长尾学习中的训练数据集分布不平衡的问题,解决方法之一是重采样。重采样主要对于尾部类重复采用,但这种做法往往会导致尾部类的过拟合。为了缓解过拟合[2](Rethinkingthevalueoflabelsf......
  • [论文笔记] Conversing with Copilot: Exploring Prompt Engineering for Solving CS1
    Abstract:Copilot及其他辅助编程的人工智能模型被广泛使用,这篇文章探索了Copilot在哪些任务上表现不佳,prompt在过程中的作用等几个问题。Introduction:Question1:Copilot在CS1programmingproblems上的表现如何?Question2:当Copilot最初失败后,prompt的修改如何......
  • UVA1362 Exploring Pyramids 题解
    题目传送门前置知识欧拉序|区间DP|乘法原理解法DFS序可近似理解为欧拉序,故考虑区间DP。设\(f_{l,r}\)表示\([l,r]\)对应的二叉树的个数,状态转移方程为\(f_{l,r}=\begin{cases}1&l=r\\[s_{l}=s_{r}]\times\sum\limits_{i=l+2}^{r}[s_{l}=s_{i}]\timesf_{......
  • GEE C13 Exploring Image Collections 影像集详解
     一、筛选和检查影像集1.1代码1//Definearegionofinterestasapointinhaikou,hainan.2//varhkPoint=ee.Geometry.Point(110.3207,20.04713);定义一个点的时候,先经度后纬度。3varhkPoint=geometry2;4//Centerthemapatthatpoint.5Map......