Deep Models Under the GAN: Information Leakage from Collaborative Deep Learning GAN下的深度模型：信息泄露黑盒攻击

最近要看一些推理攻击的内容，把看过的都放过来吧
Deep Models Under the GAN: Information Leakage from Collaborative Deep Learning
GAN下的深度模型：协作深度学习的信息泄漏
ACM CCS 2017

文章目录

• 一、论文信息
• • 1. 题目
  • 2. 作者
  • 3. 期刊年限
  • 4. 关键词
• 二、背景
• 三、创新
• 四、方法
• • 4.1. 有关DP地方
  • 4.2 威胁模型
  • • • 4.2.1 对手作为隐私保护协作深度学习协议的内部人员
      • 4.2.2 攻击者的目标是推断出有关他不拥有的标签的有意义的信息。
      • 4.2.3 对手不会破坏收集参数并将参数分发给参与者的中央参数服务器。
      • 4.2.4 对手很活跃，直接操纵数值并在本地构建 GAN。遵循受害者所认为的协议规范，对手轮流遵循参数选择程序，按照事先约定上传和下载正确的梯度量，并按照协作学习过程的要求混淆上传的参数。
      • 4.2.5 假设所有参与者事先就共同的学习目标达成一致，意味着对手了解模型结构，特别是其他client的数据标签。
      • 4.2.6 与模型反演中的静态对手不同，文章对手可在学习过程中自适应并实时工作， 对手将能通过共享特制的梯度来影响其他参与者，诱骗client泄露更多有关其本地数据的信息
  • 4.2 攻击模型
• 五、实验部分
• • 5.1 数据集
  • 5.2 攻击伪代码

一、论文信息

1. 题目

Deep Models Under the GAN: Information Leakage from Collaborative Deep Learning
GAN下的深度模型：协作深度学习的信息泄漏

2. 作者

Briland Hitaj、Giuseppe Ateniese、Fernando Perez-Cruz
史蒂文斯理工学院

3. 期刊年限

• ACM CCS
• 网安TOP
• 2017

4. 关键词

Collaborative learning; Security; Privacy; Deep learning

二、背景

1. 深度学习存在严重的隐私问题，因为训练后的模型包含了有关训练集的基本信息
2. 基于联邦学习：数据不动模型动的特点，认为分散的client对数据隐私更加友好，并且共享模型参数时加入扰动也会收敛
3. GAN 的目标是生成与训练集中的样本相似的样本，且无需访问原始样本

三、创新

• 在协作环境中提出并实现一类针对深度神经网络的新型主动推理攻击，方法比现有的黑盒或白盒信息提取机制更有效：

1. 设计了一种基于 GAN 的分布式深度学习新攻击方法
2. 攻击比当前的信息提取机制更通用、更有效
3. 在FL中引入欺骗的概念，对手欺骗受害者发布有关敏感数据的更准确信息
4. 当通过差分隐私混淆参数时，设计的攻击也是有效的

四、方法

4.1. 有关DP地方

1. 文章攻击并不违反差分隐私（DP），它的定义是为了保护数据库
2. 在FL中，DP 被应用于模型的参数，在样本级别和client级别设置粒度。 然而，一旦模型变得准确，添加到学习参数中的噪声最终必须被包含在内
3. 只要模型能够准确地对一个类进行分类并生成该类的代表，我们的攻击就会起作用。

4.2 威胁模型

• 对手假装是协作深度学习协议的诚实参与者，但试图提取不拥有的一类数据的信息。
• 对手还会暗中影响学习过程，欺骗受害者透露有关目标课程的更多详细信息。
• 这种对抗性影响使我们的攻击比仅对最终训练模型应用模型反转攻击更有效，攻击适用于更通用的学习模型，包括模型反转攻击众所周知无效的模型（CNN等）

4.2.1 对手作为隐私保护协作深度学习协议的内部人员

4.2.2 攻击者的目标是推断出有关他不拥有的标签的有意义的信息。

4.2.3 对手不会破坏收集参数并将参数分发给参与者的中央参数服务器。

4.2.4 对手很活跃，直接操纵数值并在本地构建 GAN。遵循受害者所认为的协议规范，对手轮流遵循参数选择程序，按照事先约定上传和下载正确的梯度量，并按照协作学习过程的要求混淆上传的参数。

4.2.5 假设所有参与者事先就共同的学习目标达成一致，意味着对手了解模型结构，特别是其他client的数据标签。

4.2.6 与模型反演中的静态对手不同，文章对手可在学习过程中自适应并实时工作， 对手将能通过共享特制的梯度来影响其他参与者，诱骗client泄露更多有关其本地数据的信息

4.2 攻击模型

1. 受害者有a和b类，训练模型
2. 对手只有 b 类，所以，使用标签 c 和 GAN 来欺骗受害者释放有关 a 类的信息
3. 这种攻击很容易地推广到多个类别和用户。 对手甚至不需要从任何真实的样本开始
4. 看右边 伪代码，其实也就是在联邦的过程中，在client接收了server参数，准备训练前，通过GAN网生成一些有a类的数据，拿着新产生的数据和旧的真实数据，一起本地训练，上传参数给server

五、实验部分

5.1 数据集

MNIST、Olivetti dataset

5.2 攻击伪代码