论文阅读_基于深度学习的异常检测综述

英文题目：Deep Learning for Anomaly Detection: A Review
中文题目：基于深度学习的异常检测综述
论文地址：https://arxiv.org/pdf/2007.02500.pdf
领域：异常检测，深度学习
发表时间：2020.01
作者：Guansong Pang，阿德莱德大学
被引量：697（谷歌学术）
代码和数据：见论文附录A
阅读时间：2022.11.05

读后感

本篇解读的论文发表于2020年，主要介绍基于深度学习的异常检测技术，可作为2009年发表的那篇高引的传统异常检测综述的互补。前三章主要是相关问题和挑战（1-3章）。从第四章开始总结了近年来深度异常检测的具体方法，共3大分类（4-6章），11个小分类。分别对关键直觉，目标函数，基本假设，优势劣势，及应对挑战方法进行讨论。最后讨论了未来的机会，还提供了大量文献列表和训练数据集，实用性强。本文旨在做一个二十分钟左右的简单的导读。

1. 介绍

异常检测被定义为：检测明显偏离大多数数据的数据实例。早期技术涉及：数据挖掘、机器学习、计算机视觉和统计学，近年来深度学习在多维数据、时间数据、空间数据和图数据都表现出巨大提升，深度学习异常检测是使用神经网络学习特征表征和异常得分。

本篇主要贡献如下：

• 问题和挑战：提出问题的复杂性和挑战。
• 归类和方法：将目前深度学习异常检测分为3大类11小类，并逐一介绍。
• 文献回顾：回顾了大量会议和期刊的文献，通过关键直觉，目标函数，基本假设，优势劣势，挑战几个方面进行分析。
• 未来的机会：讨论了未来机会和挑战
• 源码和数据集：收集了大量源代码和数据集。

2. 问题复杂性和挑战

2.1 复杂性

异常检测问题的复杂性主要包含以下几方面：

• 不可知性：异常在发生前常是未知的，且每种异常表现可能不同（异质性）。
• 稀有性和类别不平衡：异常数据占比小，难以收集，标注；正常与异常分布不均衡。
• 异常类型多样：点异常，上下文异常（只在特点背景下才是异常），集体数据异常（整体是异常的，但其中点可能正常）。

2.2 主要挑战

下面问题大多未被很好解决，而深度学习方法可能发挥作用。

• CH1 异常检测召回率（查全率）低：分布不均衡引发召回率低，需要尽量减少误报，同时增加召回率。
• CH2 高维和非独立数据的异常检测：对于高维空间，常先把特征映射到低维空间，再检测，如何在映射中保留足够信息供下游任务使用；另外还需要处理时间、空间、图等相互依赖的关系。
• CH3 正常和异常数据的使用效率：异常数据很难标记，更多时间要处理无监督和半监督数据，无监督学习往往需要依赖对数据分布的假设。另外，弱监督是指只有部分不完整的异常标签（不包含所有异常类别），且可能是不精确的。
• CH4 抗噪声异常检测：需要处理标注错误的实例（即噪声）与异常数据，更好地利用标注数据。
• CH5 检测复杂的异常：上下文异常和集体异常需要进一步处理；另外，还需要对多个异质数据源的异常，如：多维数据、图像、文本、音频等数据（关联异常）。
• CH6 异常的解释：在有些领域不能把模型作为黑盒使用，它可能带来对少数群体的偏见（比如种族偏见），需要利用解释算法提供决策的原因，以便纠正偏见。尤其对于复杂的模型。

相对来说深度方法能进行端到端的优化，且能学到专门的表征（隐藏层输出），提升数据利用率，能处理更复杂的数据（如文本，视频，图像等），目前已有成熟的多种框架，相对传统方法更有优势。

3. 使用深度学习异常检测

3.1 预备工作

跳过一些神经网络的基本原理介绍。
深度网络可学习更好地表征数据。设为X原始空间中的数据集，学习一个映射X->Z，将其映射到表示空间，在表示空间中更容易区分正常和异常数据。异常检测目标是学习映射函数或者学习异常得分函数（异常得分越高，越可能异常）。

3.2 深度异常检测分类

文章将深度学习异常检测分为3大类11小类。

三大类分别是：提取特征的学习(一个子类），标准化的特征表示（两个小类，七个子类），端到端的学习（四个子类）。

4. 深度学习的特征提取

该方法从高维提取低维数据表示z =