01、为什么要用大数据技术进行安全分析？

转载公众号《微言晓意》，仅用于个人学习

关于安全运营系列文章，在2020年10月份写了篇《安全运营的定义与核心目标》，算是开了个头。后面几个月由于精力不够，内容方向也没有想清楚，就一直没有继续写。

安全运营的范围太大了，还是觉得需要把方向聚焦下。所以我选择了在安全运营领域比较重要，同时自己又比较熟悉的大数据安全分析方向。这样写起来会比较容易些，内容也会比较具体、务实。

如今大数据技术已经相当普及，在网络安全领域也是应用的越来越广泛，更是成为了安管平台的标配。

那么，为什么要用大数据技术进行安全分析呢？在我看来大数据技术具备以下三个优势

首先，可以海量数据存储。

随着信息化与网络安全建设的发展，企业的信息系统、安全设备越来越多，所产生的告警、日志等安全数据也呈爆发式增长，传统安全分析技术一直无法解决海量数据的实时处理与海量存储的问题。

传统关系型数据库的数据处理效率在3000EPS左右，而大数据分布式架构下可以将每秒数据处理效率提高15倍以上。同时可以通过灵活扩展，解决海量数据存储扩容成本高的问题。

其次，可以提高查询速度。

数据查询的范围，是以数据存储能力为前提的，而实时的计算能力则是数据可以任意查询的基础保障。比如希望查询时间跨度为6个月数据，首先要能做到可以存储6个月的数据量，并且能够支持任意查询的处理速度。

传统关系型数据库查询1TB、时间跨度为6个月的数据，可能需要以小时为单位计算，而大数据分布式架构下能够达到秒级响应。如果单个节点有效数据不超过2TB，在优化好的基础上可以做到2秒完成任何数据查询。

最后，可以降低开发成本。

在传统技术架构下，涉及到数据分析类系统的开发，需要进行详细数据结构设计，不设计好数据结构是无法完成开发任务的，如果功能变化，可能需要重新设计数据架构。

这样不但增加了开发成本，还可能由于数据结构无法更改，导致系统功能无法实现。而在大数据分布式架构下，数据是可以任意查询、检索与计算的，增加了功能不需要改变数据结构。这样不但降低了开发的成本，还缩短了开发的周期。