深度发现：数据智能之路

本文译自博文《Discovery-In-Depth: The Path To Data Intelligence》By莎拉·霍斯佩尔霍恩。

数据发现是所有数据管理的基本要素：从网络安全到数据隐私再到数据治理。数据发现是数据智能、洞察力和分析的核心——既需要可扩展性也需要自动化才能成功处理机构收集的各种类型的大量数据。

有效的（和可持续的）隐私、安全和治理计划需要深度发现：使机构不只是限于对数据表面的理解。这意味着不仅可以更准确地发现和识别更多类型的敏感数据和个人数据，而且能够将上下文、洞察力和判断力应用于这些数据——这将有助于为政策制定和防护措施提供信息支撑。

仅能够识别正则表达式和常见类型的敏感数据（如信用卡号或身份证）已经不够了，CCPA 和 GDPR 等隐私法规已经改变了个人数据的定义——将其扩展到更广泛的数据集，涉及到地理位置、昵称、在线活动等信息。

与早期的法规不同，如今的数据隐私计划侧重于与个人相关的数据，这意味着数据发现解决方案不仅需要能够按类型识别个人数据，还需要从上下文线索和与其他数据点的关系中识别个人数据。此外，机构现在不仅负责保护这些数据，还负责监控和报告数据是谁的，来自哪里以及去向。

围绕隐私的数据发现是数据隐私安全和网络安全的必要条件，需要多管齐下的策略来识别机构中所有类型的敏感数据和个人数据——这个策略就是从深度发现开始。

深度发现：它是如何运作的

BigID 利用深度发现来提供深度数据智能，结合多种发现模式和敏感数据周围的上下文。通过应用机器学习和相关性，机构可以更准确地识别个人和敏感数据，并且可以理解数据上下文和关系（而不是孤立地观察一个数据点）。

深度发现方法的第一层是能够通过正则表达式 (RegEx) 发现和识别敏感数据：这些通常是定义特定模式的字符序列。这是一种围绕模式匹配并了解您要查找的敏感数据的确切格式的技术：从银行帐号到电子邮件地址格式再到 ID 号的传统标识符。 BigID 在这种方法的基础上更进一步，包括常见的安全属性，如显式密码、加密私钥、安全令牌等。

下一层更广泛：发现传统上更难以定义的个人信息 (PI)，如出生日期、投票趋势、名字、姓氏、居住地等信息。机器学习技术和基于上下文的分类器能够发现此类数据——发现和清点更广泛的个人和敏感数据集。

最重要的是，深度数据发现需要一种基于身份和实体的方法：揭示数据关系、身份、推断数据和关联数据。通过增加相关性，组织不仅能够发现暗数据，而且能够揭示敏感数据之间的关系——推断新的数据属性并将可见性扩展到他们收集的所有敏感数据和个人数据。

如何实现深度发现

BigID 通过 4 C实现深度发现：目录(Catalog)、分类(Classification)、聚类分析(Cluster analysis)和关联(Correlation)——所有这些都以隐私为中心协同工作，围绕个人和敏感数据获取丰富的上下文，实现无与伦比的数据发现。

● 目录：通过深入的数据洞察，结合活跃元数据和分类，自动编目并映射敏感数据和个人数据，获得更近一步的隐私、安全性和业务洞察力。

● 分类：按类型、身份、属性、模式、目录和策略对数据进行分类。 BigID 超越正则表达式（RegEx），应用不同层面的分类，识别和分析更多的属性。

● 聚类分析：利用聚类分析快速准确地识别文件内容和类型，并标记数据集用于策略的制定和执行。聚类分析是一种机器学习技术，能以结构化的方式处理大批量的非结构化数据。

● 相关性：将上下文添加到数据分类以及数据点之间的表面关系中，构建身份及其画像，关联数据是谁的，并透视数据是如何跨数据源互连的。

BigID赋能组织机构了解他们的数据，并将隐私、保护和洞察施予这些数据。深度发现方法提供了对敏感数据的 360° 可见性，以及覆盖所有数据类型、所有数据源的数据智能化。

作为流动数据全息可视化的引领者，全息网御始终坚持数据深度识别的原则，提出了“网络全息图”的概念，基于时间维度之上，把数据与其使用者、应用系统及操作设备进行深度关联，挖掘数据基因，展示数据之间相互全息的对应内在关联。

在数字空间一切数据活动都具有时空四维全息性，围绕数据活动全生命周期，数据链路上的所有过程、时间与空间，都存在着相互全息的对应关系；每一部分中都包含着其它部分，同时它又被包含在其它部分之中。“数据影像”的立体感不是全息唯一的特殊之处，“数据全息图”中的每一小部分都包含着整个数据活动的完整影像。如果把某个由全息相片式结构组成的数据活动“解剖”开来，我们不会得到部分，而会得到较小的整体。

本质上，全息网御提出的数据全息关联是几何意义上的多维度，全息关联为我们观察数据要素世界引出一个全新的视角，经历一番思考，你会发现，原来在数字的世界里竟是这样的：“世界”的每个局部似乎都包含了整个“世界”！