MDM主数据平台如何实现质量管控

当企业业务以及信息化建设发展到一定阶段后，都不可避免地要进行信息化和数据的治理工作，而主数据治理则是数据治理的基础。随着信息系统和业务的增加，系统打通与数据集成共享必然会成为企业信息化建设的瓶颈，而要实现系统集成，就要保证系统中共享数据的准确性，而主数据就是最重要的共享数据，只有保证主数据的准确、一致，才能保证系统数据集成时业务和数据的准确性。

主数据治理由于要贯穿企业内部大量系统和业务流程，所以保证主数据全面性、准确性、一致性至关重要，主数据的质量直接影响业务质量以及系统集成的质量，所以在进行主数据治理时，治理后的主数据质量是考核主数据治理成果的有效方式。

1总体说明

MDM主数据管理平台主要满足企业内部主数据的全生命周期管理，通过平台实现主数据治理，从而提升主数据质量，满足主数据集成、应用、管控的需求。由于主数据是企业内容最核心的数据之一，保证主数据质量是保证业务数据质量的基础，所以对主数据质量的管控是主数据平台非常重要的一项功能。

1.1功能架构

从功能而言，MDM主数据平台包括MDM主数据管理平台和MDC主数据控制台两部分，功能架构图如下：

在整个主数据功能体系中，主要强调主数据的全生命周期管理以及主数据质量管理，通过主数据管理平台实现主数据管理，并从数据清洗、校验、巡检等功能保证主数据质量，而主数据控制台服务于主数据管理，为主数据管理提供动态配置能力，包括基于元数据的模型配置、流程配置、接口配置等，从而保障主数据平台可以有效应用于各种不同的业务场景中。

1.2管理流程

MDM主数据平台强调主数据的全生命周期管理，包括数据清洗、申请/采集、维护、校验、审核、发布、归档等，通过管理保证主数据的唯一性、准确性和完整性，支撑业务的使用以及集成需求。

在主数据的全生命周期管理中，数据清洗、申请/采集、维护、校验、审核是保证主数据质量的关键环节，其中清洗是前置管理，保证初始化数据的质量；申请/采集、维护是过程管理，在数据维护过程中控制；校验、审核时后置管理，是对已有或已到达的数据的控制。

1.3数据质量

MDM主数据平台对主数据的质量控制主要在三个层面：数据清洗、数据校验和数据巡检。

1.数据清洗：针对历史数据的清洗，主要清洗历史的重复数据、不规则数据，保证历史数据的唯一、准确，从而为主数据管理提供初始化数据；

2.数据校验：主要针对主数据申请、维护的过程，通过校验规则对主数据变更过程中的数据进行校验，从而保证录入信息的准确性；

3.数据巡检：针对主数据平台内部已存在的数据，通过巡检规则检查相似数据，从而减少人工维护数据的异常率。

2数据清洗

数据清洗是主数据治理过程中第一个质量控制环节，主要是针对企业内部已经存在的供应商，通过清洗将存量数据标准化、统一化，从而支撑后续的主数据治理工作。

2.1清洗原则

1.数据唯一性：保证主数据的唯一性、完整性、一致性和合理性。对于主数据编码，如果现有编码满足主数据管理要求，可以直接使用原编码，但要保证编码一致性。

2.数据全面性：主数据清洗需要覆盖全部的主数据，保证数据清理的全面性和完整性。

3.数据一致性：确保主数据的一致性，即相同数据在不同系统、不同功能或不同时间点上的表达方式一致，制定统一的数据规则，不同格式的数据需要进行转换，如：日期数据统一格式为YYYY-MM-DD，时间数据统一为YYYY-MM-DD，浮点型数据统一为2位小数。

4.数据完整性：确保数据信息的完整性，根据主数据标准规范，数据中必填项信息要完整，缺失的信息需要进行补录。

5.数据准确性：确保数据真实可信，在数据清洗过程中，需要对数据进行校验和核实，发现异常数据及时修正。

2.2清洗功能

MDM平台的数据清洗通过清洗功能实现，在清洗功能中，可以根据主数据模型配置导出对应的主数据模板，然后按照模板进行数据导入，MDM平台会根据主数据的元数据配置自动进行清洗检验工作。

1.下载模板：

2.补充数据：

3.导入清洗：

4.导出错误数据：

5.修改重新导入：

6.导出清洗结果：

7.将导出成功的数据导入主数据管理中：

2.3注意事项

1.MDM主数据平台的清洗是基于元数据的配置来进行，所以如果需要进行数据清洗，就需要保证元数据相关配置的准确性；

2.通过MDM平台清洗时需要先下载Excel模板，按照模板进行数据录入，但注意不要修改模板的表头和元数据定义信息；

3.数据清洗完成后需要通过“导出清洗结果”导出全部成功数据，再通过主数据管理的“数据导入”导入对应的数据。

3校验规则

校验规则主要针对数据管理维护过程中的数据质量控制，主要是通过对主数据模型的元数据配置校验规则，在进行数据清洗、新增、变更时，MDM平台会自动校验录入数据的准确性。

3.1应用场景

在主数据平台中，校验规则主要有以下应用：

1.手动录入校验：MDM平台最基础的校验策略，根据元数据配置的规则，在进行人工维护数据时校验数据准确性；

2.接口同步校验：一般MDM平台的主数据大多数来源于各个业务系统，为了保证业务系统主数据进行MDM平台的准确性，通过接口将主数据同步至MDM时，也会触发校验规则对入参数据进行校验；

3.数据清洗校验：主数据清洗功能对历史数据进行清洗时，也是依赖校验规则对数据的信息进行校验，包括数据必填、格式等，如图就是必填字段没有数据，从而清洗出的异常结果。

3.2应用说明

校验规则的应用首先需要在元数据中配置校验规则，之后才能在数据维护时生效。

1.为元数据配置校验规则：

（1）必填校验：

（2）格式校验：

2.在数据管理中录入数据：

数据维护页面会有必填提示，空数据保存时会有非空提示。

3.3注意事项

1.除必填校验、唯一校验外，其他的校验规则都是元数据校验规则中选择；

2.校验规则可以通过“正则表达式扩展”；

3.对于录入时自动生成的只读属性，如配置编码规则后的“编码”属性，需要关闭编码的非空校验，否则会导致保存时非空校验无法通过而录入失败；

4.校验规则支持多选，根据属性需要同一个元数据可以同时配置多个校验规则。

4数据巡检

数据巡检主要是针对MDM平台已经存在的数据进行巡检，根据配置的巡检规则对存量数据进行检查，检查相似数据并进行结果统计，根据结果可对数据进行确认以及修改。

4.1应用场景

数据巡检的场景主要有两个，一是部分巡检，二是全量巡检。

1.部分巡检：手动选择数据进行巡检，需要在数据管理中进行操作，如图：

2.全量巡检：通过MDM平台的“数据巡检”功能对单一类别主数据的全部数据进行巡检，如图：

4.2应用说明

1.配置巡检规则：在功能模型中定义巡检的相似度和巡检字段；

2.部分巡检：选择数据，手动点击“重复检查”；

3.全量巡检：“数据”巡检功能，选择主数据，点击“执行”；

4.结果查看：

5.查看相似信息：高亮显示重复信息，如果不是重复信息，可以进行排除。

4.3注意事项

1.数据巡检功能需要先在功能模型中配置巡检相似度和巡检字段；

2.巡检相似度：范围为0~1，0是完全不同，1代表完全相同；

3.巡检字段：表示需要进行重复判断的字段，支持多选，多选时代表多个字段同时生效，注意多个字段是“且”不是“或”；

4.注意巡检时选择的属性越多，巡检速度越慢，是呈指数级增长的。

5分析总结

主数据治理是大多数企业在信息化发展过程中的必经阶段，随着信息系统和数据量增大，进行主数据治理，保证主数据标准、统一、一致是保证业务数据准确，建立数据资产体系的必要手段。

5.1功能总结

MDM主数据平台主要面向于主数据治理，构建主数据治理和管控体系，通过全生命周期的主数据管理以及主数据集成、安全、质量等方面的能力，保证主数据治理能有效落地，提高主数据质量的同时，也能服务企业内众多的异构系统，从而实现各系统间的主数据统一、标准，为企业数据的标准化、统一化提供基础。

5.2价值分析

主数据质量是主数据治理过程中非常重要的一环，也是体现主数据治理价值的有效方式，主数据是企业管理和运营的基础，如果主数据质量不够，将直接影响企业运营的稳定性和准确性。同时主数据还是数据分析、决策支持的重要支撑，如果主数据质量不够，数据错误或不准确，将会直接影响企业的数据分析结果和领导层的决策制定。

5.3说在最后

一般而言，大多数企业的信息化建设都是从业务开始，在信息化早期都不会太关注主数据建设，但是随着业务的发展、信息化的扩展、数据价值的不断凸显，主数据的准确性就会越来越重要。所以对企业而言，在信息化建设的过程中，重视主数据、关注主数据的质量与价值非常重要，而主数据又是全集团共享的数据，往往涉及众多部门，所以需要企业的领导层去推动主数据治理。

对企业而言，主数据治理是一项长期的工作，需要投入足够的人力、物力去关注、优化和解决主数据管理过程中存在的问题，需要建立一套标准、规范、行之有效、符合企业实际的主数据标准，并且能够保证标准的落地执行，才能真正发挥主数据治理的价值，真正通过主数据治理服务于业务、服务于企业。