数据中台的数据处理及应用说明

科技飞速发展的时代，企业信息化建设会越来越完善，越来越体系化，当今数据时代背景下更加强调、重视数据的价值，以数据说话，通过数据为企业提升渠道转化率、改善企业产品、实现精准运营，为企业打造自助模式的数据分析成果，以数据驱动决策。

数据中台把数据统一之后，会形成标准数据，再进行存储，形成大数据资产层，进而为客户提供高效服务。支持海量数据的存储、计算、产品化包装过程，为前台基于数据的定制化创新及为业务中台基于数据反馈的持续演进提供强大支撑。数据中台可以解决数据孤岛、数据资产流失、数据服务能力不足、数据价值低的问题，最终使数据能够赋能业务场景、产生业务价值。

1方案介绍

数据中台分了四个模块：门户集成平台（Portal）、数据分析平台（DAP）、主数据治理平台（MDM）、企业数据总线（ESB），数据中台部署环境采用K8S云平台部署，MDM实现基础数据管理，业务数据由源头业务系统提供，通过ESB的数据集成，实现基础数据、业务数据从源头系统到数仓的同步。

1.1方案构成

数据中台是基于四款核心产品Portal、DAP、MDM和ESB组成的解决方案，主要实现基于数据治理分析的中台建设，通过MDM将企业内部的基础数据标准化、规范化、整合化后，由DAP进行数仓建设以及最终数据分析的可视化展现，ESB通过数据集成完成整个数据中台的主数据分发和数仓的数据汇聚，通过Portal实现统一访问，信息聚合。

1.2架构体系

数据中台方案主要的产品组合是DAP数据分析平台通过与ESB企业数据总线结合使用场景主要是通过配置调度任务，通过执行调度任务调用ESB数据同步流程，实现数据的采集、抽取、转换、传输、调度等操作，基础数据为DAP提供同源并标准的、一致的数据，保障数据分析的准确性，然后通过Portal门户集成平台展现给客户。而MDM会对基础数据进行集中治理，形成统一标准的主数据，再将主数据分发到下游系统和数仓中，确保业务系统数据与数仓数据的一致性，保障数据分析的质量，同时，统一标准的主数据也可以降低集成的难度。

1.3价值剖析

数据中台主要实现各个业务系统数据的有效整合，数据中台把数据统一之后，会形成标准数据，再进行存储，形成数据资产层，进而为客户提供高效服务，支持数据的存储、计算、产品化包装过程，为前台基于数据的定制化创新及为业务中台基于数据反馈的持续演进提供强大支撑，改善企业内部数据和应用程序之间的连接和协同，降低成本并提高使用速度，实现企业业务集成和数据集成，让集成更敏捷、让客户使用更便捷。

2采集同步

数据采集是整合各个业务系统数据，而业务系统数据源越来越多、越来越复杂，除了传统的应用系统以外，互联网的兴起形成了更为广泛的外部渠道，面对如此复杂的数据源，数据中台能够有条理地对数据进行选择、采集。

2.1功能说明

数据采集是把业务系统的数据采集到数据中台中，数据分为业务数据和基础数据，基础数据采集将多个业务系统中最核心的、需要共享的数据通过基础数据采集同步到MDM基础数据管理平台中进行数据管理；业务数据采集是通过DAP选择系统不同的数据表，采集到ODS中进行定义和筛选，采集过程都是通过ESB企业数据总线实现各系统之间互联互通。

2.2功能价值

在数据中台收集数据的过程中通过ESB预置的各种适配器组件，连接现有各孤立应用系统，以图形化、拖拽方式构建集成流程和服务，提高应用系统集成工作效率，降低异构系统集成风险。针对未来可能出现的业务需求变更，在应用集成平台上进行动态调整，实现各应用系统之间的集成策略平滑升级。

2.3应用场景

数据中台将不同来源、不同结构的数据进行整合，将分散的数据集中到一个统一的管理平台中，便于后续的数据处理和分析。通过ESB将基础数据同步到MDM中，对数据进行标准化、规范化、清洗和整合，提高数据的质量和可靠性，便于实现企业级的数据治理。同时DAP会结合ESB从应用系统中进行抽取数据，构建企业的数据仓库，形成数据资产，并提供对内和对外的数据共享服务，促进企业内部和外部的数据交流和合作。

3清洗转换

通过数据清洗可提高数据质量，在数据中台中分为两部分。一部分是在主数据管理平台进行基础数据的清洗，在清洗过后进行校验巡检，保障基础数据的一致、完整、准确；另一部分是业务数据在存储到数仓前进行清洗转换，为后续的数据分析提供依据，并保证数据分析的质量。

3.1功能说明

数据清洗可分为两部分，一部分是在主数据管理平台进行数据清洗。通过模板批次导入或者同步的方式，将基础数据同步至主数据管理平台，根据配置好的数据校验规则对数据进行清洗，根据清洗结果进行修改数据再次进行清洗，清洗成功后可将数据导出清洗源头系统或者下游应用系统。经过治理后的主数据也会分发到数仓中做维表，确保数仓数据与应用系统数据的一致性。

业务数据清洗是将数据采集到ODS中间库后，对数据进行清洗转换，并将清洗转换后的数据存储到数据仓库中，再由数仓进行进一步的加工汇总，形成分析模型，为下一步分析展现提供依据。

3.2功能价值

通过数据中台的清洗和整合功能，对采集到的数据进行清洗和整合，确保数据的准确性和一致性。清洗和整合的过程包括数据去重、格式转换、标准化处理等，以提高数据的质量和可用性。企业可以对采集和清洗后的数据进行查询和分析，生成有用的信息和知识，支持企业的决策和业务发展。例如，通过对市场数据的分析，企业可以了解市场需求和竞争情况，制定更加精准的销售策略；通过对用户数据的分析，企业可以了解消费者的购买习惯和需求，提供更加个性化的产品和服务。

3.3应用场景

通过数据中台对基础数据进行采集。将业务系统中的共享核心数据进行采集，并同步到MDM基础数据管理平台中进行数据管理。这些数据包括原材料采购信息、生产计划数据、质量控制标准等，对于这些重要数据进行集中管理和维护。

4加工汇总

数仓中的数据进行进一步的加工汇总后会形成不同的分析模型：数据集、立方体、业务类报表等。这些分析模型可通过数据服务为其他系统提供数据，同时可由数据中台进行可视化展现以及预测分析。

4.1功能说明

对于应用系统中的基础数据，通过主数据同步接口将数据同步到MDM主数据平台中进行管理。主数据在应用系统中生成后，会通过主数据同步接口直接传输到MDM主数据平台进行集中管理，避免了数据的重复录入和处理，提高了数据的一致性和准确性。

对于业务数据，通过ESB企业数据总线进行抽取、转换等操作，将数据存储到ODS中创建相应的中间表。同时，业务数据也会通过ESB同步到MDM主数据管理平台进行数据治理，之后将治理后的数据同步到DW中形成事实表。来自不同系统的业务数据经过清洗、整合后，形成统一的数据模型和存储方式，便于后续的数据分析和应用。

4.2功能价值

通过数据中台的建设，企业可以将来自应用系统不同类型的数据进行整合和统一管理，形成一个统一的数据存储和管理平台。这可以减少数据冗余和重复，提高数据的一致性和准确性。

4.3应用场景

DAP数据分析平台会通过ESB将数据从业务系统抽取到ODS再到DW的事实表中。通过数据汇聚和存储建设，企业可以建立起共享数据仓库。共享数据仓库的建立，使得各部门可以共享数据，并根据自身需求进行数据处理和分析，提高了决策效率和准确性。

5集成应用

数据中台可以为其他业务系统提供数据服务，例如财务系统、人事系统、营销系统、生产系统、销售系统等。这些业务系统可以通过数据中台获取到所需的数据，并基于这些数据进行决策和业务操作。

5.1功能说明

针对企业的实际业务需求，可以制定不同的分析主题，例如财务主题、人事主题、营销主题、生产主题、销售主题、成本主题等。这些主题可以根据业务部门的需要而制定，针对不同的指标进行分析和挖掘。数据中台支持在大屏、电脑、平板、手机等终端上进行分析展示。同时，通过不同终端的支持，可以更加灵活地进行数据展示和分析操作，提高工作效率和决策效果。

5.2功能价值

数据中台的建设对于提供强大的数据分析和决策支持能力具有重要作用。通过对海量数据的分析和挖掘，数据中台可以发现隐藏在数据中的规律和趋势，为企业的决策提供更加准确和有力的支持。例如，通过对历史销售数据的分析，可以预测未来的销售趋势，为生产计划和库存管理提供参考；通过对市场数据的分析，可以了解市场需求和竞争情况，制定更加精准的销售策略；通过对用户数据的分析，可以了解消费者的购买习惯和需求，提供更加个性化的产品和服务。

5.3应用场景

根据企业的实际业务，制定不同的分析主题，如财务主题、人事主题、营销主题、生产主题、销售主题、成本主题等等，这些主题门户所需要的数据来自于数仓，展现样式通过数据分析平台进行配置，数据分析平台支持多种形式的组件展示，比如大屏分析、主题分析，内部预置大量的图形化组件，包括饼、柱、线、组合、表格、散点图、地图、气泡图、关系图等等，数据在配置的过程中，可实现环比，同比等多种运算规则。

此外还支持在大屏、电脑、平板、手机等终端进行分析展示，支持数据挖掘任务、自助分析、算法模型、和移动采集，帮助企业逐步建立统一高效、资源整合、互联互通、信息共享、便捷查询、实时监管的企事业内外一体化的数据决策分析平台。

6总结说明

数据中台方案的价值和作用，就是把数据这种生产资料转变为数据生产力。在全球数据化的时代，企业只有做到了解用户，在数据支持的情况下不断创新，打破数据孤岛，才能在日渐激烈的竞争中长久的保持优势。

6.1总结说明

数据中台作为企业数字化转型的重要组成部分，通过解决数据孤岛、数据分散等问题，提供了一个统一的数据服务平台，支持企业更好地应用和管理数据。数据中台实现了数据的整合、服务化和个性化开发。未来，数据中台将不断智能化、生态化，并深度融合AI和数据分析技术，为企业带来更大的数据价值和创新能力。随着数据中台理念的普及，企业将能够更加灵活地应对市场变化，实现持续创新和业务发展。

6.2建设重点

在建设过程中不仅仅需要实施团队的努力，而是需要各方团队通力协作，客户方、实施团队、系统方规范职责、分工协作。同时要建立标准规范体系，包括管理规范、数据规范、集成规范，从而来保障实际应用过程中的对接和集成。对于组织体系也要进行管理，良好的组织架构，是数据治理分析项目成功的保证。最后就是要不断强化知识技能的传递，也就是针对不同角色（从IT领导到业务人员）的培训贯穿实施过程始终。

6.3说在最后

针对数字化转型数通推出了企业数据中台方案。该方案集应用集成、数据治理、数据分析功能为一体，在保证数据互联互通、建立主数据管理体系的同时对数据进行可视化分析，为企业的经营决策提供支撑。数据中台建设为企业实现数据整合、质量提升、业务创新等方面带来了重要的意义，是推动企业信息化发展和数字化转型的关键举措。

数通多年来一直耕耘于企业IT架构、SOA综合应用集成、数据治理分析领域，在成长过程中深耕地产、制造等行业，积累行业集成项目经验，已形成完备的实施交付体系。在产品、技术逐步完善提升的同时，解决方案更加灵活合理，逐步深入行业。在更多、更细致场景中打磨产品和解决方案，让产品变成精品、实现打造首选 iPaaS/dPaaS平台，支撑中国企业敏捷数字化转型的愿景。