在数字化转型的浪潮下,银行业对数据的依赖日益加深。为提升数据管理和应用水平,西南某城商行于2022年启动了数据中台建设,采用创新技术手段优化其数据服务体系。
本文将深入探讨该行如何借助Whalestudio平台构建数据中台,以及在实际应用中取得的显著成效。
从需求到选择:数据中台系统的选型过程
该银行在数据中台建设过程中,调度和数据抽取平台的选型至关重要。
经过多轮评估和比对,西南某城商行最终选择了Whalestudio作为统一调度和数据抽取平台,主要考虑以下关键因素:
- 技术架构:采用分布式架构,具有良好的扩展性,并兼容国产基础软件,符合信创的技术要求。
- 平台化特性:调度和数据抽取平台均支持统一管理和API调用,便于集中管理和数据调用。
- 租户管理:支持租户化管理,实现项目与用户的分层隔离,确保不同租户间的数据安全。
- 多样化支持:调度系统支持灵活的时间调度和任务编排,数据抽取支持多数据源实时和离线抽取,具备数据清洗和字段映射功能。
Whalestudio在数据服务体系中的应用
西南某城商行依托Whalestudio构建了涵盖数据开发、数据服务、数据应用和敏捷交付的完整数据服务体系,具体应用如下:
数据开发集成
通过Whalestudio的白鲸调度系统(Whalescheduler),实现了多任务支持、数据抽取、清洗、建模和质量检测等流程的自动化管理,使数据全生命周期管理更加平台化和集成化。
数据服务集成
在数据服务方面,西南某城商行整合了行内的数据交换需求和数据治理体系,通过白鲸数据集成系统(WhaleTunnel)的数据传输和清洗功能,建立了行内数据市场。
该数据市场显著降低了业务系统间的数据交互复杂性,提高了数据交换效率。
数据类应用
基于Whalestudio平台的能力,西南某城商行在数据脱敏平台上进行了二次开发,将数据脱敏、标准化、分级管理与脱敏算法深度融合,以确保数据的安全性和合规性,进一步提升了数据的应用价值。
敏捷交付体系
Whalestudio与GitLab的无缝集成,使得该行能够实现调度任务的版本控制、审批和自动化部署,显著缩短了数据接入和任务创建时间,从而帮助银行快速响应业务需求变化。
未来建设方向
西南某城商行的数据中台建设已取得初步成效,但为进一步提升平台能力和业务支持,该行计划在以下几方面持续优化:
数据治理体系全面落地
推动数据治理体系全面落实,实现数据开发、数据交换和数据应用的闭环管理。
敏捷交付体系深化
在数据库DDL变更、环境隔离等环节实现自动化,最终达到从测试到生产环境的全自动发布。
完善监控体系
构建更全面的监控和告警系统,涵盖调度任务、数据质量等多类指标,支持任务分级管理。
结语
在Whalestudio的支持下,西南某城商行显著提升了数据开发和交付效率,加速了数字化转型步伐。
未来,西南某城商行将继续优化数据中台的能力,为业务创新和持续发展提供强大支持。
标签:数据服务,助力,探索,西南,城商行,调度,Whalestudio,数据 From: https://www.cnblogs.com/DolphinScheduler/p/18546276本文由 白鲸开源 提供发布支持!