项目背景
随着移动互联网的不断发展、智能终端迅速普及,以及移动数据流量迅猛增长,流量经营已是河北联通战略转型的重点,而流量经营的先决条件是经分系统的可持久运行。面对海量的网络数据规模,传统经分系统的数据存储、数据处理和数据分析显然无法满足河北联通日益发展的数据处理要求;同时传统小型机扩容成本高,扩展能力有限,不符合河北联通未来大数据平台技术发展规划。
需求分析
传统小型机+Oracle的经分系统由于其成本与性能的限制,无法满足当前河北联通的数据处理性能要求,随着后续更多业务平台的接入,省级经分的数据规模将达到PB级别,现有平台完全无法承载,为了实现对用户的精准画像,数据内容、互联网数据都将纳入统一数据平台中。在上述问题亟待解决的背景下,河北联通秉承“高效低成本”的指导原则,兼顾海量数据的存储及管理能力和海量数据的处理及分析能力,采用GBase 8a MPP Cluster数据库作为底层数据平台,建立起公司业务融合运营、能力对外服务的大数据平台。
解决方案
如架构图所示,本项目使用24+2节点GBase 8a MPP Cluster数据库构建核心数据仓库,采用GBase 8a快速加载工具,将数据快速的加载到数据仓库中。用GBase 8a建设核心数据仓库存储河北联通全域的高价值结构化数据,并通过对全域数据的关联分析计算,向平台应用层以及外围系统数据接口提供高度汇总的结果数据,同时直接支撑前台页面的报表查询和即席查询。
价值体现
l 高效低成本:通过使用廉价X86设备建立分布式集群,提供比小型机更高的处理性能;
l 扩展更灵活:完全不受数据量与设备能力的限制,集群从8节点到12节点再到24节点,随需扩展;
l 数据更融合:全面融入省内各业务支撑系统的数据,数据保存周期更久,数据量达到300TB;
l 迁移更安心:原厂工程师全面保障Oracle到GBase 8a的数据与应用迁移,原系统零改动直接在GBase 8a上运行。
标签:8a,联通,蓝图,河北,平台,数据,GBase From: https://blog.51cto.com/u_16565911/12128108