项目背景
北京联通宽带业务中心在IPV6流媒体系统升级改造完成的基础上，需要进一步实现对用户访问信息的统计，达到深度分析用户访问行为，快速定位故障、快速响应联通客户投诉，提升客户满意度的目的，并为经营分析、营销及运维提供高价值的数据支持。宽带业务中心各类系统每天产生大量的非结构化、半结构化日志信息，包含故障信息、用户访问情况等内容，需要对各类日志文件进行统一转化和存储，进而实现信息价值的挖掘。
需求分析
需要围绕宽带业务中心流媒体各类系统建立统一的日志管理平台，实现对复杂日志文件的结构化转化和存储，有效应对日志数据量大、结构复杂、响应要求高等挑战。系统须具备海量日志压缩存储能力和高效的统计分析能力，处理能力达到百TB级别，复杂分析查询响应达到秒级，有效监控业务系统的运营状态。
解决方案
本方案采用GBase 8a MPP Cluster构建IPV6流媒体日志管理平台。日志文件加载工具将各类系统中生成的日志文件进行分析、清洗和转换，以结构化数据类型加载至GBase 8a MPP Cluster进行存储。基于MPP+Shared Nothing架构的新型列存GBase 8a MPP Cluster数据库集群作为日志管理平台的核心，实现对日志信息的完整、一致和持久化存储。通过GBase 8a MPP Cluster标准化接口实现与上层BI应用的连接，为用户提供即席查询、多维分析、交互式报表等丰富的业务专题应用的支撑。
价值体现
l 管理升级：定制的转换工具将原有的非结构化、半结构化日志文件转换为结构化信息，实现信息的自动化处理和存储，减少了日志手工维护的难度和成本。系统标准化SQL和第三方应用接口，为日志信息的深度分析、价值挖潜和可视化管理提供了基础支撑；
l 性能提升：流媒体日志管理平台提供高性能的查询响应能力，以及数据库高效的关联查询和统计分析能力，保障了问题发现、用户行为分析等应用的处理效率；
l 节省成本：基于PC Server+Linux+本地磁盘的低成本架构，节省了前期设备投资。日志数据以10~20倍以上高压缩方式进行存储，节省磁盘空间和持续的电力消耗。