对于物流企业来说,如何高效地记录和处理车辆的轨迹信息、应对每天海量监控数据的采集和处理工作,对于项目整体的交付效率至关重要。同时,伴随着数字化、智能化的不断加速,数据更是呈现出爆发式增长,老旧的数据架构越来越难以应对业务发展需求。在此背景下,诸多物流企业开始寻求数据架构的变革,特别是选择符合业务需求的时序数据库(Time Series Database,TSDB)产品,本篇文章汇总了国内四家大型物流公司的数据架构改造实例,给到读者参考。
顺丰 x TDengine
“完成改造后,大数据监控平台摆脱了对大数据组件的依赖,有效缩短了数据处理链路,自上线以来,一直运行稳定。在写入方面,根据容量规划完成相关参数调整后,理想情况下,集群写入速度最高达 90W 条/s。查询性能方面,在使用预计算函数情况下,查询 p99 都在 0.7 秒以内,能够满足我们日常绝大部分查询需求。控制成本层面,服务端物理机由 21 台降至 3 台,每日所需存储空间为 93GB(2 副本),同等副本下仅为 OpenTSDB+HBase 的约 1/10。”
业务背景
顺丰科技大数据集群每天需要采集海量监控数据,以确保集群稳定运行。此前其采用了 OpenTSDB+HBase 作为大数据监控平台全量监控数据的存储方案,随着接入数据量的不断增长,这一方案衍生出了不少痛点,包括依赖多、使用成本高和性能不能满足等问题,必须对全量监控数据存储方案进行改造。通过对 IoTDB、Druid、ClickHouse、TDengine 等时序数据存储方案的调研, TDengine 成为他们的最终选择。
架构图
为保证整个系统的高可用和可扩展性,整体架构中,前端采用nginx集群进行负载均衡,保证高可用性;单独分离出客户端层,方便根据流量需求进行扩容缩容。点击案例详情查看三大实施难点及解决路径。
标签:存储,架构,TDengine,时序,实例,监控,MySQL,数据 From: https://www.cnblogs.com/taosdata/p/16873746.html