首页 > 其他分享 >四个典型的车联网案例,给你数据架构升级思路

四个典型的车联网案例,给你数据架构升级思路

时间:2022-09-30 15:23:04浏览次数:128  
标签:架构 TDengine 写入 业务 查询 案例 HBase 联网 数据

在车联网场景中,智能车辆会通过各类传感器定时采集车身状态信息,比如行驶速度、发动机转速、轮胎压力值、里程数等,此外,还会由某个事件触发产生车辆事件数据,比如门锁上防、撤防、车辆碰撞、异常移动等,在每次上报数据时都会带有时间戳,这是非常典型的时序数据场景。在这类场景下,高写入、高压缩率、快速查询是对于数据处理最基本的要求。

但一直以来,在应对车联网场景下时序数据的存储时,企业大多选择的都是 MongoDB 或 Apache HBase,这两大数据库技术相对更加成熟,在业务规模尚未扩张之前,因为设备不多、数据量不大,加上查询场景单一,尚且可以满足业务需求。随着业务的加速扩张,写入速度太慢、支撑成本过高等问题也逐渐显现。本文将会从四个典型的车联网案例出发,给到你数据架构升级思路。

TDengine x 大疆车载

“在大疆车载当前的云端平台中,TDengine 的应用不仅节约了存储成本和开发学习成本,同时也表现出了很好的写入读取性能,满足了智能驾驶云端平台海量时序数据的处理需求。在查询方面,不管是选择特定数据的查询还是轻量的查询,都是毫秒级返回数据。”

业务背景

由于当前的智能驾驶业务还是新的业务场景,所以大疆车载在选型上的历史负担相对较轻。在数据库选型要求上,从业务需求出发,主要聚焦在两点:首先,结合当下的业务场景,需要满足单台车辆的高频消息上报频率;其次,支持在数据量大的时候,通过聚合函数,或选择函数来快速筛选出需要的数据。此外,对数据库要求支持集群部署的同时,也要求更低的查询语句编写上手难度;而且需支持单表千万量级,在海量数据并发场景下,需要有较高的统计报表能力和较好的查询 SQL 效率。

架构图

TDengine Database

点击案例查看更多技术细节

TDengine x 蔚来汽车能源

“在实际效果上,改造完成后,查询速度提升明显,从使用 HBase 查询单设备 24 小时数据的秒级返回,到使用 TDengine 查询查询相同数据的毫秒级返回;每天增量数据占用的存储空间相当于原来使用 HBase 时的 50%;集群计算资源成本相比使用 HBase 节省超过 60%。”

业务背景

为了给用户提供更好的补能体验,蔚来能源在加电基础设施上进行了大量的投入,需要对设备进行更高效的管理——将设备采集数据上报至云端进行存储,并提供实时数据查询、历史数据查询等业务服务,用来做设备监控和分析。在业务诞生之初,其用作数据存储的选型是 MySQL + HBase,MySQL 存储设备最新实时数据,HBase 存储设备原始数据。随着换电站和超充站等设备在全国的快速布局,设备数量持续增长,积累的数据量越来越多,长时间跨度数据查询效率出现瓶颈,再加上查询场景不断丰富,HBase 已经无法满足当前业务需要(具体痛点问题见下方案例链接)。

测试结论

采用批量写入数据方式,调整合适的单批次数据量大小,使用单机部署(8 核 32 GB,500 GB 存储)默认配置的 TDengine 服务,RESTful API写入方式,在 4k 并发流量下写入没有问题,同时消费积压数据时峰值达到 7 k/s,因为单条消息包含信息量太大,实际处理中会拆分为 30 条写入 TDengine,所以实际写入 QPS 为 210 k/s,比满足同样数据流量的 HBase 集群规模要小不少,可以节省成本,再加上 TDengine 本身部署不依赖其他三方软件,也可以同时节省运维成本。

架构图

TDengine Database

点击案例查看更多技术细节

TDengine x 零跑汽车

“在应用 TDengine 后,不用再像 MongoDB 一样,在查询前需要根据业务加工出需求数据;入库性能高,解决了以前HBase入库不及时的问题,可以用更少的服务器资源入库更多的数据,节省更多成本。同时,TDengine高压缩的算法能提升 10 到 20 倍的压缩性能,降低了存储压力和成本。”

业务背景

一直以来,在数据存储上零跑汽车的选择都是 MongoDB 和 HBase,但是随着业务的加速扩张,写入速度太慢、支撑成本过高等问题也逐渐显现(具体痛点问题见下方案例链接)。从降本增效的角度考虑,零跑决定在 C11 新车型上试用下其他的数据库,在分析数据特点后,最终确定采用时序数据库(Time-Series Database)。

架构图

TDengine Database

点击案例查看更多技术细节

TDengine x 理想汽车

“通过跟涛思官方人员进行深入业务封闭式测试,TDengine 的功能超出预期,性能比 InfluxDB 要强出许多,两级存储架构设计(行存与列存)很棒,TTL 和标签机制对业务透明,具备极其优秀的高并发写入和数据压缩能力,极大降低了业务成本和业务压力。因此我们决定从 TiDB 迁移至 TDengine。”

业务背景

在理想汽车的信号上报业务中,需要将标记时间戳和采集点的信息,通过云端写入到后端数据库中,有一定的聚合查询需求。这是典型的高并发插入场景,写多读少,之前的系统用的是 MongoDB,后来因为 MongoDB 的局限性,其将业务迁移到了 TiDB,方便进行扩缩容。但在迁移到 TiDB 之后,在目前使用百度云 SSD 虚拟机的情况下,TiDB 集群纯写入性能并不能达到业务期望预期(HTAP 场景数据库对纯高并发写入支持不好,与该业务场景的适配性不高),需要不断的资源扩容(具体痛点问题见下方案例链接)。

使用成本对照表

TDengine Database

点击案例查看更多技术细节

写在最后

随着业务的不断发展,车联网场景下数据量之大难以想象,如果没有一款能够实现高效存储的数据库,服务器成本会非常的高。术业有专攻,在合适的时候选择合适的数据库是支持业务发展的关键,从数据处理需求和特点出发,时序数据库无疑是最佳选择。

 


想了解更多 TDengine Database的具体细节,欢迎大家在GitHub上查看相关源代码。

 

标签:架构,TDengine,写入,业务,查询,案例,HBase,联网,数据
From: https://www.cnblogs.com/taosdata/p/16745004.html

相关文章

  • 运维思考:聊聊高可用的“异地多活”架构设计
    前言后台服务可以划分为两类,有状态和无状态。高可用对于无状态的应用来说是比较简单的,无状态的应用,只需要通过F5或者任何代理的方式就可以很好的解决。后文描述的主要是针......
  • 工业互联网平台的数据类型及特点是什么?
    工业互联网产业联盟(AII)对工业互联网是这样定义的,分为宏观层面和技术层面:•从宏观层面看,工业互联网通过工业经济全要素、全产业链、全价值链的全面连接,支撑制造业数字化、......
  • 如何通过物联网、大数据进行产业创新,促进精益生产?
    物联网+大数据+工业APPs+......=工业互联网!简单的说就是用工业互联网来促进精益生产。您可以参看下这个了解更多:工业互联网之精益生产-3UCS|三优通信|三优智造工业互联网......
  • 2022 年数字化转型火热,工业互联网的发展趋势怎么样?
    确实很火热的,但有种雷声大雨点小的感觉,作为工业互联网的甲方,企业现在最大的问题是怕转,不敢转,不过现在也正是工业互联网的风口,有种山雨欲来风满楼的感觉!怕在哪?企业个性化需......
  • 工业互联网发展的趋势如何?
    现在正是工业互联网的风口,有种山雨欲来风满楼的感觉!作为智能制造的实现所需要依托的两个基础能力之一(另一个是工业制造技术),工业互联网将在智能制造、数字化转型中大放异彩......
  • 浅谈Git架构和如何避免代码覆盖的事故
    浅谈Git架构和如何避免代码覆盖的事故Git不同于SVN的地方在于,Git是分布式的版本管理系统,所有的客户端和服务器都保存了一份代码,涉及到仓库仓之间的同步,所以处......
  • SpringBoot集成Dubbo案例
    SpringBoot集成Dubbo:Case​​1、什么是Duubo?​​​​2、概念架构​​​​2.1提供者​​​​2.2消费者​​​​2.3注册中心​​​​3、SpringBoot集成Dubbo步骤​​​​:o......
  • XM5728-GW物联网网关:智能农业系统解决方案
    XM5728-GW物联网网关:智能农业系统解决方案  介绍由于气候变化和人口激增对我们的影响,人类面临着前所未有的挑战和潜在的粮食危机。为了更好地利用有限的资源,以及提高作物......
  • 工业互联网是不是很难学对于女生而言?
    工业互联网技术没有性别歧视,想多了,并且它是多层次的,可以根据你的兴趣特长选择适合自己的角色。单从技术上讲,好像挺高深的,但在工业互联网从设计、运维、管理、实操等多个方......
  • 如今物联网技术的发展趋势是怎样的?
    物联网技术的发展将会越来越好,主要由它的几个核心应用场景推动:工业互联网、智能家居、数字(智慧)城市等。以物联网最核心的应用场景工业互联网来说,它是智能制造的实现所需要......