首页 > 其他分享 >「经验汇总」基于TDengine的时序数据解决方案

「经验汇总」基于TDengine的时序数据解决方案

时间:2022-10-26 11:11:28浏览次数:141  
标签:TDengine 运维 系统 数据库 汇总 时序 数据

为实现发电、输电、变电、配电、用电的实时智能联动,电力行业开始在传统业务之上构建信息网络、通讯网络、能源网络,运用云计算、物联网等新兴技术,大力发展数字化、信息化、智能化。在应对海量时序数据处理需求时,如关系型数据库、工业实时库、Hadoop 大数据平台在内的传统数据库解决方案问题重重,严重阻碍数字化进程。在此背景下,一些企业开始尝试进行数据架构改造,选择适合的时序数据库Time Series DatabaseTSDB)产品,相关经验汇总如下:

TDengine x 中节能风力发电运维系统

“目前基于 TDengine 我们构建了中节能风电运维平台,使用后数据存储优势明显,整体压缩比在 7-8 倍,数据查询也实现了秒级响应。未来我们考虑在每个风电场站的三区部署一个单节点 TDengine,作用不只是采集和转发,还要起到时序数据质量治理以及实时模型预测的功能;而在集团侧我们会考虑基于 TDengine 构建更多更复杂的计算指标和高级模型;同时还要和任务调度引擎以及风电行业标准集成。”

业务背景

尽管中节能风力发电股份有限公司具备成熟的风电开发和运维经验,但随着在建风场逐步增多以及各类新型传感器的加装,传统运维方式越发吃力,严重限制业务发展。顺应时代潮流,数字化智能化的需求越来越强烈,其迫切需要基于海量时序数据的数据平台来支撑繁杂的运维工作。

在选型调研工作中,中节能最初尝试使用传统的工控时序数据库(Time-Series Database),但随着测点数量的增多,单机版架构已经无力支撑,后期他们尝试了 InfluxDB 和 OpenTSDB 等分布式架构的时序数据库,但性能又达不到要求。经过反复对比测试以及应用适配后,最终其选定 TDengine 作为数据平台的时序数据解决方案。

架构图

TDengine Database 点击案例查看更多技术细节

TDengine x 上海电气储能智慧运维系统

“在使用 InfluxDB 一周以后执行查询,内存使用率达到了 80%,并且过了十分钟也没出来结果,已经完全不适合业务使用。而在使用了 TDengine 近 1 个月后,使用相同的 SQL 语句,查询只需要 0.2 秒,表现非常优异。在压缩方面,在采集点数量相同的情况下,压缩后的数据量 TDengine 是 InfluxDB 的 1/3.”

业务背景

围绕“一芯 3S”核心产品链,上海电气着手构建储能核心竞争力,“SmartOPS 储能智慧运维系统”就作为其中的关键组成部分,旨在实现全面监测、预测性维护、热管理分析等高级应用。在本地部署中,该系统需要重点考虑本地硬件资源的限制,如站端系统的内存、CPU 以及读写性能等,选择合适的时序数据库成为破解问题的关键。在对 OpenTSDB、InfluxDB、Apache IoTDB、TDengine、ClickHouse 几款数据库进行对比测试后,其尝试在系统中落地了 TDengine。

效果展示

TDengine Database 点击案例查看更多技术细节

TDengine x 八五信息新能源电力物联网平台

“在应用 TDengine 之后,系统读写性能较原 TimescaleDB 数据库提高 10 倍左右,在数据接入层我们不用再担心数据库的写入性能瓶颈;数据分析查询应用层也较原系统有较大提升,尤其是在时间跨度大的聚合类分析几乎瞬间响应。在软硬件方面,TDengine 帮助我们节省了系统大量的计算资源以及存储资源,较原系统降低了大约 4 倍左右的存储成本。”

业务背景

在八五信息新能源电力物联网平台建设中,此前其使用 TimescaleDB,无论在读写性能,还是硬件资源上,都遇到了瓶颈,且该数据库没有集群功能。后面开始采用 TDengine,存储和查询分析物联网设备的实时数据,以及光伏设备传感器的遥测数据,需支撑至少 50000 台设备总计 400 万测点的实时数据接入、处理及存储,预计日增量 40 多亿条。

平台架构

TDengine Database 点击案例查看更多技术细节

TDengine x 水电厂畸变波形分析及故障预判系统

“TDengine 在该项目中顺利投入使用,在现场运行环境的表现,如同我们的验证测试一样,拥有优异的写入能力和快速的查询能力,可以有力地支撑系统对原始信号数据进行进一步的分析与应用。”

业务背景

计算机监控系统和机组稳定性监测分析系统,主要是从振动、气隙等状态量对主机设备的运行状态进行监测和评估,其核心需求是将全厂的电力系统各元件纳入系统的监测,并存储高采样率的原始信号数据,初步估算全厂电力系统元件 1 天即可产生 1.7TB 字节数据量,数据存储难题横亘眼前,在经过反复对比测试后,其决定将 TDengine 正式引入该项目。

点击案例查看更多技术细节

写在最后

时序数据库的设计和优化都是根据时序数据特点而来,在面对物联网、时序场景的数据处理需求时,时序数据库显然更加有针对性,而以上企业的事实证明,在电力行业中,时序数据库的应用能够有效增加系统的各方面性能,降低研发和运维成本,真正帮助企业实现降本增效。


欢迎添加小T(VX:TDengine),加入物联网技术讨论群,第一时间了解TDengine 官方信息,与关注前沿技术的同学们共同探讨新技术、新玩法。

想了解更多 TDengine Database的具体细节,欢迎大家在GitHub上查看相关源代码。

 

标签:TDengine,运维,系统,数据库,汇总,时序,数据
From: https://www.cnblogs.com/taosdata/p/16827554.html

相关文章

  • Qt使用QJson进行Http请求时序列反序列对象
    1.创建工程使用CMake创建工程cmake_minimum_required(VERSION3.20FATAL_ERROR)project(httprequestLANGUAGESCXX)set(CMAKE_AUTOUICON)set(CMAKE_AUTOMOCO......
  • 5. 同步时序设计
    时序介绍分米利型和穆尔型,前者输出=f(input,转化结果),后者输出=f(转化)同步时序时钟边沿统一激励方程组:J/K/D=f(A,B)转化方程组:Qi=f(J,K,D)输出方程组:X/Y=f(Qi)状态......
  • 6. Make一些神奇的时序电路
    目录1.序列检测——不用画真值表!2.数码管~简单的寄存器输入输出3.开关去抖动制造universe的数字系统结构1.序列检测——不用画真值表!2.数码管~简单的寄存器输入输......
  • selenium爬虫问题汇总
    基本框架fromseleniumimportwebdriverfromselenium.webdriver.common.byimportByfromselenium.webdriver.common.action_chainsimportActionChains#打开dri......
  • 时序约束 input_delay, output_delay
    https://zhuanlan.zhihu.com/p/150534875https://blog.csdn.net/qq_39507748/article/details/114746186https://blog.csdn.net/zyn1347806/article/details/108649518......
  • 2022级HAUT新生周赛题解汇总
    2022级HAUT新生周赛(零)题解@:2022级HAUT新生周赛(一)题解@卞子骏:2022级HAUT新生周赛(二)题解@武其轩:2022级HAUT新生周赛(三)题解@焦小航:2022级HAUT新生周赛(四)题解@张子豪:202......
  • 直播预告 | 揭秘时序数据库极致性能背后的存储引擎
    存储引擎是数据库最核心、最复杂的组件之一。存储引擎的设计往往很大程度上决定了数据库的性能。如何针对不同的应用场景设计高性能的存储引擎一直是数据库开发的难题。在时......
  • Spring常见问题解决办法汇总
     解决Theprefix'context'forelement'context:component-scan'isnotbound<beansxmlns="http://www.springframework.org/schema/beans"   xmlns:xsi="http://w......
  • Eclipse常用设置汇总
     设置编码:.    设置字体:   依次展开 Window->Preferences->Java->CodeStyle->Formatter  在右边窗口中找到Edit ·找到LineWrapping ·在Maximumlinewidth......
  • Windows Server 2008 R2 网络负载平衡 (NLB)资料汇总
    WindowsServer2008R2中的网络负载平衡(NLB)功能可以增强Internet服务器应用程序[如在Web、FTP、防火墙、代理、虚拟专用网络(VPN)以及其他执......