首页 > 其他分享 >版本发布:TDengine 3.0.3.0 为数据压缩、事件窗口等七大功能加“Buff”

版本发布:TDengine 3.0.3.0 为数据压缩、事件窗口等七大功能加“Buff”

时间:2023-03-15 14:32:06浏览次数:105  
标签:删除 TDengine 标签 等七大 集群 3.0 数据

TDengine 3.0 自去年 8 月份发布以来,已经被大量用户下载使用。在此过程中,涛思的研发同学也没有懈怠,针对大家在社群、各种我们能触达到的平台上提出的种种有价值的反馈,都一一进行了记录,并开始寻求更高效的实现方法。
终于,在 2023 年的第一季度, TDengine 第一个重要改进版本 3.0.3.0 发布,这一版本涉及到的更新内容包括数据重整、事件窗口、标签索引、taosX、taosExplorer 等功能或组件。经过这一系列的功能优化与加强,TDengine 的性能、易用性、运维便利性都有大幅提升。
下面我们一起来看一下这一版本的详细更新信息:

数据重整 (Data Compact) ——Enterprise only

包含以下优化:

  1. 对写入数据库中所有 Vnode 的所有数据文件进行重整,生成新的落盘文件
  2. 清除已删除的表的所有数据
  3. 清除 delete 语句删除的所有数据
  4. 合并更新的所有数据
  5. 生成新的文件,提升查询性能

借助此功能,用户可以重整数据库,清除掉无用数据、重复数据。除了能够释放存储空间外,查询性能也会有巨大的提升,且原有的乱序数据和重复数据的比例越高性能提升越显著。

事件窗口 (Event Window)

包含以下优化:

  1. 按照用户指定的条件来决定开启和结束窗口的边界
  2. 丰富窗口类型,提供更灵活的窗口支持,满足由事件驱动的业务需求

更详细信息请参考官方文档。

标签索引 (Tag Index)

包含以下优化:

  1. 可以按需在标签列上创建和删除索引,之前版本仅对第一个标签内置了索引
  2. 可以按需创建标签索引,提升基于标签过滤的查询的性能

taosX——Enterprise only

包含以下优化:

  1. 从 2.x 到 3.0 以及 3.0 到 3.0 的数据复制,包括存量和增量数据
  2. 备份数据到本地文件,从本地文件恢复数据

详细说明:

  • 支持 select-with-stable tables 参数(2.6 迁移到 2.6 下)
  • 增强错误处理
  • REST API support for Data In.
    • Add name field for task props (数据源命名).
    • Add labels field (更方便和定制化地对任务进行标记和查询)
    • Add detail query parameter (数据源 DSN 自动解析,用于查看和编译数据源)
    • Add trigger field for task schedule (定时自动增量备份).
  • 修复 2.6 内存泄漏问题
  • 修复 unreachable 和 panic 问题

taosExplorer——Enterprise only

使用该工具可基于 Web UI查看、操作、和管理 TDengine 集群。

详细说明:

  • Data Explorer——
    • 使用图形界面查看和浏览集群中的数据库、超级表、子表、普通表
    • 使用图形界面创建和删除库、超级表、子表、普通表
    • 输入和执行 SQL 语句,查看执行结果
    • 收藏常用的 SQL 语句以快速执行
    • 浏览 SQL 语句的执行记录
  • 数据导入(Data In)——从另一 TDengine 集群导入数据
  • 创建和删除 Topic
  • 创建和删除流
  • 管理用户和权限
  • 备份数据到本地文件和从本地文件恢复
  • 从另一集群复制数据到当前集群,从当前集群复制数据到另一集群
  • 集群管理和运维——添加/删除 dnode/mnode/gnode
  • 基于 Grafana 进行集群监控

Java/Python 连接器

  1. 优化后的连接器支持基于 WebSocket 的消息订阅
  2. 既支持 TDengine Cloud 也支持独立部署的 TDengine 集群
  3. 类似 REST,可以不依赖 taosc library,但比 REST 性能更好
  4. 接口风格和 Kafka 基本一致
  5. API 和示例代码详见官网文档

Grafana Plugin

  • Dashboard 可以监控 HTTP status code

在 TDinsight V3.x TaosAdapter Row 中新增 dashboard,展示 taosadapter 的所有 http 状态码,数据来源为 log 库的 “taosadapter_restful_http_request_total”表。

  • 多维数据场景下的统一告警

Grafana 8.x 之后的版本添加 unified alert, TDengine Grafana plugin v3.2.9 添加了对多维数据场景下 unified alert 支持。在 add query 面板设置 “INPUT SQL”、 “Group by column name(s)” 即可展示多维数据,然后添加 expression 设置数据的阈值,即可配置 unified alert。

详细信息可以参考发布说明。欢迎大家下载使用 TDengine,有任何问题,都可以添加小T vx:tdengine1 申请加入 TDengine 用户交流群,及时向我们的解决方案专家寻求支持与帮助。

3.0 banner.jpg

标签:删除,TDengine,标签,等七大,集群,3.0,数据
From: https://blog.51cto.com/tdengine/6122763

相关文章