版本发布｜TDengine 3.0.3.0 为数据压缩、事件窗口等七大功能加“Buff”

TDengine 3.0 自去年 8 月份发布以来，已经被大量用户下载使用。在此过程中，涛思的研发同学也没有懈怠，针对大家在社群、各种我们能触达到的平台上提出的种种有价值的反馈，都一一进行了记录，并开始寻求更高效的实现方法。

终于，在 2023 年的第一季度， TDengine 第一个重要改进版本 3.0.3.0 发布，这一版本涉及到的更新内容包括数据重整、事件窗口、标签索引、taosX、taosExplorer 等功能或组件。经过这一系列的功能优化与加强，TDengine 的性能、易用性、运维便利性都有大幅提升。

下面我们一起来看一下这一版本的详细更新信息：

数据重整 (Data Compact) ——Enterprise only

包含以下优化：

• 对写入数据库中所有 Vnode 的所有数据文件进行重整，生成新的落盘文件
• 清除已删除的表的所有数据
• 清除 delete 语句删除的所有数据
• 合并更新的所有数据
• 生成新的文件，提升查询性能

借助此功能，用户可以重整数据库，清除掉无用数据、重复数据。除了能够释放存储空间外，查询性能也会有巨大的提升，且原有的乱序数据和重复数据的比例越高性能提升越显著。

事件窗口 (Event Window)

包含以下优化：

• 按照用户指定的条件来决定开启和结束窗口的边界
• 丰富窗口类型，提供更灵活的窗口支持，满足由事件驱动的业务需求

更详细信息请参考官方文档。

标签索引 (Tag Index)

包含以下优化：

• 可以按需在标签列上创建和删除索引，之前版本仅对第一个标签内置了索引
• 可以按需创建标签索引，提升基于标签过滤的查询的性能

taosX——Enterprise only

包含以下优化：

• 从 2.x 到 3.0 以及 3.0 到 3.0 的数据复制，包括存量和增量数据
• 备份数据到本地文件，从本地文件恢复数据

详细说明：

• 支持 select-with-stable tables 参数（2.6 迁移到 2.6 下）
• 增强错误处理
• REST API support for Data In.
  • Add name field for task props （数据源命名）.
  • Add labels field (更方便和定制化地对任务进行标记和查询)
  • Add detail query parameter (数据源 DSN 自动解析，用于查看和编译数据源)
  • Add trigger field for task schedule (定时自动增量备份).

• 修复 2.6 内存泄漏问题
• 修复 unreachable 和 panic 问题

taosExplorer——Enterprise only

使用该工具可基于 Web UI查看、操作、和管理 TDengine 集群。

详细说明：

• Data Explorer——
  • 使用图形界面查看和浏览集群中的数据库、超级表、子表、普通表
  • 使用图形界面创建和删除库、超级表、子表、普通表
  • 输入和执行 SQL 语句，查看执行结果
  • 收藏常用的 SQL 语句以快速执行
  • 浏览 SQL 语句的执行记录

• 数据导入(Data In)——从另一 TDengine 集群导入数据
• 创建和删除 Topic
• 创建和删除流
• 管理用户和权限
• 备份数据到本地文件和从本地文件恢复
• 从另一集群复制数据到当前集群，从当前集群复制数据到另一集群
• 集群管理和运维——添加/删除 dnode/mnode/gnode
• 基于 Grafana 进行集群监控

Java/Python 连接器

• 优化后的连接器支持基于 WebSocket 的消息订阅
• 既支持 TDengine Cloud 也支持独立部署的 TDengine 集群
• 类似 REST，可以不依赖 taosc library，但比 REST 性能更好
• 接口风格和 Kafka 基本一致
• API 和示例代码详见官网文档

Grafana Plugin

• Dashboard 可以监控 HTTP status code

在 TDinsight V3.x TaosAdapter Row 中新增 dashboard，展示 taosadapter 的所有 http 状态码，数据来源为 log 库的 “taosadapter_restful_http_request_total”表。

• 多维数据场景下的统一告警

Grafana 8.x 之后的版本添加 unified alert， TDengine Grafana plugin v3.2.9 添加了对多维数据场景下 unified alert 支持。在 add query 面板设置 “INPUT SQL”、 “Group by column name(s)” 即可展示多维数据，然后添加 expression 设置数据的阈值，即可配置 unified alert。

详细信息可以参考发布说明（https://github.com/taosdata/TDengine/releases/tag/ver-3.0.3.0）。欢迎大家下载使用 TDengine，有任何问题，都可以添加小T vx：tdengine1 申请加入 TDengine 用户交流群，及时向我们的解决方案专家寻求支持与帮助。