就是最近dremio 25.0 发布了,昨天在体验了之后似乎一些功能与实际的说明是不太一样的(也可能是社区版的问题)
一些问题
- nessie catalog ga 了
- 官方的说法是支持基于api 以及ALTER TABLE , ALTER VIEW 进行反射更新的,但是似乎是不行的,同时结合源码看就是暂时还支持,只是sql 解析支持了
- 社区版源码构建,目前也是有问题的,maven 依赖暂时还没发布到dremio 的官方仓库中
- 支持禁用web 发送统计信息到外部服务(dremio 方便分析的)配置dremio.ui.outside_communication_disabled key,以前要解决也可以通过一个配置key,但是只是基于浏览器的策略处理的,页面还会有请求( 具体是ui.csp.value 配置) 当然此值在新版本还存在
- 支持反射的定时任务了,目前相对比较简单,还无法实现类似xxljob 等比较灵活的调度,而且还有一些限制
- 支持数据源的加密,以前数据源的配置存储在kv 中实际是明文的,新版本添加了加密支持,内部处理我后边说明下,可以参考以下链接
- 新调整了内存管理,目前核心实现是在ce 包中,同时结合源码看,的确进行了不少调整,按照新版本的玩法,应该是可以规避一些内存问题
- CREATE PIPE 支持,目前此功能官方文档没说,同时社区版是有配置,但是目前也不能使用,看着功能还是挺不错的可以实现一些比较有意思的事情
实际是 pipe ingestion ,一般结合copy from ,按照此功能,似乎以后可能会支持数据pipeline 能力了 - 是提供了一些新的metrics 指标方便监控(官方的开箱即用监控,目前应该是企业版特性)
说明
dremio 25.0 对于使用来可以试用,但是如果希望使用一些新特性还是等下,毕竟目前此版本似乎没提供
参考资料
https://docs.dremio.com/current/release-notes/version-250-release/
services/credentials/src/main/java/com/dremio/services/credentials/SecretsCreator.java
sabot/kernel/src/main/java/com/dremio/exec/catalog/conf/ConnectionConf.java
services/credentials/src/main/java/com/dremio/services/credentials/Cipher.java
services/credentials/src/main/java/com/dremio/services/credentials/AbstractCipher.java
sabot/kernel/src/test/java/com/dremio/exec/planner/sql/parser/TestIngestionParse.java