首页 > 其他分享 >dremio 23.0 版本发布

dremio 23.0 版本发布

时间:2022-10-16 22:34:25浏览次数:212  
标签:dremio iceberg 版本 docs 支持 https 23.0 apache

最近dremio 23 版本发布了(社区版以及下载地址还没提供),一些变动还是比较大的

破坏性变动

  • mapr 只支持6.2.0 了,对于mapr 也只支持jdk 11
  • dremio 可以直接读取parquet 文件的map 类型,对于包含了map 类型的需要刷新元数据,同时也支持开关可以关闭此特性

已知的问题

  • 不支持使用相等删除编写的 Iceberg 表(具体待测试,应该是icerge 对应的特性)
  • dml 不支包含map 的列,CTAS 支持

新特性

  • map 类型支持
  • listagg 方便分组聚合了,具体能力还需要测试
  • job profiler 增强,可以快速查找耗时的步骤
  • 不在使用的嵌入式的nessie 历史数据,将被清理,以提升性能以及后续升级问题
  • iceberg timestap 支持查询
  • 宽表支持(以前dremio 有800列的限制,目前来说还有,就是放大了,当然还有不少限制,建议看看官方文档)
  • aws 数据源,支持私有url 格式的数据
  • icegerg 表支持基于位置删除
  • openjdk 8 以及11 废弃,推荐使用其他jdk 替代

说明

其他安全升级以及bug 修复也不少,等待新版本的发布

参考资料

​https://docs.dremio.com/software/release-notes/230-release/​​​​https://docs.dremio.com/software/sql-reference/sql-functions/functions/LISTAGG/​​​​https://docs.dremio.com/software/sql-reference/sql-commands/apache-iceberg-tables/apache-iceberg-select/​​​​https://docs.dremio.com/software/data-sources/wide-tables/​​​​https://iceberg.apache.org/spec/#position-delete-files​​​​https://iceberg.apache.org/spec/#equality-delete-files​

标签:dremio,iceberg,版本,docs,支持,https,23.0,apache
From: https://blog.51cto.com/rongfengliang/5760744

相关文章

  • Libsvm学习网站的数据集读取----matlab版本
    读取LIBSVM的数据起因是在svm学习网站看到奇怪格式的数据,难以读取。后来发现解读此类文件需要利用工具包内的libsvmread函数进行读取。因此,基于Matlab做了此网站数据的读......
  • iCells(Excel插件)第一个版本正式发布
    一、界面二、功能(一)支持连续撤销,由于时间有限,未能开发全部的撤销功能,后期将逐步加入。(二)多种号码校验,特别是身份证校验,对于身份证录入后的校验简直是神器。(三)随机功能......
  • 同一应用docker版本和非docker版本共存下,利用shell脚本获取非docker版本pid
    问题场景:在同一VM上部署了同一应用的docker版本和非docker版本,在基于非docke版本应用做jenkinsCI/CD时,通过ps-ef操作获取应用的pid,会受到docker版本应用的干扰,如下以上......
  • MySQL-8.0版本的docker-compose安装脚本(单实例)
    1.需求场景在开发和测试环境中,或者研究型的环境,对于数据库的安全和稳定性可以稍低一些,那么我们可以通过docker快速部署MySQL服务,降低部署的时间成本。2.脚本2.1目录......
  • vue框架不同构建版本的理解
    例如拿vue框架来说官网对于VUE不同构建版本的解释UMDCommonJSESModule(基于构建工具使用)ESModule(直接用于浏览器)完整版vue.jsvue.common.jsvue.......
  • dremio 测试类SabotNode简单说明
    实际上我以前简单说明过dremio的一些测试类以及如何进行测试一般我们使用BaseTestQuery就可以了实际上对于测试dremio包装了一个SabotNode类,提供了不带ui的测试框架......
  • Typora的安装(当然不是普通版本啦)
    下载Typora安装包-Dominic的蓝奏云安装双击typora-setup-x64.exe然后……都会吧?啊?打钱(bushi)Typora最初是免费的,但开发者也是要恰饭的,所以现在是收费机制,但是今天相......
  • node版本升级,快速有效
    官网https://nodejs.org/en/   直接下载查看node安装路径wherenode  一直next安装,安装路径选择wherenode查到的安装路径,就会覆盖掉原本的低版本 快......
  • npm版本升级
    查看版本号npm-v 清除缓存npmcacheclean-f 安装指定版本[email protected]  安装失败,删除此路径文件  ......
  • linux查看操作系统版本信息
    一、linux下如何查看已安装的centos版本信息:1.Linux查看当前操作系统版本信息 cat/proc/versionLinuxversion2.6.32-696.el6.x86_64([email protected]......