昨天我说了dremio发布了25.2提供了新的catalog支持，之后过了一段时间dremio同时也提供了软件包以及github源码的更新说明25.1版本构建关于dremio-js的私服问题在这次代码中也看到解决了，新功能代码可以看看参考资料https://github.com/dremio/dremio-oss/blob/master/ui/

就在昨天dremio发布了25.2版本，此版本对于catalog的支持添加了两个新的（PolarisCatalog以及UnityCatalog）说明其他主要是关于历史bug的fix对于新catalogce版本实际上只PolarisCatalog，默认没开启，需要通过plugins.restcatalog.enabled开启，新版本目前docker镜像已经提供

dremio从25.1版本开始，支持sql预编译了，可以更好的提升系统的安全性参考使用传统jdbc模式Connectionconn=DriverManager.getConnection("jdbc:dremio:direct=localhost:31010;schema=sys","admin","admin123");Stringsql="select*frompg.public.senso

就在昨天dremio发布了25.1.1主要是一些bug的fix，尤其是在25.1版本对于script保存的问题说明完整的变动信息可以参考官方文档，目前oss代码以及下载包，docker镜像已经都上传了，可以体验下参考资料https://docs.dremio.com/current/release-notes/version-250-releasehttps:/

dremio25.1已经发布了好几个礼拜了，以前说过github社区版25.1版本的没有提交最新的，最近看了下github已经提交新的了而且这次应该是比较完整的构建上的一些问题jdk依赖这个保持不变，同时看官方一些信息对于maven构建已经调整了，有了不错的支持ui组件目前@dremio/dremi

就在今天dremio发布了25.1版本（社区版）同时提供了docker镜像以及下载地址说明目前官方还缺少releasenote说明，目前来说github代码尽管提交了，但是不是新的（只更新了mavenpackageversion），从简单测试上，的确有一些bug修复，但是目前官方博客的一些新特性介绍，暂时测试没体现出来，可能是

就在今天dremio发布了25.1版本（社区版）同时提供了docker镜像以及下载地址说明目前官方还缺少releasenote说明，目前来说github代码尽管提交了，但是不是新的（只更新了mavenpackageversion），从简单测试上，的确有一些bug修复，但是目前官方博客的一些新特性介绍，暂时测试没体现出来，可能

就在今天dremio提供了25.0.5社区版的下载地址，但是目前docker镜像暂时还没提供，以下是基于eclipse-temurin:11.0.23_9-jdk基础镜像的一个可用镜像DockerfileFROMeclipse-temurin:11.0.23_9-jdk LABELmaintainer=Dremio COPYdremio-community-25.0.5-2

以前说过基于修改dremio服务的静态index.html实际上还有一种方法就是直接通过nginx的sub_filter指令，以下是简单说明配置核心是nginx，后端服务就不需要修改了nginx.conf核心是sub_filter的匹配处理worker_processes1;events{worker_connections

dremioui处理上部分直接依赖了locationpathname对于使用默认的/的proxy是没有问题的，但是很多时候我们需要自己配置一个proxypath，以下简单说明下问题，以及解决方法环境准备docker-composeversion:"3"services:nginx:image:nginx:alpine

对于dremio分布式存储的配置我们直接修改配置文件，当然基于环境变量参考配置dremio:platform:linux/x86_64image:dremio/dremio-oss:latestports:-9047:9047-31010:31010-32010:32010container_name:dr

说明此服务是从25.0开始包含的，同时在releasenote中也有说明，以下主要说明下内部实现release信息如下，具体就不翻译了，主要是添加了一个每个任务进行每个view最大保留50个历史信息Addeddailycatalogmaintenancetaskstotrimhistoryofviewstoamaximumof50

dremio-stress是基于rest埃及jdbc的dremio压力测试工具，实现上相对简单，并不是比较复杂的东西，可以结合一些业务场景使用同时建议和dremio-diagnostic-collector配合起来说明此工具应该并非官方的，实际如果需要进行大规模测试基于tpc-h会更加标准参考资料https://github.com

以前是简单说明过dremio的UserService，dremio实际上支持内部以及外部用户的玩法类图可以看到，包含了simple以及executor两个，同时实现了UserServiceEvents支持发布订阅能力的接口（订阅是25.0版本的）executor的实现实际上是为空的，核心是方便执行节点bindUserService，实际内

实际上属于dremio社区一个问题，内部实际上是dremio对于格式化插件支持的问题,不少是基于文件格式硬编码的，尽管我们可以自定义格式化插件，但是对于已经支持的就有点不是很方便了，可以直接复用现有的，以下说明下修改以及处理直接修改JSONFormatPlugin代码支持jsonl参考如下Fo

@lakehouse-rs/flight-sql-client是基于rust开发的nodearrowflightsqlclient，dremio目前也是推荐基于arrowflightsql的访问模式参考代码package.json{"name":"node-arrow-flight-sql","version":"1.0.0","ma

dremio对于日志的配置支持基于系统属性以及环境变量的模式，对于环境变量实际上也是使用的系统属性参考配置系统属性可以直接通过dremio-env文件添加-Ddremio.log.path=/opt/dremio/logs环境变量直接添加环境变量就可以了DREMIO_LOG_DIR=/o

最近在dremio25.0版本碰到了一些问题，以下说明下原因以及处理问题现象问题实际上此问题是执行节点报的错误，并不是协调节点的，早期一直以为是协调节点的，结果通过分析调试发现是协调节点报的错误Thesource[xxxx]iscurrentlyunavailable.Metadataisnotaccess

dremio25.0开始对于数据源的存储支持加密了，所以升级上稍有不同，官方给出的操作流程如下参考处理//对于已经运行的，应该先stop，然后进行应用包的替换dremiostop//执行dremio-admin的upgradedremio-adminupgrade//启动dremiostart//停止drem

dremioSchemaMutability属于一个枚举，定义了schema的可变性能力()参考定义publicenumSchemaMutability{@Tag(1)ALL(true,true,true,true), @Tag(2)NONE(false,false,false,false), @Tag(3)SYSTEM_TABLE(false,true,false

dremio25.0版本已经发布了，但是如果希望自己源码构建，但是缺少一些依赖造成编译会有问题，但是我们可以直接基于官方提供的下载包的文件进行maven私服的重建，以下说明下简单流程参考流程下载软件包这个可以从dremio官网下载到最好选择一个可以构建的分支本地构建下此步

就是最近dremio25.0发布了，昨天在体验了之后似乎一些功能与实际的说明是不太一样的（也可能是社区版的问题）一些问题nessiecatalogga了官方的说法是支持基于api以及ALTERTABLE，ALTERVIEW进行反射更新的，但是似乎是不行的，同时结合源码看就是暂时还支持，只是sql解析支持了

AsyncStreamConf主要是关于异步以及cache配置属性的参数配置，dremio存储扩展不少都实现了此接口参考实现使用的地方整体使用 存储插件基本都会使用到，包含了一些reader，同时还有文件系统的包装处理 ceCacheFileSystemWrapper的使用 这个是dremioce包中的一个CacheF

关于dremio实际大规模部署的记录，内容来自官方文档dremio组件架构参考图此图包含了dremio的ha以及扩展，包含了主备Coordinator（故障转移的）提高查询性能的Coordinator，以及进行实际查询的执行器此部署中依赖lb，共享存储（nfs类的），zk（协调选举的），分布式存储（当然也可以使用共享存储，但

以前简单介绍过soda数据质量工具，以下是关于dremio集成的一个说明环境准备dremiodremio基于docker部署,具体可以参考https://github.com/rongfengliang/dremio_cluster_docker-composesodasoda包含了library以及core，我使用了core，不依赖cloud，基于venvpython