首页 > 其他分享 >dremio parquet zstd 压缩支持docker 镜像

dremio parquet zstd 压缩支持docker 镜像

时间:2022-10-24 23:25:07浏览次数:79  
标签:opt dremio minio zstd parquet 镜像 COPY

为了方便测试测试,我构建了一个docker 镜像

镜像

Dockerfile

FROM  dremio/dremio-oss:23.0.1
USER root
COPY dremio.conf /opt/dremio/conf/dremio.conf
COPY --from=hengyunabc/arthas:latest /opt/arthas /opt/arthas
COPY zstd-jni-1.5.0-1.jar /opt/dremio/jars/3rdparty/
COPY libhadoop.so.1.0.0 /opt/dremio/lib/libhadoop.so
COPY dremio-sabot-kernel-23.0.1-202210141019030815-c1de8bcc.jar /opt/dremio/jars/dremio-sabot-kernel-23.0.1-202210141019030815-c1de8bcc.jar
USER dremio

可以使用的镜像

dalongrong/dremio:23.1-zstd

使用

docker-compose

version: "3"
services:
  mongo:
    image: mongo:4.2
    environment:
      - "MONGO_INITDB_ROOT_USERNAME=root"
      - "MONGO_INITDB_ROOT_PASSWORD=dalongdemo"
    ports:
      - "27017:27017"
  minio:
    image: minio/minio
    ports:
      - "9002:9000"
      - "19001:19001"
    environment:
      MINIO_ACCESS_KEY: minio
      MINIO_SECRET_KEY: minio123
    command: server --console-address :19001 --quiet /data
  dremio:
    image: dalongrong/dremio:23.1-zstd
    volumes:
      - ./dat:/data
    ports:
      - "9047:9047"
      - "8849:8849"
      - "31010:31010"

参考资料

https://github.com/rongfengliang/dremio-parquet-zstd
https://www.modb.pro/db/376402

标签:opt,dremio,minio,zstd,parquet,镜像,COPY
From: https://www.cnblogs.com/rongfengliang/p/16823424.html

相关文章

  • dremio parquet zstd 压缩支持尝试
    主要是dremioparquetzstd压缩支持尝试,说明下思路,大家可以参考修改ExecConstants配置sabot/kernel/src/main/java/com/dremio/exec/ExecConstants.java......
  • dremio kernel 模块之DremioSqlDialect
    参考图实际上是继承自calcite的sql方言类  arp扩展的说明目前官方的arp主要是对于sql数据库类型的高级支持,当然需要依赖社区版的arp公共包dremio-ce-jdbc-pluginar......
  • dremio 社区模块的一些说明
    我以前简单说明过dremio依赖的一些社区版的包(木有开源的)以下做一个简单的总结说明社区版模式的开发模式基于独立包进行扩展扩展使用了配置动态加载或者直接引用模式,比如sch......
  • dremio 存储插件之StoragePluginRulesFactory 类简单说明
    StoragePluginRulesFactory是dremio为了分离每个插件的规则,我们存储插件可以包含自己的规则工厂,具体使用到StoragePluginRulesFactory的包含了CatalogServiceImpl,SqlHan......
  • dremio 21 版本之后反射No File System scheme matches 问题解决
    实际属于一个老问题了,整理下,方便使用,主要是我们在使用反射的时候碰到的问题问题如下UnknownFormatConversionException:Conversion='Unknownformat(pdfs)conversio......
  • dremio 23 s3 插件默认ssl 配置问题
    问题描述如下图  操作一般我们会按照(注意需要开启s3兼容模式),以上问题说明是依赖ssl,但是我们已经声明了不使用ssl  或者endpoint带上http如下,数据桶可......
  • dremio 23 版本docker 镜像jdk 说明
    实际上dremio官方在232版本的relasenote中已经说明了关于jdk的处理,在看了最新docker镜像也可以印证此说明参考处理22版本的  23版本的  说明目......
  • dremio 23 社区版发布提供了
    目前dremio23社区版本源码已经开放了同时也提供了docker镜像以及二进制文件,大家可以试用了参考资料https://download.dremio.com/https://github.com/dremio/dremio-o......
  • dremio 社区模块的一些说明
    我以前简单说明过dremio依赖的一些社区版的包(木有开源的)以下做一个简单的总结说明社区版模式的开发模式基于独立包进行扩展扩展使用了配置动态加载或者直接引用模式,比......
  • dremio 存储插件之StoragePluginRulesFactory 类简单说明
    StoragePluginRulesFactory是dremio为了分离每个插件的规则,我们存储插件可以包含自己的规则工厂,具体使用到StoragePluginRulesFactory的包含了CatalogServiceImpl,SqlHa......