首页 > 其他分享 >dremio nessie 版本持久化配置简单说明

dremio nessie 版本持久化配置简单说明

时间:2024-01-17 15:25:44浏览次数:27  
标签:dremio 持久 image environment nessie MYSQL ports

dremio 对于nessie 的使用就是一个插件配置,默认基于docker运行的nessie 是没有进行版本持久化的,以下是一个简单说明

配置参考

我基于了pg,实际支持的存储引擎还是很多的

  • docker-compose
version: "3"
services:
  mysql2:
    image: mysql:5.6
    command: --character-set-server=utf8
    ports:
     - "3308:3306"
    environment:
     - MYSQL_ROOT_PASSWORD=dalong
     - MYSQL_USER=boss
     - MYSQL_DATABASE=boss
     - MYSQL_PASSWORD=dalong
  minio:
    image: minio/minio
    ports:
      - "9000:9000"
      - "19001:19001"
    environment:
      MINIO_ACCESS_KEY: minio
      MINIO_SECRET_KEY: minio123
    command: server --console-address :19001 --quiet /data
  dremio:
     build: .
     volumes:
     - ./dremio:/myappdemo
     ports:
       - "9047:9047"
       - "31010:31010"
       - "9090:9090"
  pg:
    image: postgres:16.0
    ports:
      - "5432:5432"
    environment:
    - POSTGRES_PASSWORD=dalongdemo
  nessie:
     image: projectnessie/nessie:0.75.0-java
     environment:
       - NESSIE_VERSION_STORE_TYPE=JDBC
       - QUARKUS.DATASOURCE.USERNAME=postgres
       - QUARKUS.DATASOURCE.PASSWORD=dalongdemo
       - QUARKUS_DATASOURCE_JDBC_URL=jdbc:postgresql://pg:5432/postgres
     ports:
        - "19120:19120"
        - "19121:19121"

简单说明 : 因为nessie基于了quarkus,核心就是参考quarkus 的格式配置,可以基于配置文件以及环境变量

说明

实际生产如果使用对于nessie 的版本持久化是很重要的,否则我们的数据会出现丢失的问题,尽管都存储在s3中,但是数据看不到了

参考资料

https://projectnessie.org/try/configuration/

标签:dremio,持久,image,environment,nessie,MYSQL,ports
From: https://www.cnblogs.com/rongfengliang/p/17970071

相关文章

  • dremio jdbc 访问最好使用链接池工具
    昨天在碰到一个dremiojdbc比较奇怪的问题,按照了标准的jdbc操作(建立链接,创建Statement,处理数据,关闭Statement,关闭连接)当进行多次执行(多次建立连接操作)发现dremio有一个操作异常,造成数据表创建有问题(事务不完整)参考代码 privatestaticvoidv3(){tr......
  • Python pickle 二进制序列化和反序列化 - 数据持久化
    模块pickle实现了对一个Python对象结构的二进制序列化和反序列化。"pickling"是将Python对象及其所拥有的层次结构转化为一个字节流的过程,而"unpickling"是相反的操作,会将(来自一个binaryfile或者bytes-likeobject的)字节流转化回一个对象层次结构。pickling(和unp......
  • dremio 测试特性api 的开启&外部profile查看
    以前简单说过基于代码修改开启test的外部profile能力,实际上官方是由配置参数的,可以在启动的时候添加到配置中配置添加dremio.conf文件debug{allowTestApis:true}检查选项时候开启的一个技巧使用arthas命令使用了arthas的vmtool也可以结......
  • 可持久化线段树学习笔记
    Q&A主席树与可持久化线段树有什么区别?主席树全称:可持久化权值线段树。定义可查询与修改历史版本的线段树。基本思想根据某个定理:空间复杂度一定不会超过时间复杂度。所以我们没有必要在每一次操作时把整个线段树复制一遍。我们在更新版本时,把我们要访问的节点单独......
  • Kubernetes 持久化存储
    Kubernetes持久化存储(nfs网络存储)Kubernetes提供了一种持久化存储的机制,允许将数据存储在容器之外,以便在容器重启、迁移或重新调度之后仍然可以访问。NFS(NetworkFileSystem)是一种网络存储协议,它允许多台计算机共享存储资源。在Kubernetes中,可以使用NFS作为持久化存储的一种选择......
  • fastapi项目 08-持久化APScheduler
    前言在上一篇的中,我们写到可以根据APScheduler第三方库,创建定时任务,但是主程序直接创建完后,定时任务只是存在内存中,如果重启启动主程序,那么我们创建的任务就会消失,需要重新创建,这显然是不行的。我们需要的是不管程序是否启动,我们创建的任务都存在,而不会被删除。于是我们就引入了......
  • dremio dbt + nessie 集成profile 简单说明
    我最近写了一个简单的关于dremio集成nessie以及dbt玩法的说明,以下简单说明下dbt如何配置配置说明对于配置实际上与以前一些介绍类似,集成nessie的使用与其他是类似的,只是集成nessie之后我们的数据开发模型上就有了实际的版本了(dbt集成git之后也会包含版本,是属于模型代码......
  • Redis持久化之RDB和AOF
    Redis是基于内存的,内存中的信息断电丢失,有时需要持久化来解决这个弊端。在之前的文章中Shiro中使用Redis管理session-东方来客-博客园(cnblogs.com)使用了Redis管理Shiro的session。想要配置Redis持久化不是在Maven项目中,而是要通过redis.conf配置来影响Redis,这里通过Doc......
  • dremio jdbc 插件时间增量处理的一些问题
    dremio支持一些增量数据处理能力,同时可以选择增量字段,目前dremio是提供了一些实现,比如反射数据基于iceberg对于增量可以是不同的数据源(jdbc的,文件系统的,iceberg的),日常大家可能选择基于时间戳的(尤其业务系统是基于时间标识的append类型的)对于时间类型(timestamp),不同数据库......
  • dremio+nessie+dbt+ cube.js 实现简单数据服务
    以前我简单写过关于dremio与cube.js集成的,随着dremio官方自己维护了一个dbt的adapter以及nessie方便的类似git的多版本元数据服务的提供,将这几个集成在一起是一个很不错的选择,尤其是希望实现自己的headlessbi服务,同时利用dbt强大的数据建模能力,可以实现数据模型开发的工......