首页 > 其他分享 >dremio+nessie+dbt+ cube.js 实现简单数据服务

dremio+nessie+dbt+ cube.js 实现简单数据服务

时间:2024-01-11 15:36:34浏览次数:72  
标签:数据服务 dremio cube js nessie dbt

以前我简单写过关于dremio与cube.js 集成的,随着dremio 官方自己维护了一个dbt 的adapter 以及nessie 方便的类似
git 的多版本元数据服务的提供,将这几个集成在一起是一个很不错的选择,尤其是希望实现自己的headless bi 服务,同时
利用dbt 强大的数据建模能力,可以实现数据模型开发的工程化,dbt 提供了一个MetricFlow 但是缺少查询执行能力(开源版)
基于cube.js 的语义层能力,可以方便的实现数据服务

参考图

玩法说明

包含了一个算是比较完整的集成玩法,从基于git 的dbt 模型开发,然后是集成nessie 做为元数据存储,我么开发的数据模型可以直接存储在
nessie中,对于生成的语义层模型(存储在dremio 中),我们可以开发相关的数据服务,比如直接基于jdbc,rest 的数据服务,以及直接使用cube.js 实现的headless bi 可以实现比较灵活的数据开发,对于模型的变动可以基于dbt 的调试利用git 管理实现工程化,当然因为基于了nessie 的元数据存储服务,我们也可以实现方便的历史以及变动管理,同时数据质量部分也是可以基于dbt 辅助解决的

说明

以上是一个简单的集成说明,实际上集成起来也比较简单,对于希望实现一个相对标准的数据服务的可以参考

参考资料

https://cube.dev/use-cases/semantic-layer
https://www.dremio.com/
https://docs.dremio.com/current/sonar/client-applications/clients/dbt/

标签:数据服务,dremio,cube,js,nessie,dbt
From: https://www.cnblogs.com/rongfengliang/p/17958669

相关文章

  • 工程从keil移植到cube ide 无法进入stop mode的问题
    我们公司不准再使用keil了,得换成cubeide,于是我要把之前的工程移植到cubeide上。这次移植的工程里,有一个进入stopmode低功耗的功能。我在keil中使用的标准库实现:当没有触发外部中断(外部中断脚接了一个传感器的中断脚,通过传感器的中断来唤醒停止模式)的时候进入停止模式:if(it_f......
  • STM32CubeMX教程12 DMA 直接内存读取
    使用STM32CubeMX软件配置STM32F407开发板上串口USART1进行DMA传输数据,然后实现与实验“STM32CubeMX教程9USART/UART异步通信”相同的目标1、准备材料开发板(正点原子stm32f407探索者开发板V2.4)ST-LINK/V2驱动STM32CubeMX软件(Version6.10.0)keilµVision5IDE(MDK-Arm)CH340G......
  • stm32 CubeMx 怎么实现SD卡/sd nand FATFS读写测试
    本实验仅用于记录和分享技术经验若涉及侵权请联系我删除。stm32CubeMx实现SD卡/sdnandFATFS读写测试。材料:stm32F407ZGT6开发板、雷龙公司的SD_NAND测试板(CSNP1GCR01-AOW)。(一开始是使用Nandflash的操作起来不太方便而且stm32cubemx自带的fatfs还没有磨损平衡算......
  • dremio nessie 集成玩法
    昨天我简单写了dremio集成nessie的玩法,实际上dremio与nessie的集成可以分为两大类,一类是使用nessie做为catalog服务(当然也是支持写入iceberg的),一类是基于外部工具(spark,flink)使用nessie做为metadatastorage然后dremio查询参考玩法图外部工具类的catalog类的此时ness......
  • stm32学习总结:6、Proteus8+STM32CubeMX+MDK仿真蜂鸣器及ADC读取电压(Proteus标签整理原
    stm32学习总结:6、Proteus8+STM32CubeMX+MDK仿真蜂鸣器及ADC读取电压(Proteus标签整理原理图)文章目录stm32学习总结:6、Proteus8+STM32CubeMX+MDK仿真蜂鸣器及ADC读取电压(Proteus标签整理原理图)一、前言二、资料收集三、STM32CubeMX配置按键及蜂鸣器连接口1、按键及LED的IO口配置2、......
  • stm32学习总结:5、Proteus8+STM32CubeMX+MDK仿真串口并使用串口打印日志(注意重定向prin
    stm32学习总结:5、Proteus8+STM32CubeMX+MDK仿真串口并使用串口打印日志(注意重定向printf到串口打印的问题)文章目录stm32学习总结:5、Proteus8+STM32CubeMX+MDK仿真串口并使用串口打印日志(注意重定向printf到串口打印的问题)一、前言二、资料收集三、注意事项四、STM32CubeMX配置五、......
  • dremio hive jdbc arp date 类型问题记录
    简单记录下碰到的一些问题分析arthasstack查看调用对于hive是类似的,我测试的是mysql的stackcom.mysql.cj.jdbc.result.ResultSetImplgetDate效果ffect(classcount:2,methodcount:4)costin329ms,listenerId:11ts=2023-12-2606:18:17;thread_name=e3-1a758f......
  • dremio nessie数据源集成简单说明
    nessie是一个强大的支持类似git分之特性的apacheiceberg智能元数据存储,主要测试下基于nessiedremio元数据存储(catalog)集成参考架构环境准备docker-compose文件version:"3"services:minio:image:minio/minioports:-"9000:9000"-"19001:190......
  • ZCube:在我的优惠券中的落地实践 | 京东云技术团队
    前言我的优惠券作为营销玩法的一种运营工具,在营销活跃场中起到很至关重要的作用。如何更加高效的赋能业务,助理业务发展,灵活扩展业务,是我们一直追求和思考的方向一、背景1.1现状营销中台作为券的“供应链端”,控制券的所有类型。我的优惠券作为工具,提供用户已有优惠券的展示列表,不......
  • STM32CubeMX教程1 工程建立
    1、准备材料开发板(STM32F407G-DISC1)ST-LINK/V2驱动STM32CubeMX软件(Version6.10.0)keilµVision5IDE(MDK-Arm)2、实验目标使用STM32CubeMX软件建立一个STM32F407的空工程3、建立流程3.1、打开STM32CubeMX软件如下图所示为STM32CubeMX软件主界面3.2、开始建立工程单击......