首页 > 其他分享 >dremio 查询执行阶段简单说明

dremio 查询执行阶段简单说明

时间:2024-03-04 09:03:38浏览次数:58  
标签:dremio 数据源 查询 引擎 简单 执行 节点

内容实际来自官方架构介绍,图以前也在博客中放过,现在进行说明下

参考执行图

阶段说明

参考上图,dremio将执行分为可4个阶段

  • 客户端通过jdbc,odbc,rest 提交查询到协调节点
  • 计划阶段 
    此阶段可以细分3步 
    a. 协调节点解析查询为dremio的通用关系模型 
    b. 协调节点基于数据源的统计信息,生成查询执行计划,以及源的功能能力 
    c. 协调节点进行查询计划的重写(会使用到数据反射,考虑的东西比较多,比如排序,分区,数据分布,以及数据源的能力)
  • 执行 
    此阶段可以细分3步 
    a. 引擎从数据源并行的读取数据为arrow buffers,数据通常直接来自数据湖存储,有时也可能来自数据反射,或者外部数据源 
    当读取外部数据源的时候,引擎提交的是原生查询(jdbc ,mongo。。。) 
    b. 引擎执行查询的查询计划 
    c. 一个引擎合并来自一个或者多个引擎的数据,并通过stream 的模式到协调节点(pipeline)
  • 客户端从协调节点接受数据

说明

所有的数据操作都在执行节点(实际是指sql 数据类的操作),dremio 的执行实际上与大部分分布式查询引擎的流程类似(trino 等),只是dremio 又提供了不少其他比较方便的能力可以加速数据的使用

参考资料

https://www.dremio.com/downloads/DremioArchitectureGuide.pdf
https://www.dremio.com/blog/dremio-cloud-under-the-hood/
https://docs.dremio.com/24.2.x/help-support/lakehouse-arch/

标签:dremio,数据源,查询,引擎,简单,执行,节点
From: https://www.cnblogs.com/rongfengliang/p/18017867

相关文章

  • MySQL查看执行慢的SQL语句(慢查询)
    更新日志点击查看2024年3月4日发布。慢查询日志查看执行慢的SQL语句,需要先开启慢查询日志。MySQL的慢查询日志,记录在MySQL中响应时间超过阀值的语句(具体指运行时间超过long_query_time值的SQL。long_query_time的默认值为10,意思是运行10秒以上(不含10秒)的语句)。......
  • sql常见四种连接查询
    原文链接:https://learn.microsoft.com/zh-CN/sql/relational-databases/performance/joins?view=aps-pdw-2016-au7         https://www.cnblogs.com/alone-striver/p/9055078.html1、内部联接  INNERJOIN2、左外部联接  LEFT[OUTER]JOIN3、右......
  • Django REST framework 安装及简单示例
    Django是python的一个后端服务器框架,用来写webAPI接口简单且方便。Djangorestframework是构建webapi的一个强大而灵活的工具包。 Django官网文档:https://docs.djangoproject.com/en/5.0/ref/settings/Djangorestframework官网文档:https://docs.djangoproject.com/en/5.......
  • ROM简单介绍
    ROM:数据库对象关系映射。作用:它的作用是在关系型数据库和业务实体对象之间作一个映射,这样,我们在具体的操作业务对象的时候,就不需要再去和复杂的SQL语句打交道,只需简单的操作对象的属性和方法。怎么运用:在对数据库有复杂业务交涉时候,只需简单的操作对象属性和方法就可以。1、Sq......
  • 【PG】查询 正在vacuum对象的(持续)时间
    --https://dataegret.com/2017/10/deep-dive-into-postgres-stats-pg_stat_progress_vacuum/SELECTp.pid,now()-a.xact_startASduration,coalesce(wait_event_type||'.'||wait_event,'f')ASwaiting,CASEWHENa.query~*'^autovacuum......
  • dremio ProfileStore 简单说明
    以前简单说明过dremio的jobprofilequery,现在简单说明下dremioProfileStore参考实现如下图,实际上只有一个LocalProfileStore,数据是存储咱爱kvstorage中的,但是对于kv存储的只有完成的profile,其他阶段的数据是直接存储在内存中的使用目前ProfileStore的实现只有LocalPr......
  • 对于需要实时处理的代码语句 就用定时器中断模式,实现多线程模式,建议不要用查询模式。
    对于需要实时处理的代码语句就用定时器中断模式,实现多线程模式,建议不要用查询模式。 示例代码1:查看代码#include"delay.h"#include"sysInt.h"#include"intrins.h"charSMGDuan[]={0x5B,0x3F,0x5B,0x66, 0x40,0x40, 0x3F,0x3F}; //2024--MMcharsegDuan[]={0x3F,0......
  • 简单封装 Flurl
    FlurlHttpClient类publicclassFlurlHttpClient{privatereadonlyFlurlClientclient;publicFlurlHttpClient(FlurlClientclient){this.client=client;client.WithHeader("hteder","hhhhh");//请求头}......
  • Ubuntu22.04简单美化
    Ubuntu美化环境Ubuntu版本:Ubuntu22.04.4LTSGnome版本:42.9开始更新镜像源sudoapt-getupdate安装工具安装应用程序:tweaks(优化),扩展程序sudoapt-getinstallgnome-tweakssudoapt-getinstallgnome-shell-extensions安装浏览器扩展gnome-shell-integration......
  • PostgreSQL、KingBase 数据库 ORDER BY LIMIT 查询缓慢案例
    好久没写博客了,最近从人大金仓离职了,新公司入职了蚂蚁集团,正在全力学习 OcenaBase 数据库的体系结构中。以后分享的案例知识基本上都是以OcenaBase分布式数据库为主了,呦西。......