首页 > 其他分享 >dremio 官方对于软件版ha 以及扩展部署的参考方案

dremio 官方对于软件版ha 以及扩展部署的参考方案

时间:2024-03-22 09:33:47浏览次数:33  
标签:dremio 部署 存储 Coordinator master 软件版 ha

关于dremio 实际大规模部署的记录,内容来自官方文档

dremio 组件架构参考图

此图包含了dremio 的ha 以及扩展,包含了主备Coordinator(故障转移的) 提高查询性能的Coordinator,以及进行实际查询的执行器
此部署中依赖lb,共享存储(nfs 类的),zk (协调选举的),分布式存储(当然也可以使用共享存储,但是分布式存储更加方便些,主要是
hdfs,s3,nas 等)

扩展性部署架构

参考图,对于master 没有直接的http,odbc,jdbc 请求,反而是通过scale out 的Coordinator,这些节点与master 进行grpc 的请求
同时master 进行元数据的刷新,反射调度,这样系统的吞吐就可以达到很大的并发了

说明

以上只是简单的说明,实际环境中还是比较依赖主机资源的(cpu,内存,磁盘),所以最好监控,学好分析profile 日志就比较重要了

标签:dremio,部署,存储,Coordinator,master,软件版,ha
From: https://www.cnblogs.com/rongfengliang/p/18088726

相关文章

  • soda-data dremio 集成使用
    以前简单介绍过soda数据质量工具,以下是关于dremio集成的一个说明环境准备dremiodremio基于docker部署,具体可以参考https://github.com/rongfengliang/dremio_cluster_docker-composesodasoda包含了library以及core,我使用了core,不依赖cloud,基于venvpython......
  • 打造个人版ChatGPT:人工智能对话的探索之旅
    大家好,在这里想跟大家分享一个近期我倾心打造的小项目——一款基于先进人工智能技术的对话式交互网站,可以说是“我的ChatGPT”。这款网站旨在通过模拟人类智能对话的方式,为用户提供个性化的信息查询、问题解答及创意启发等功能。点击这里进入自踏入编程世界以来,我一直对人工智能......
  • Ollama、Langchain相关学习资源(动态更新)
    大型预训练模型如GPT系列、BERT系列等,在消费级产品和垂直行业应用中加快了部署步伐,包括但不限于智能客服、内容创作、代码生成、决策支持等领域。随着大模型开源,相关的部署工具和框架也得到发展和完善。例如,出现了一些专门针对大模型本地部署的解决方案,像Ollama(虽然该名......
  • 开源一个教学型分库分表示例项目 shardingsphere-jdbc-demo
    在笔者心中,消息队列,缓存,分库分表是高并发解决方案三剑客。分库分表之所以被广泛使用,因为工程相对简单,但分库分表并不仅仅是分片,还是需要考虑如何扩缩容(全量同步、增量同步、数据校验等)。因此笔者做了一个教学型分库分表示例项目,计划将分库分表的技术体系都实际演示一遍。ht......
  • ConcurrentHashMap底层详解
    ConcurrentHashMap是线程安全且高效的HashMap。一、使用原因在并发编程中使用HashMap可能导致程序死循环。而使用线程安全的HashTable效率又非常低下,基于此产生了ConcurrentHashMap。1.线程不安全的HashMap在多线程环境下,使用HashMap进行put操作会引起死循环,导致CPU利用率......
  • 【数据可视化】Echarts中的其它图表
    个人主页:zxctscl如有转载请先通知文章目录1.前言2.绘制散点图2.1绘制基本散点图2.2绘制两个序列的散点图2.3绘制带涟漪特效的散点图3.绘制气泡图3.1绘制标准气泡图3.2绘制各国人均寿命与GDP气泡图3.3绘制城市A、城市B、城市C三个城市空气污染指数气泡图......
  • 鸿蒙HarmonyOS实战-ArkTS语言(渲染控制)
    ......
  • HandlerInterceptor - 自定义拦截器
    自定义一个类实现HandlerInterceptor接口,加上@Component注解。根据需要重写方法publicinterfaceHandlerInterceptor{defaultbooleanpreHandle(HttpServletRequestrequest,HttpServletResponseresponse,Objecthandler)throwsException{returntrue;......
  • ExceptionHandler-全局异常处理器
    1.出现异常,如何处理?在Controller方法中进行try…catch处理全局异常处理器。Controller抛出的异常没有处理,最终会抛给全局异常处理器处理,处理完后再给浏览器响应统一处理结果集。2.全局异常处理器优点不用强制写try-catch,由全局异常处理器统一捕获处理。(try-catch不仅有大......
  • 【pycharm】作为Array查看出现数据无法显示问题(已解决)
    【pycharm】作为Array查看出现数据无法显示问题(已解决)当我们在调试代码的时候,需要对某个变量进行查看,就如同在matlab中,我们可以直接在工作区对某个变量进行双击查看矩阵变量的具体数值在这里我遇到一个问题:我的pycharm是专业版2023.3.2,在查看变量作为Array查看出现数据......