关于dremio 实际大规模部署的记录,内容来自官方文档
dremio 组件架构参考图
此图包含了dremio 的ha 以及扩展,包含了主备Coordinator(故障转移的) 提高查询性能的Coordinator,以及进行实际查询的执行器
此部署中依赖lb,共享存储(nfs 类的),zk (协调选举的),分布式存储(当然也可以使用共享存储,但是分布式存储更加方便些,主要是
hdfs,s3,nas 等)
扩展性部署架构
参考图,对于master 没有直接的http,odbc,jdbc 请求,反而是通过scale out 的Coordinator,这些节点与master 进行grpc 的请求
同时master 进行元数据的刷新,反射调度,这样系统的吞吐就可以达到很大的并发了
说明
以上只是简单的说明,实际环境中还是比较依赖主机资源的(cpu,内存,磁盘),所以最好监控,学好分析profile 日志就比较重要了
标签:dremio,部署,存储,Coordinator,master,软件版,ha From: https://www.cnblogs.com/rongfengliang/p/18088726