首页 > 其他分享 >底层架构

底层架构

时间:2024-05-03 12:33:05浏览次数:26  
标签:存储 Overlord 架构 查询 服务器 MiddleManager 数据 底层


一:角色分类
(1)Coordinator 协调器: 协调器服务监视数据服务器上的历史服务。他们负责将区段分配给特定服务器,并确保区段在历史服务器之间保持良好的平衡。
(2)Overlord: 控制数据摄入任务的分配,Overlord 服务监视数据服务器上的 MiddleManager 服务,并且是将数据摄取到 Druid 。他们负责将引入任务分配给MiddleManager,并协调segment发布。
(3)Broker: 处理来自外部客户端的查询,代理服务接收来自外部客户端的查询,并将这些查询转发到数据服务器。当 Broker 收到来自这些子查询的结果时,它们会合并这些结果并将其返回给调用方。
(4)Router:路由请求到 Brokers, Coordinators, and Overlords.
(5)Historical:数据的存储,存储历史数据。
(6)MiddleManager 和 Peon:管理具体数据的摄入,并存储实时数据。
(7)Indexer:索引器是 MiddleManager + Peon 任务执行系统的替代方法。

二:外部依赖
(1):深度存储
通常使用hdfs,实时任务发送segment,会将数据存储的深度存储,然后coordinator 通知historical节点从hdfs加载到磁盘。

(2):元数据存储
元数据存储保存各种共享系统元数据,例如区段使用情况信息和任务信息。在群集部署中,这通常是传统的 RDBMS,如 PostgreSQL 或 MySQL。在单服务器部署中,它通常是本地存储的 Apache Derby 数据库。

(3):zookeeper
用于内部服务发现、Coordinator和Overlord选举。

标签:存储,Overlord,架构,查询,服务器,MiddleManager,数据,底层
From: https://www.cnblogs.com/hts-technology/p/18171106

相关文章

  • 架构每日一学 1:成为一名架构师,你必须具有“战略意图”
    本文首发于公众号:腐烂的橘子前言最近学习了《郭东白的架构课》,受益良多。作为一名普通程序员,有时候不禁想问公司里的架构师大牛是怎么成长的,为什么他可以是一名架构师,而我们只能在公司里写代码做需求?郭在文章中提出了很多超出以往认知的观点,让我重新审视了架构师这个职业。除......
  • 从0到10Wqps,大厂的智能客服平台,如何实现架构演进?
    文章很长,且持续更新,建议收藏起来,慢慢读!疯狂创客圈总目录博客园版为您奉上珍贵的学习资源:免费赠送:《尼恩Java面试宝典》持续更新+史上最全+面试必备2000页+面试必备+大厂必备+涨薪必备免费赠送:《尼恩技术圣经+高并发系列PDF》,帮你实现技术自由,完成职业升级,薪......
  • 蚂蚁面试:Springcloud核心组件的底层原理,你知道多少?
    文章很长,且持续更新,建议收藏起来,慢慢读!疯狂创客圈总目录博客园版为您奉上珍贵的学习资源:免费赠送:《尼恩Java面试宝典》持续更新+史上最全+面试必备2000页+面试必备+大厂必备+涨薪必备免费赠送:《尼恩技术圣经+高并发系列PDF》,帮你实现技术自由,完成职业升级,薪......
  • Redis持久化、主从与哨兵架构详解
    参考图灵课堂https://zhuanlan.zhihu.com/p/443951927https://blog.csdn.net/weixin_37548768/article/details/124538778?spm=1001.2014.3001.5502https://www.runoob.com/redis/redis-transactions.html   redis支持持久化到磁盘,这样可用进一步保证数据的完整性。re......
  • Redis 高可用之主从架构与哨兵集群
    在redis实例宕机后,通过AOF和RDB可以恢复数据,这是高可用的一部分。但是在宕机期间,如何持续提供服务呢?这是高可用的另一部分。redis的方案是主从库模式,在主库宕机后,由从库提供服务。主从架构遵从单线程处理原则,从库只接受读请求,写请求都在主库执行,主库执行后再同步到从库中去。在......
  • 详解安卓架构入门
    准备首先进入安卓架构入门的代码仓库:AndroidArchitectureStarterTemplates:https://github.com/android/architecture-templates先看看介绍,简单分析一下:架构入门的模板UI界面非常简陋Navigation导航协程和FlowHilt依赖注入Hilt虚假数据进行UI测试提供了两个......
  • 分享一份物联网SAAS平台架构设计
    一、架构图****二、Nginx****用于做服务的反向代理。三、网关****PaaS平台所有服务统一入口,包含token鉴权功能。四、开放平台****对第三方平台开放的服务入口。五、MQTT****MQTT用于设备消息通信、内部服务消息通信。六、Netty****Socket通信设备连接服务。七......
  • Mysql锁机制与优化实践以及MVCC底层原理剖析
    学习来源-图灵课堂https://vip.tulingxueyuan.cn锁学习参考:https://juejin.cn/post/7307889500545253395  锁机制为了保证数据的一致性,当访问共享变量的时候我们可以针对共享数据加锁,但是加锁要时要注意加锁的成本,还有加锁的粒度,还有就是是否会发生死锁,还有就是发生了死锁......
  • openGauss MOT纵向扩容架构
    MOT纵向扩容架构纵向扩容即为同一台机器添加额外的核以增加算力。纵向扩容是传统上为单对控制器和多核的机器增加算力的常见形式。纵向扩容架构受限于控制器的可扩展性。技术要求MOT旨在实现以下目标:线性扩容:MOT提供事务性存储引擎,利用单个NUMA架构服务器的所有核,以提供近线......
  • openGauss MOT纵向扩容架构
    MOT纵向扩容架构纵向扩容即为同一台机器添加额外的核以增加算力。纵向扩容是传统上为单对控制器和多核的机器增加算力的常见形式。纵向扩容架构受限于控制器的可扩展性。技术要求MOT旨在实现以下目标:线性扩容:MOT提供事务性存储引擎,利用单个NUMA架构服务器的所有核,以提供近线......