首页 > 其他分享 >Pulsar

Pulsar

时间:2024-03-20 17:56:57浏览次数:20  
标签:原生 存储 租户 分片 Apache Pulsar

Pulsar

Pulsar

为什么要学习Apache Pulsar

什么是云原生

  • DevOps:指的就是开发和运维不再是分开的两个团队,而是你中有我,我中有你的一个团队。
  • 微服务:指是应用需要具备低耦合+高内聚。
  • 持续交付:指的在不影响用户使用服务的前提下,频繁将新功能发布给用户使用,当然这一点也是云原生中比较难以达到的。
  • 容器化:指的是在运维的时候,不需要再关心每个服务所使用的技术栈,每个服务都被无差别的封装在容器中,可以被无差别的管理和维度,比如目前docker和k8s。

Apache Pulsar基本介绍

Apache Pulsar是一个云原生企业级的发布订阅(pub-sub)消息系统。

Apache Pulsar的功能与特性

  • 多租户模式;
  • 灵活的消息系统;
  • 云原生架构;
  • segmented Sreams(分片流);
  • 支持跨地域复制;

多租户模式

  • 租户和命名空间(namespace)是Pulsar支持多租户的两个核心概念。
  • 在租户级别,Pulsar为特定的租户预留合适的存储空间、应用授权和认证机制。
  • 在命名空间级别,Pulsar有一系列的配置策略(policy),包括存储配额、流控制、消息过期策略和命名空间之间的隔离策略。

多租户模式

灵活的消息系统

  • Pulsar做了队列模型和流模型的统一,在Topic级别只需要保存一份数据,同一份数据可多次消费。以流式、队列等方式计算不同的订阅模型,大大提升了灵活度。
  • 同时Pulsar通过事务采用Exactly-Once(精准一次)在进行消息传输过程中,可以确保数据不丢不重。

消息队列模式

消息队列模式

流模式

流模式

云原生架构

  • Pulsar使用计算与存储分离的云原生架构,数据从Broker搬离,存在共享存储内部。上层是无状态的Broker,复制消息分发和服务;下层是持久化的存储层Bookie集群。Pulsar存储是分片的,这种架构可以避免扩容时受限制,实现数据的独立扩展和快速恢复。

云原生架构

segmented Sreams(分片流)

  • Pulsar将无界的数据看作是分片的流,分片分散存储在分层存储(tiered storage)、BookKeeper集群和Broker节点上,而对外提供一个统一的、无界数据的视图。其次,不需要用户显式迁移数据,减少存储成本并保持近似无限的存储。

分片流

支持跨地域复制

  • Pulsar中的跨地域复制是将Pulsar中持久化的消息在多个集群间备份。在Pulsar 2.4.0中新增了复制订阅模式(Replicated-subscriptions),在某个集群失效的情况下,该功能可以在其他集群恢复消费者的消费状态,从而达到热备模式下消息服务的高可用。

支持跨地域复制

Pulsar和kafka的对比

标签:原生,存储,租户,分片,Apache,Pulsar
From: https://www.cnblogs.com/ZN-225/p/18085759

相关文章

  • 分享两种Pulsar消息积压topic级别策略老化办法
    本文分享自华为云社区《Pulsar消息积压topic级别策略老化的两种方案》,作者:张俭。Pulsar像大多数消息中间件一样,支持按时间和大小对消息积压进行老化。但是默认的策略只能在namespace级别配置。本文将介绍如何在topic级别实现老化策略的两种方案。方案一:开启TopicLevelPolicy......
  • 分享两种Pulsar消息积压topic级别策略老化办法
    本文分享自华为云社区《Pulsar消息积压topic级别策略老化的两种方案》,作者:张俭。Pulsar像大多数消息中间件一样,支持按时间和大小对消息积压进行老化。但是默认的策略只能在namespace级别配置。本文将介绍如何在topic级别实现老化策略的两种方案。方案一:开启TopicLevelPolicy来......
  • Pulsar3.0 升级指北
    Pulsar3.0介绍Pulsar3.0是Pulsar社区推出的第一个LTS长期支持版本。如图所示,LTS版本会最长支持到36个月,而Feature版本最多只有六个月;类似于我们使用的JDK11,17,21都是可以长期使用的;所以也推荐大家都升级到LTS版本。作为首个LTS版本,3.0自然也是自带了许多......
  • 升级到 Pulsar3.0 后深入了解 JWT 鉴权
    背景最近在测试将Pulsar2.11.2升级到3.0.1的过程中碰到一个鉴权问题,正好借着这个问题充分了解下Pulsar的鉴权机制是如何运转的。Pulsar支持Namespace/Topic级别的鉴权,在生产环境中往往会使用topic级别的鉴权,从而防止消息泄露或者其他因为权限管控不严格而导致的问题......
  • 议题预告 | Pulsar Summit Asia 2022:Day 2 - 英文演讲
    关于PulsarSummitPulsarSummit是ApachePulsar社区年度盛会,它将分布在世界各地的ApachePulsar项目Contributor、Committer和各企业CTO/CIO、开发者、架构师、数据科学家,以及消息和流计算社区的精英召集在一起。于此盛会,大家分享实践经验、交流想法、探讨关于Pulsar项......
  • 从 Pulsar Client 的原理到它的监控面板
    背景前段时间业务团队偶尔会碰到一些Pulsar使用的问题,比如消息阻塞不消费了、生产者消息发送缓慢等各种问题。虽然我们有个监控页面可以根据topic维度查看他的发送状态,比如速率、流量、消费状态等信息。但也有几个问题:无法在应用维度查看他所依赖的所有topic的各种......
  • ReadPaper-Pulsar Survey
    1.TheGiantMetrewaveRadioTelescope(GMRT)1,TheGMRTHighResolutionSouthernSkySurveyforPulsarsandTransients.I.SurveyDescriptionandInitialDiscoverieshttps://ui.adsabs.harvard.edu/abs/2016ApJ...817..130B/abstract2,TheGMRTHigh-resolut......
  • Pulsar集群: instanceId xxx is not match with xxx
    Pulsar集群:instanceIdxxxisnotmatchwithxxx1.问题原因pulsar本地存储的instanceId与zookeeper不一致导致,即使将zookeeper上instanceId强行改为与本地相同的Id依然会报出异常。可能是重复执行了以下命令导致#刚入职的公司,同事说pulsar集群挂了,现在一直在用单节点,让我......
  • 收藏!200+ 精选 Apache Pulsar 资料合集
    ApachePulsar作为云原生时代消息流系统,采用存储计算分离架构,支持大集群、多租户、百万级Topic、跨地域数据复制、持久化存储、分层存储、高可扩展性等企业级和金融级功能。ApachePulsar提供了统一的消费模型,支持消息队列和流两种场景,既能为队列场景提供企业级读写服务质量和强......
  • Some useful links about pulsar timing and search.
    1,Hintsformigratingfromtempo1totempo2[https://www.astro.ubc.ca/people/stairs/tempo2.html]2,TempoReferenceManual[http://nanograv.github.io/tempo/reference_manual.html]3,Pulsarclockcorrections[https://ipta.github.io/pulsar-clock-corrections/]......