关于 Pulsar Summit
Pulsar Summit 是 Apache Pulsar 社区年度盛会,它将分布在世界各地的 Apache Pulsar 项目 Contributor、Committer 和各企业 CTO/CIO、开发者、架构师、数据科学家,以及消息和流计算社区的精英召集在一起。于此盛会,大家分享实践经验、交流想法、探讨关于 Pulsar 项目和社区的知识,切磋互动。
Pulsar Summit Asia 2022 将于 11 月 19-20 日线上举办,本次大会共分为 2 天进行。第一天为中文论坛,第二天为英文论坛,汇聚亚洲及全球技术大咖分享 Apache Pulsar 实践经验、场景案例、技术探究和运维故事,交流探讨 Pulsar 一线落地技术干货。
在本次 Pulsar Summit Asia 2022 上,有数位来自腾讯的技术专家与讲师,将分享 Apache Pulsar 在游戏、大数据、腾讯云、微信等方向的落地实践。
打通 Apache Pulsar 与 Envoy,构建高效游戏 OTO 营销平台实践
江烁
腾讯互娱 GDP 微服务开发平台网关技术负责人
在游戏营销中,OTO 模式(One Time Offer)可以很好地提升用户体验和游戏运营效果。其中,比较常见的一种 OTO 场景就是当玩家达到某个条件就即时推荐某种物料,以实现对用户的精细化运营效果。要低成本高效实现这种能力,可以利用自定义的 Envoy 扩展插件,实现其对 Pulsar 协议的支持。加上 Envoy 已有灵活的路由规则配置以及现有大量功能插件,通过微服务轻松实现各种 OTO 业务场景。本次演讲主要分享我们在多个业务场景的实践经验,利用Pulsar、Envoy 和微服务等方式手段构建 OTO 场景化营销平台。
支撑万亿数据规模,Apache Pulsar 在腾讯大数据的实践
张大伟
腾讯高级软件工程师,Apache Pulsar Committer
目前腾讯大数据已经达到数十万亿级别,高可靠、高一致场景数据也达到了数千亿规模,对 MQ 的选型和要求极其严格,Apache Pulsar 凭借云原生特性与诸多 MQ 企业级特性在腾讯大数据业务得到丰富落地,团队也获得了深度沉淀。本次分享将从多个场景入手,分析 Apache Pulsar 在腾讯大数据业务的落地经验。
依赖 Geo Replication 功能实现租户跨集群迁移功能
韩明泽
腾讯云中间件高级研发工程师, RoP Maintainer
Apache Pulsar 中提供了 Geo Replication 功能,用来实现集群间数据复制,我们基于当前跨集群数据复制的能力,并对lookup阶段进行改造,实现了租户的在集群间的无感迁移功能。本 talk 会详细阐述依赖 Geo Replication 功能实现租户跨集群迁移的完整逻辑。同时,这里我们还针对对原生的订阅复制功能的缺陷进行了改进,迁移集群之前,增加同步individuallyDeletedMessages 的逻辑,减少集群迁移后消重复消费的情况。
Apache Pulsar 在微信的大流量实时推荐场景实践
刘燊
腾讯微信高级研发工程师
Apache Pulsar 在微信中已经得到了大规模的生产实践。本次演讲主要介绍微信基于 Pulsar 在大流量实时推荐场景下的实践,包括大流量场景下在 K8S 中的部署、非持久化 topic 的应用、负载均衡与 cache 策略优化、COS Offloader 开发与应用等内容。听众可以学习到 Apache Pulsar 在大流量实时推荐场景下的实践经验。
详解 Apache Pulsar 消息生命周期
冉小龙
腾讯云中间件高级研发工程师,Apache Pulsar Committer
Apache Pulsar 中抽象了 Topic 来承载用户所发送的消息,当一条消息发送到 Topic 中之后,会经过 Broker 的计算然后存储到 Bookie 中。本 talk 会详细阐述消息是如何发送到 Broker 并经过 Broker 的计算以及元数据处理最终存储到Bookie 中。然后会进一步阐述 Bookie 是如何利用垃圾回收机制回收 Topic 中的数据,以及 Broker 中的 TTL 和Retention 策略是如何作用到 Bookie Client 来触发垃圾回收的机制。
腾讯天穹 StarRocks 原生支持 Pulsar 数据源的原理和实践
程广旭
腾讯大数据 OLAP 平台技术负责人,Apache HBase & InLong PMC 成员
在腾讯内部,由于 Pulsar 在性能、可用性、运维便捷性等方面的优势,有很多的用户将其作为主要的 MQ 组件;StarRocks 作为新一代极速全场景 MPP 数据库,其极致性能和统一的分析体验也吸引了越来越多的用户将其作为OLAP 分析引擎;而两者的有力结合,为腾讯内部用户在数据接入和分析上提供了极大的便利。
议题主要内容包括 StarRocks 实时数据接入 (routine load)详解,Pulsar routine load 实现方案以及该方案在腾讯天穹StarRocks 的实践。