Flink Forward是由Apache官方授权的Apache Flink社区官方技术大会，本次大会介绍了Flink社区的最新动态和发展计划，包括Flink Table Store流批一体的新数仓架构、Flink CDC全增量一体的数据集成、云原生时代的Flink，也对国内外一线厂商围绕Flink生态的生产实践经验进行详细解读，是Flink开发者和使用者不可错过的盛会。在诸多合作伙伴的协助以及技术开发者的支持下，Flink Forward Asia已成功举办4届，本届Flink Forward Asia于2022年11月26-27日在线上顺利举办。
11月27日，XTransfer技术专家孙家宝参与“Flink Forward Asia 2022”线上直播活动，并作为Flink CDC Maintainer成员分享了《Flink CDC & MongoDB 联合实时数仓的探索实践》。
本次分享包括Flink CDC MongoDB Connector在Flink CDC 2.3版本推出的增量快照读特性的实现原理，以及FLIP-262 MongoDB Connector的功能预览。通过这些Connector，使得Flink能够在MongoDB上实现CDC读取、批量读取、Lookup读取、Upsert写入的能力，进而可以联合MongoDB实现轻量级的实时数仓。
Flink CDC 2.3版本在近期发布，新增Db2数据源，MongoDB CDC和Oracle CDC支持增量快照。XTransfer技术团队深度参与了MongoDB增量快照读的贡献，对接增量快照读框架，使MongoDB也实现了并行增量快照的能力。
除了Flink CDC，XTransfer技术团队也参与了Flink Connector生态的完善，在FLIP-262中提议引进 MongoDB Connector，实现批量读取、Lookup读取、 Upsert写入的能力。目前，该提议正在快速推进中。
通过Flink CDC MongoDB Connector和Flink MongoDB Connector，使得Flink 在MongoDB上同时实现批式、流式的处理链路，也让Flink和MongoDB构建轻量级实时数仓成为了可能，使实时数仓的架构选型多了一份选择。
从开源中受益，并力所能及地反哺社区，是XTransfer技术团队所遵循的原则。由XTransfer技术团队贡献的MongoDB CDC Connector，可以为Flink开发者和使用者在建设实时数仓时提供更为方便快捷的路径。
目前，XTransfer技术团队正在关注包括Flink在内多个领域的社区建设，接下来，XTransfer将持续与社区保持互动，继续为社区发展做出贡献。
标签：XTransfer,快照,CDC,MongoDB,Flink,Asia,Connector From： https://blog.51cto.com/u_15429786/5947002