伴随着云计算和数字化浪潮的推进，越来越多行业数据实时性的权重正在被加速提升，对企业而言，如果想要保证业务的持续发展，其底层数据库必须要能满足数据的实时性和高并发要求。
除此之外，在降本增效的大潮下，“高性价比”也成为企业选择一款数仓的重要因素。
那么，企业应该如何构建自己的实时数仓体系，并兼具性能、成本、运维等全部需求？
让我们把视线聚焦到数字广告行业，这家企业仅仅用了 11 天，在数据处理方面，就实现了效率提升 40%、成本降低 30%。这就是数字化广告平台——布鲁肯。
业务背景：实时数仓是广告业数据引擎的核心动力
作为一家数字化广告平台，布鲁肯覆盖全渠道自助式变现解决方案，为移动开发者提供增长和变现一体化的商业解决方案。一方面，布鲁肯帮助媒体端（如电商平台、社媒网站等）获得更大的流量和广告收益，另一方面帮助广告主提供足够精准的广告投放策略，以提高产品曝光。
以 APP 开屏广告展示为例，开屏广告展现在人们眼中的时间仅需 200ms，甚至是 100ms。在如此短时间内，上演的却是一个完整周期的广告模型——从打开时的接受用户数据，到基于用户数据生成对应的广告策略，最终再反馈到产品端进行前端展示。
而为这个复杂精密的实时数字广告模型提供核心动力的，是布鲁肯的底层实时数据仓库，在特定节日大促期间如 618、双 11 等，底层的数据流转则更是会被以十倍、乃至百倍的要求提速。
业务痛点：无法平衡的效率与成本
布鲁肯在全球拥有 600 多家 DSP、代理平台和广告主伙伴，底层数据系统一天的请求次数高达 150 亿，数据流量超过 2GB/s，广告日均点击 20M+，多样化场景、海量数据高并发的需求场景每时每刻都在布鲁肯上演。
数据体量大，场景多样，导致整体数据架构复杂的，之前布鲁肯基于开源 ClickHouse 自建系统，其本身固有的列式存储模式，伴着业务发展，对应的硬件成本更在飞速飙升。另外， ClickHouse 本身虽然具备强大的分析和线性拓展能力，但在复杂查询等层面不擅长。
布鲁肯在构建实时数仓过程中主要面临问题：
-
海量数据下的高并发：采集数据量大 ，数据流量超过 2GB/s，并发处理要求高。
-
系统稳定性要求：业务包含广告营销投流分析等，对于数据质量与稳定性要求高。
-
弹性扩容和降本增效：资源需求随营销活动动态变化，比如 618、双 11 等大促期间，数据量级骤增，性能要求更高，需要能根据实际业务需求，灵活调整资源配置。
直观反映到企业经营层面：底层硬件以及数据库运维侧不断在投入更多的企业运营成本，但前端业务依然会出现“卡顿、用户请求反馈慢、投放策略优化不及时”等问题。
优化方案：从 ClickHouse 到 ByteHouse 实时数仓解决方案
-
选型历程：
关于数据库的选型工作在布鲁肯内部持续开展，调研产品包括 Flink 等国内诸多主流数据库产品，在相关业务场景的性能表现以及使用成本，未能满足要求。
从最开始选择 ByteHouse 到使用其进行生产，布鲁肯仅仅用了 11 天。引入 ByteHouse，对布鲁肯企业业务影响极小且成本极低。
-
产品组合：
云原生数据仓库 ByteHouse （企业版）+Kafka
-
Kafka 集群：用于流式数据的传输和处理，确保大规模数据在不同系统之间的高效传输和实时处理。
-
ByteHouse 集群： 作为核心的数据存储与处理平台，支持大规模数据的存储、查询和分析，支持高效处理实时数据和批量数据，提供快速的查询响应和复杂的分析能力。
-
方案介绍：
基于 ByteHouse+Kafka 搭建一套高效、可靠、可扩展的实时数仓链路，解决数据整合、实时处理、广告效果评估等问题，提升广告业务的整体运营效率，更好地为下游合作伙伴广告投放决策提供支持。
-
数据链路设计：来源于广告终端的数据，进入 Kafka 集群，再经过 ByteHouse 内表和物化视图加工，同步到数据应用中，最终辅助广告主、广告平台等进行投放效果的评估、费用结算等。
-
生态兼容性：ByteHouse 与 Kafka 具备很强适配性，为了更好地适配 Kafka，ByteHouse 内置增强型 Kafka 引擎，为数据写入提供高性能保障。
-
扩展性：ByteHouse+Kafka 均为分布式架构优势，让布鲁肯系统具备充分的灵活性，可以在分钟级别下完成全链路扩容，以便应对广告场景中常见的大促等流量峰高。
-
压缩成本：ByteHouse 具备冷存储的能力，将热数据自动转存到冷存储的方式引入布鲁肯，有效缓解业务存储空间持续增长的问题。
-
应用场景
以今年 618 大促为例。数字广告行业与电商等行业具备同样流量峰值点，底层服务器和数据库需要紧急扩容和定向监测运维来应对流量高峰。
ByteHouse 与布鲁肯提前 2 周联合制定预案，包括如何扩容、紧急处理等。在 618 大促期间，运维人员只需要点击扩容按键等简单操作，就能实现分钟级扩容。如果基于之前的开源产品，这类运维工作投入成本和工作量会是现在的几十乃至上百倍。
最终成效：1 个人力，降低企业 30%成本
-
扩展业务边界
“以 618 为例，我们之前只上了程序化竞价广告，像今年，我们包括其他的一些网站、社媒，以及品牌 PDB 投放我们也都可以支持，相当于业务宽度更广了。”
——布鲁肯市场负责人张亚灵
-
极致降本增效
“基本全线切到火山引擎之后，我们的成本大概降低了 30%，在效率侧，我们评估提高了 30%- 40% 左右，这两个一叠加，其实我觉得效率整体提高一半是有的。”
——布鲁肯市场负责人张亚灵
“其实在整个过程中，我们几乎没有提供过重的服务，除了部分参数和指标的调整确认，也就是一个研发接近 20%、30%的人力投入，对于布鲁肯来说，只投入 1 个人力就完成了接入和运维。”
——ByteHouse 团队相关负责人
现阶段，布鲁肯的同款聚焦于降本增效的实时数仓解决方案已经上线。
案例来源：产业家《实时数仓，站上产业潮头》
《ByteHouse 极致降本指南》也重磅上线，欢迎领取：https://wj.toutiao.com/q/324727/m770OOv3/ec1a/#/
标签：11,数仓,Kafka,布鲁肯,广告,ByteHouse,数据处理,数据,翻倍 From： https://www.cnblogs.com/bytedata/p/18545623