首页 > 其他分享 >莉莉丝游戏与火山引擎 ByteHouse 达成合作,为实时数仓建设提速

莉莉丝游戏与火山引擎 ByteHouse 达成合作,为实时数仓建设提速

时间:2023-05-30 12:11:34浏览次数:62  
标签:数仓 游戏 运维 莉莉丝 实时 ByteHouse

中国头部游戏公司莉莉丝游戏(Lilith)和火山引擎 ByteHouse 达成合作,共同致力于加速莉莉丝游戏的实时数仓建设。此次合作将利用 ByteHouse 的创新技术和功能,为广告运营分析业务提效提供全面支持和帮助。

莉莉丝游戏是中国中生代游戏公司代表,在中国游戏市场保持领先地位。为了支持其日益增长的业务需求,莉莉丝游戏在国内广泛使用 ClickHouse 进行广告投放和运营分析业务,并在海外业务中搭建了开源 ClickHouse 集群来支持广告运营分析。然而,这些使用过程中遇到了一些挑战,包括跨月跨季查询超时、OOM、不支持大表关联以及从 MySQL 数据实时同步稳定性差等问题。因此,莉莉丝游戏希望通过调研 ByteHouse 的产品功能和性能,探索合作机会以解决这些痛点。

ByteHouse 作为火山引擎的核心云数仓产品,具备多项强大功能,为莉莉丝游戏的实时数仓建设提供了全面的支持。首先,ByteHouse 的 MaterializedMySQL 功能可以实时将莉莉丝游戏的 MySQL 或 PolarDB MySQL 中的业务数据整库实时同步到 ByteHouse 平台。该功能提供了可视化的管理工具,并增加了便捷的异常运维处理功能,实现了一键同步和稳定运行的目标。这大大降低了数据同步成本和运维工作量,为莉莉丝游戏提供了高效的数据同步链路。特别是 ByteHouse 特有的 HaUniqueMergeTree 表引擎支持实时的表级/分区级唯一键更新、部分列更新、实时删除等功能,让应用能简单地解决实时数据去重和更新问题。

其次,ByteHouse 自研的查询优化器解决了开源 ClickHouse 不支持复杂查询能力的问题。该优化器支持 RBO、CBO、分布式计划优化,并实现了诸如 Dynamic Filter pushdown、物化视图改写和基于代价的 CTE 等高阶优化能力。通过这些能力优化,ByteHouse 能够成功运行 TPC-DS 测试集的全部 99 个 SQL 用例,并在性能上大幅提升。在实际环境中,ByteHouse 帮助莉莉丝游戏广告业务复杂查询分析场景中性能提升 3 倍以上,支持查询时间跨度从 1 个月提升至 1 年以上,帮助其覆盖更多分析业务场景,加快决策和优化业务运营。

此外,ByteHouse 还提供了可视化运维功能,针对 ClickHouse 运维复杂度高的问题,提供了集群管理、监控告警、健康度评估、权限管理、参数配置、数据管理、界面化扩容等一系列可视化功能。这大大降低了运维成本,为莉莉丝游戏提供了更便捷和高效的运维体验。

通过与 ByteHouse 的合作,莉莉丝游戏将基于该平台构建广告运营分析平台核心 OLAP 引擎。这将使莉莉丝游戏能够实时处理海量投放数据和日志数据,并进行高性能计算。通过实时统计和归因分析广告投放全链路数据,莉莉丝游戏能够实时调整广告投放策略,提升买量效果。同时,通过细粒度的成本和效果分析,莉莉丝游戏能够支持研发、运营、发行等团队进行精细化经营和管理,更好地了解市场需求,加强协作效率和透明度。此外,莉莉丝游戏还使用了 ByteHouse 来支持人群包的功能,在海量数据场景下能快速筛选出符合特定条件的用户,实现广告精准定向投放。

本次合作将为莉莉丝游戏提供强大的数据能力支持,助力其在游戏行业中保持竞争优势。双方将共同努力,推动实时数仓建设的发展,为广告运营分析等业务领域带来更高效和创新的解决方案。

 

关于莉莉丝游戏(Lilith)

莉莉丝游戏成立于 2013 年,总部位于中国上海,是一家集游戏研发和全球发行于一体的知名游戏公司。莉莉丝游戏致力于打造优质游戏内容,不断推动游戏行业的创新与发展。目前,莉莉丝游戏在全球范围内拥有众多畅销游戏产品,并积极拓展海外市场。

关于 ByteHouse

ByteHouse 是火山引擎旗下的云原生数据仓库,专注于为企业提供实时数仓解决方案。ByteHouse 通过创新的技术和功能,帮助企业构建高效、稳定和可扩展的实时数据分析平台,提供强大的数据处理和分析能力,助力企业在竞争激烈的市场中脱颖而出。

 

点击立即跳转火山引擎ByteHouse官网了解详情

标签:数仓,游戏,运维,莉莉丝,实时,ByteHouse
From: https://www.cnblogs.com/bytedata/p/17442895.html

相关文章

  • 【数仓】建模与分层
    本文涉及拉链表的理论知识SlowlyChangedDimension(缓慢渐变维)数仓DataWareHouse是么是数仓?数据仓库是面向分析的集成化数据平台,分析的结果给企业提供决策支持。数仓的应用场景是什么?满足企业中所有数据的统一化存储,通过规范化的数据处理来实现企业的数据分析应用。简......
  • 开源之夏 2023 | 与 Databend 一同探索云数仓的魅力
    活动概览开源之夏是由中科院软件所“开源软件供应链点亮计划”发起并长期支持的一项暑期开源活动,旨在鼓励在校学生积极参与开源软件的开发维护,培养和发掘更多优秀的开发者,促进优秀开源软件社区的蓬勃发展,助力开源软件供应链建设。开源之夏联合国内外开源社区,针对重要开源软件的......
  • 消息推送平台的实时数仓?!flink消费kafka消息入到hive
    大家好,3y啊。好些天没更新了,并没有偷懒,只不过一直在安装环境,差点都想放弃了。上一次比较大的更新是做了austin的预览地址,把企业微信的应用和机器人消息各种的消息类型和功能给完善了。上一篇文章也提到了,austin常规的功能已经更新得差不多了,剩下的就是各种细节的完善。不知道大......
  • 数仓建模规范--非常全
    数仓开发规范 一.数据模型架构原则 1.数仓分层原则优秀可靠的数仓体系,往往需要清晰的数据分层结构,即要保证数据层的稳定又要屏蔽对下游的影响,并且要避免链路过长。那么问题来了,一直在讲数仓要分层,那数仓分几层最好?目前市场上主流的分层方式眼花缭乱,不过看事情不能只看表......
  • 火山引擎云原生数据仓库 ByteHouse 技术白皮书 V1.0 (Ⅵ)
     更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群近日,《火山引擎云原生数据仓库ByteHouse技术白皮书》正式发布。白皮书简述了ByteHouse基于ClickHouse引擎的发展历程,首次详细展现ByteHouse的整体架构设计及自研核心技术,为云原生数据......
  • 火山引擎云原生数据仓库 ByteHouse 技术白皮书 V1.0 (Ⅵ)
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群近日,《火山引擎云原生数据仓库ByteHouse技术白皮书》正式发布。白皮书简述了ByteHouse基于ClickHouse引擎的发展历程,首次详细展现ByteHouse的整体架构设计及自研核心技术,为云原生数据......
  • 高性能、快响应!火山引擎 ByteHouse 物化视图功能及入门介绍
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群物化视图是指将视图的计算结果存储在数据库中的一种技术。当用户执行查询时,数据库会直接从已经预计算好的结果中获取数据,而不需要重新计算视图。具体来说,物化视图是一种以表格形式存储的结果......
  • 高质量数仓建模
    一、建模的意义 1、建模可以帮助理解问题的本质,建模的过程就是通过对实际问题进行抽象和简化,得到有限的数学模型。这些模型反映了问题的本质特征,更容易被人们理解和掌握,使得人们更容易理解和分析其本质和特性。通过概念模型,建立逻辑模型和物理模型,可以更好地理解问题,更规范的建......
  • 火山引擎云原生数据仓库 ByteHouse 技术白皮书 V1.0 (Ⅴ)
     更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群近日,《火山引擎云原生数据仓库ByteHouse技术白皮书》正式发布。白皮书简述了ByteHouse基于ClickHouse引擎的发展历程,首次详细展现ByteHouse的整体架构设计及自研核心技术,为云原生数据仓......
  • 火山引擎云原生数据仓库 ByteHouse 技术白皮书 V1.0 (Ⅳ)
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群 近日,《火山引擎云原生数据仓库ByteHouse技术白皮书》正式发布。白皮书简述了ByteHouse基于ClickHouse引擎的发展历程,首次详细展现ByteHouse的整体架构设计及自研核心技术,为云原生数......