首页 > 其他分享 >Gdevops广州站:支撑700亿数据量的ClickHouse高可用架构实践

Gdevops广州站:支撑700亿数据量的ClickHouse高可用架构实践

时间:2023-01-12 18:03:26浏览次数:52  
标签:DevOps 数据量 运维 数据库 主题 700 实践 Gdevops 交付

2021 Gdevops全球敏捷运维峰会 - 广州站,将在5月28日盛大举办。Gdevops经过创办6年成功举行近20场大会的经验积淀,本次峰会将结合行业趋势与技术热点,携手腾讯、京东、网易、携程、平安银行、招商银行、中信银行、中邮消费金融、建信金科、美图、OPPO、Vivo、新炬网络等技术领跑企业,与大家共同探讨当下运维、数据库、金融科技领域亟待解决的核心问题。


Gdevops广州站:支撑700亿数据量的ClickHouse高可用架构实践_网易游戏


时间:2021年5月28日

地点:广州阳光酒店(广州市天河区黄埔大道中199号)

主办单位:dbaplus社群


Gdevops广州站·嘉宾及议题抢先看

Gdevops广州站:支撑700亿数据量的ClickHouse高可用架构实践_运维_02


张建林

招商银行总行

信息技术系统运行室负责人

监控建设领导者与资深专家


嘉宾介绍:招商银行数据中心应用管理团队负责人,20年运营开发、海量运维和应用规划管理经验,任招商银行数据中心应用管理负责人,主要负责招行应用架构规划、发布、监控、运维等应用全生命周期管理工作,精通应用架构设计和自动化运维建设,目前专注于应用全生命周期的自动化运维实践。


演讲主题:利用运维工具破局!运维部门如何与开发、业务和睦相处(拟)》


Gdevops广州站:支撑700亿数据量的ClickHouse高可用架构实践_网易游戏_03



宋辉

新炬网络

运维产品部总经理


嘉宾介绍:10年以上Oracle数据库技术支持、运维管理经验,支持过的数据库超1000套,长期为大型企业核心业务系统数据库提供方案设计、性能优化、故障处理、应急容灾、安装配置等技术服力。在15年的数据库项目管理实践过程中积累了丰富实战经验,在性能优化、规划设计、故障处理、安装配置等技术领域有独到见解和处理经验。


演讲主题:“中台能力+场景生态”的智慧运维管理平台架构实践(拟)



Gdevops广州站:支撑700亿数据量的ClickHouse高可用架构实践_数据库_04



蔡岳毅

携程

高级研发经理


嘉宾介绍:携程旅行网酒店研发中心高级研发经理、资深架构师,负责酒店大住宿数据智能平台,商户端数据中心以及大数据的创新工作。


演讲主题:携程支撑700亿数据量的ClickHouse高可用架构实践》


主题简介:本议题将详细介绍携程对ClickHouse的技术选型,以及ClickHouse在大数据智能平台的高可用架构设计,支招如何合理应用ClickHouse的优点,避开其缺点。



Gdevops广州站:支撑700亿数据量的ClickHouse高可用架构实践_网易游戏_05



王鹏冲

平安银行

数据库团队经理


嘉宾介绍:Oracle 10g OCP,MySQL OCP,15年数据库领域工作经验,历任多家公司数据库技术负责人,对于主流数据库的高可用架构、性能优化、监控报警、自动化运维等方面均有丰富经验。目前兴趣在分布式架构、DB容器化等方面的探索与实践。


演讲主题:传统银行关键业务和复杂架构挑战下,如何做到数据库敏捷运维》


主题简介:本议题将围绕“如何集成数据库到DevOps流水线”这一核心话题,分享平安银行在安全可控的前提下,实现数据库服务的快速交付等实践经验。




Gdevops广州站:支撑700亿数据量的ClickHouse高可用架构实践_运维_06



高新刚

京东数科

数据库团队负责人


嘉宾介绍:负责京东数科数据库平台的管理维护工作,带领团队平稳护航多次6.18、11.11大促活动,对数据库多业务场景架构设计、高并发解决方案、数据生态管控有丰富实践经验;对数据库中间件、分布式事务数据库和自动化、智能化运维平台设计开发有深入实践和探索;长期专注于数据库产品化输出和国产数据库的探索研究。


演讲主题:维稳618和双11:京东科技数据库海量运维的生态体系建设与实践》


主题简介:本议题主要介绍京东科技在海量数据和高并发场景下的数据库生态治理体系,重点分享数据库海量运维经验,包括数据库全生命周期管理、海量运维的高可用保障体系、资源管理和告警管理等。



Gdevops广州站:支撑700亿数据量的ClickHouse高可用架构实践_网易游戏_07



林香鑫

网易游戏

资深经理


嘉宾介绍:目前任网易游戏技术中心运维平台Phoenix团队负责人/技术专家,长期负责运维开发方向的工作,当前主要负责CMDB和配置管理、流程引擎、交付平台、基础组件和工具等研发管理工作,多次获得公司技术奖项。


演讲主题:运维能力可管理:网易游戏面向终态的应用交付管理实践》


主题简介:在以往游戏集群交付过程中,主要以人为中心驱动基础设施资源、服务的交付,过程取决于人的经验和效率。过去一年,网易游戏进行了新交付模型的探索和实践,实现了过程式的交付到面向终态交付的转换,将一次复杂的应用交付过程降低到分钟级别交付,同时确保各环境、各角色交付的一致性。本议题将介绍网易游戏如何进一步结合基础及代码的思想,基于游戏应用形态,做到以应用为中心、从应用视角实现游戏应用自动化交付的实践过程。



Gdevops广州站:支撑700亿数据量的ClickHouse高可用架构实践_数据库_08



李红涛

中信银行

DevOps实施牵头人


嘉宾介绍:长期致力于项目管理、工具研发、敏捷转型及DevOps实践相关领域。在中心领导的大力支持下,借鉴同业经验,结合自身实际,牵头总结出适合中信银行的DevOps实施方法论,并付诸实践,取得良好效果。


演讲主题:中信银行的DevOps实践》


主题简介:中信银行的DevOps实践从一开始便着眼组织级能力提升,以敏捷为唯一北极星指标,从体系、平台、文化等各方面同步开展,覆盖团队级、产品线级等敏捷转型。本议题将重点讲解近一年来中信银行实施DevOps的新进展以及遇到的各种问题、解决措施等。



Gdevops广州站:支撑700亿数据量的ClickHouse高可用架构实践_网易游戏_09


杨亚洲

OPPO

MongoDB负责人


嘉宾介绍:前滴滴出行专家工程师,现任OPPO互联网系统文档数据库MongoDB负责人,负责OPPO数万亿级数据量文档数据库MongoDB内核研发、性能优化及运维工作,一直专注于分布式缓存、高性能服务端、分布式数据库、中间件等相关研发。


演讲主题:PB级万亿数据库性能优化及最佳实践》


主题简介:当前OPPO自研MongoDB内核版本服务于OPPO互联网数百个业务,总数据量数万亿级。自研MongoDB致力于解决公司异地多活、高并发大流量、海量数据存储等业务痛点。OPPO-mongodb基于开源MongoDB做了一些内核定制化优化开发,使其在高并发读写、超大规模数据量存储、扩容迁移速率等方面具有更好的性能表现,其中一些业务场景性能有数十倍提升。



Gdevops广州站:支撑700亿数据量的ClickHouse高可用架构实践_数据库_10


吴召军

腾讯互娱

混沌工程负责人


嘉宾介绍:腾讯高级工程师,互娱混沌工程负责人,在海量高并发互联网场景有丰富实践经验,致力于使用DevOps、微服务、云原生等技术持续提升业务运营效率,同时使用混沌工程、全链路跟踪等技术保证业务的高可用性和稳定性,保障业务上线、运营又快又稳。


演讲主题:持续保障系统的稳定性和高可用:腾讯游戏混沌工程实践》


主题简介:Gartner预计到2023年,40%的组织将把混沌工程实践作为DevOps的一部分,将使得故障停机时间减少20%。随着敏捷开发、DevOps实践、微服务、云原生在腾讯游戏的落地,极大提升了应用交付的效率,与此同时,应用的调用链拓扑也越来越复杂度,迭代速度越来越快,如何在快速交付的同时,保证应用的高可用性和稳定性?腾讯游戏使用混沌工程理念,通过主动注入故障,提前发现潜在问题,持续改进应用架构和运维方式,确保应用的韧性。本议题将分享腾讯游戏的混沌工程具体实践,包括混沌平台建设、红蓝对抗、混沌案例解析以及混沌收益等。



Gdevops广州站:支撑700亿数据量的ClickHouse高可用架构实践_数据库_11


石鹏

美图

SRE负责人


嘉宾介绍:2016年加入美图,运维技术专家,目前担任产品SRE负责人。负责美图电商、社区、商业化、医美等全线产品的运维保障工作,同时参与公司日志、监控等基础设施的建设。参与和主导过多次公司基础设施的调整或改造,在监控建设、灾备建设、故障管理、稳定性运营等方面有一定的经验和积累。


演讲主题:美图:低成本全链路监控实战与SRE稳定性运营


主题简介:本议题将详细介绍低成本的全链路监控大盘实践、基于企业IM机器人的图文告警实践和基于监控体系的SRE稳定性运营实践。




Gdevops广州站:支撑700亿数据量的ClickHouse高可用架构实践_网易游戏_12


林香鑫

网易游戏

团队负责人


嘉宾介绍:2014年加入网易游戏,目前任网易游戏技术中心运维平台 Phoenix 团队负责人 技术专家,长期负责运维开发方向的工作,当前主要负责 CMDB 和配置管理、流程引擎、交付平台、基础组件和工具等研发管理工作,多次获得公司技术奖项。


演讲主题:运维能力可管理:网易游戏面向终态的应用交付管理实践



主题简介:云时代的到来带来了一波上云热潮,网易游戏也在这个潮流中依据游戏的特点实现了上云,在以往的游戏集群交付过程中,我们主要以人为中心驱动基础设施资源、服务的交付,过程取决于人的经验和效率。在过去1年中,我们进行了新的交付模型的探索和实践,实现了过程式的交付到面向终态交付的转换,将一次复杂的应用交付过程降低到了分钟级别交付,同时确保各个环境、各个角色交付的一致性,本次分享将介绍我们如何进一步结合基础及代码的思想,基于游戏应用形态,做到以应用为中心、从应用视角实现游戏应用自动化交付的实践过程。



Gdevops广州站:支撑700亿数据量的ClickHouse高可用架构实践_数据库_13


郑丹

招商银行总行

资深架构师


嘉宾介绍:招商银行数据中心数据库架构师,Oracle OCM,14年数据库领域从业经验,专注数据库的高可用架构设计、性能优化、自动化运维等方面,目前主要负责Oracle高可用架构设计和Oracle私有云平台建设。


演讲主题:招商银行高可用架构与云平台建设实践


主题简介:云时代潮流下,Oracle架构如何适配调整,在满足低成本、快速交付、动态弹性伸缩调整的前提下,提供金融级的高可用数据库私有云。这里分享招商银行的Oracle X86高可用架构具体实践及云平台建设方面的经验。



Gdevops广州站:支撑700亿数据量的ClickHouse高可用架构实践_数据库_14



吴仕橹

汇丰银行

数据分析经理


嘉宾介绍:曾任职于Accenture负责对M&G的大型系统集成系统的研发和交付,主要采用Spring Integration并对其进行封装同时采用SOAP架构,近几年来,任职于HSBC Technology投资银行部,致力于大型前台系统的开发和运维,从2019年开始专注于大数据方面包括数据安全、数据处理、数据可视化等自研平台的研发以及团队的DevOps转型。


演讲主题:大数据的智能处理和数据可视化实践


主题简介:在传统性大银行里,我们是如何通过自研的方式来实现大数据的智能处理(Entity Resolution)、元数据管理(Tagging)、数据安全(Data Sharing)、数据可视化、数据消费等,从而使我们在自研的平台上快速地开发业务案例例如FCR,KYC等。




Gdevops广州站:支撑700亿数据量的ClickHouse高可用架构实践_运维_15



熊星

平安集团

DevOps平台负责人


演讲主题:大型金融行业DevOps工具链的建设实践


主题简介:平安集团从15年底开始建设研发工具平台,从单一项目管理、部署平台发展到端到端一站式DevOps工具链。分享在过程中遇见的很多挑战、问题,以及一些突破、成就。


更多嘉宾在路上,敬请期待……


关于Gdevops全球敏捷运维峰会



Gdevops广州站:支撑700亿数据量的ClickHouse高可用架构实践_数据库_16

Gdevops全球敏捷运维峰会自2016年创办至今,多次巡回北京、上海、广州、杭州、成都等城市。目前已成功举办近20场,每场规模1000+人次,在各地均受极佳好评。 


峰会主题涵盖敏捷运维、数据库、云与架构、Fintech金融科技等重点方向,汇聚dbaplus社群数百专家资源,是与政府、企业携手打造的敏捷运维标杆盛会,全面覆盖从DBA、运维工程师到CXO等所有技术圈层、从互联网、电信、金融、交通到物流等重点行业,在业界、媒体界具有极大影响力。

标签:DevOps,数据量,运维,数据库,主题,700,实践,Gdevops,交付
From: https://blog.51cto.com/u_14150796/6004565

相关文章

  • MySQL统计一个数据库中所有表的数据量
    mysql统计一个数据库里所有表的数据量,最近在做统计想查找一个数据库里基本所有的表数据量,数据量少的通过selectcount再加起来也是可以的,不过表的数据有点多,不可能一个一个......
  • AMD锐龙7000系列CPU命名混乱?三分钟帮你看明白
    在CES2023上,AMD发布了多款7000系平台,全新的联想小新笔记本锐龙版产品线将涵盖其中的锐龙7040、锐龙7035、锐龙7030三大系列。想要快速记住它们也很简单,小新帮大家复习......
  • NC14700 追债之旅
    题目链接题目题目描述小明现在要追讨一笔债务,已知有n座城市,每个城市都有编号,城市与城市之间存在道路相连(每条道路都是双向的),经过任意一条道路需要支付费用。小明一开始......
  • 【题解】CF700E Cool Slogans
    原题面很简洁,懒得概括了。思路后缀自动机+结论。这种题出题人没有十年脑血栓都没法出。结论1:\(s_{i-1}\)必定是\(s_i\)的后缀。考虑\(s_i\)中\(s_{i-1......
  • 数据量大,快速读取
    https://cloud.tencent.com/developer/article/1661483 1.pandas读取#1.导入pandas模块importpandasaspd#2.把Excel文件中的数据读入pandasdf=pd.read_exc......
  • 阿里easyexcel解析百万级大数据量的Excel表格,看这一篇文章就够了
    ​1、应用场景1.1、实际工作中可能会遇到百万条数据量的Excel表格上传到后台进行解析。那么传统的POI,它只适用于数据量较小的Excel表格解析,当数据量到一定级别时,后台程序就......
  • ASUS VivoBook FL8700JP 电脑 Hackintosh 黑苹果efi引导文件
    硬件型号驱动情况主板ASUSVivoBookFL8700JP处理器i7-1065G7已驱动内存8GbDDR4已驱动硬盘SSDM21TBWD730SNWESTERNDIGITAL已驱动显卡IntellrisPlusGraphics7已驱......
  • S5700交换机备份和还原
    使用console线连接1.配置vlan1的ipsystem-viewintVlanif1ipaddress10.10.10.5242.在接console的笔记本上开启tftp软件,测试交换机上能ping通tftp主机地址#在交换......
  • ISO 27001 2022 中文版 引言
    声明本文主要是学习汤季洪老师翻译的ISO270012022中文试译稿 进行了学习和记录希望对大家有帮助ISO(国际标准化组织)和IEC(国际电工委员会)构成了全球标准化的专门体系。......
  • 华为交换机S5700设置ssh telent远程登录
    #查看现有的服务是否开启displaysshserverstatusdisplaytelnetserverstatusdisplayhttpserver1.配置VTY用户界面的支持协议类型、认证方式和用户级别。[HUAWEI]......