首页 > 其他分享 >数仓在线运维:如何进行在线增删CN?

数仓在线运维:如何进行在线增删CN?

时间:2023-02-20 15:03:25浏览次数:56  
标签:数仓 cn 运维 CN 点击 集群 build 节点 在线

摘要:集群运行过程中,根据集群的综合负载和业务接入情况进行分析:增加CN可以适当降低CPU消耗,增大接入连接数,分散CN节点业务压力,根据实际情况来识别是否要增加CN,如果是提升集群容量和扩展比能力,建议进行扩容操作。

本文分享自华为云社区《【玩转PB级数仓GaussDB(DWS)】在线运维-在线增删CN》,作者:sevenjiang。

集群运行过程中,根据集群的综合负载和业务接入情况进行分析:增加CN可以适当降低CPU消耗,增大接入连接数,分散CN节点业务压力,根据实际情况来识别是否要增加CN,如果是提升集群容量和扩展比能力,建议进行扩容操作。

支持在线运维:

在符合增加CN、删除CN界面的准入条件下,找低峰期时间窗进行操作。

准入条件:

1.增加CN要求集群状态正常(集群状态为Normal,非均衡,低性能状态)

2.如果存在一个节点故障,只允许删除该节点的CN

3.如果存在两个以上的节点故障,不允许删除CN

4.增加或删除CN失败,最新版本通过界面重入即可。

5.最少保留两个CN,最大支持20个CN

界面操作步骤:

1.增加cn

找到集群,点击 “更多”

展开更多后,点击“管理cn节点”

展开“管理cn节点”

点击“点击增加cn节点”,选择需要增加cn的个数,“点击确认”即可

2.删除cn

同上,“点击删除cn节点”

勾选需要删除cn的节点前的复选框,“点击确认”即可

针对业务的影响:

pg_advisory_lock影响的操作:用户业务等待锁不报错(设置了enable_online_ddl_waitlock ), 影响用户DDL,DCL,truncate,vacuum,analyze,lock等操作(非DML操作)

影响时间:锁集群时间=增量build耗时,一般小于20分钟。

可能出现的情况:

1.增量build CN阶段之前会进行短暂的锁集群(pg_advisory_lock),如果有长事务中未提交的业务一直在执行,就会出现等锁的情况,重试3次每次1个小时,还是不能加上锁,增加CN操作会失败回滚退出。

备注:每个CN都有可能出现等锁的现象,如果要查询可以通过如下语句进行查询

select * from pg_locks where classid=65535 and classid=65535 and locktype='advisory' and mode = 'ShareLock' and granted='t';

2.增量build CN阶段,如果业务下发了DDL操作,会出现界面端没有返回成功的情况,类似于hang的现象,等待增量build完成,DDL提交成功,业务界面侧返回成功。

3.删除CN,如果使用到了LVS负载均衡,因为lvs存在重试机制,cn会出现短暂的连接失败。

4.业务低峰期和高峰期,分别进行增加CN的操作,全量build耗时可能存在超过1倍以上的耗时差异,感知上时间会增长,是因为业务并发过大时,会与cn的build阶段进行IO争抢,增加cn加锁阶段也会有所延迟。

5.增删CN阶段,不支持其他类集群运维操作,例如:升级、扩容、温备修复、快照等

 

点击关注,第一时间了解华为云新鲜技术~

标签:数仓,cn,运维,CN,点击,集群,build,节点,在线
From: https://www.cnblogs.com/huaweiyun/p/17137453.html

相关文章

  • 如何利用GPT技术改善在线聊天体验?
    GPT技术(GenerativePre-trainedTransformer)是一种用于自然语言处理的深度学习技术,可以提供高精度的文本生成功能,可以有效改善在线聊天体验,提高用户体验和满意度。它通过利......
  • 在线将普通表与分区表进行相互转换以及移动数据文件位置
    文档课题:在线将普通表与分区表进行相互转换以及移动数据文件位置.数据库:oracle19.31、测试数据C:\Users\Administrator>sqlplus/assysdbaSQL*Plus:Release19.0.0.0.0......
  • SAP 官方的在线课程网站:Open SAP
    我从2007年大学毕业加入SAP成都研究院,在这个行业工作已经16年了。我第一次听说SAP这个公司的名称,还是SAP到大学开校园宣讲会的时候,所以我也是零基础SAP入门。我......
  • 人大金仓数据库索引的应用与日常运维
    索引的应用一、常见索引及适应场景BTREE索引是KES默认索引,采用B+树实现。适用场景范围查询和优化排序操作。不支持特别长的字段。HASH索引先对索引列计算一个散列值(类似md5......
  • Github在线解决代码冲突(图文并茂)
    Github在线解决代码冲突​​前言​​​​怎么模拟代码冲突?​​​​情景复现​​​​如何在github在线解决代码冲突?​​前言浪费了好久时间,来记录一下~自己在本地写项目,一个......
  • java在线读取Excel内容
    本示例采用Springboot的Thymeleaf做前台展示,核心还是java代码,想了解Thymeleaf的可以点击​​《SpringBoot入门十六,添加Thymeleaf模板支持》​​进行入门学习,这里就只做关于......
  • 乐维百科:什么是IT监控?为什么运维需要监控?
    简言之,IT监控是监控IT软硬件运行状况的一套系统,它可以监控服务器、存储、网络设备、操作系统、数据库等等;它不同于我们常见的视频监控,后者多用于监控人、公共空间等。如果说......
  • 在线翻译
    DescriptionYouhavejustmovedfromWaterlootoabigcity.Thepeopleherespeakanincomprehensibledialectofaforeignlanguage.Fortunately,youhaveadic......
  • 互联网医院开发|在线问诊主体情况
    随着移动互联网的普及,越来越多的医院开始通过互联网来服务患者在线预约就诊,非常方便快捷,这也让很多的医院诊所都想打造一套属于自己的互联网医院系统。实现了用户远程挂号,支......
  • Linux系列教程(十二)——Linux软件包管理之yum在线管理
    上一篇博客我们介绍了​​rpm包管理之rpm命令管理​​,我们发现在使用rpm命令手动安装rpm包的时候,会发现安装遇到到的依赖让你痛不欲生,安装一个rpm时会要先先安装某个依......