首页 > 其他分享 >预算有限,资源冗余?DWS集群缩容如何帮你解决烦劳

预算有限,资源冗余?DWS集群缩容如何帮你解决烦劳

时间:2024-02-29 09:22:25浏览次数:26  
标签:缩容 DWS 用户 华为 集群 节点 冗余

本文分享自华为云社区《GaussDB(DWS)华为云数仓使用实践–预算有限,资源冗余?华为云数仓集群缩容帮你解决烦劳》,作者: OneToOne。

一、为什么要做缩容?

在使用GaussDB(DWS)数仓时,在业务不同的时段,对数仓的计算资源大小有不同的需求。在业务繁忙、流量高峰的时候需要对DWS集群节点扩容,增强业务负载能力,业务峰值过去,则需要减少数据库节点,释放计算资源,降低成本压力。
缩容提供了当用户需要的计算或者存储资源冗余超出业务需求时,尽可能不影响用户业务情况下缩减集群数据仓库节点的能力。

二、缩容使用条件和约束?

集群状态为Normal,不能是只读,且无其他正在运行的任务信息。

缩容集群仅8.1.1.300及以上版本支持,包周期计费模式的集群仅8.2.1及以上版本支持。

集群按照环的方式配置,比如4个或5个主机组成一个环,这些主机上的DN主节点、备节点和从节点都部署在这些节点里,那么这些节点组成一个集群环 ,缩容的最小单元是一个集群环,集群至少有2个环才能支持缩容,缩容按照集群环从后往前缩容节点。

缩容节点不能包含GTM组件,CM Server组件,CN组件。

集群租户账号不能处于只读,冻结,受限状态。

集群非逻辑集群模式。包周期集群不能处于已过期进入宽限期。

缩容不支持回滚,支持重入。缩容数据重分布失败,不影响业务,用户可选择合适的时间尽快完成重分布,否则会导致数据长期分布不均匀。

缩容前,需要保证对应数据库下的data_redis为重分布预留schema,不允许用户操作该schema和其内部表。因为在重分布过程中,会使用到data_redis并且重分布结束后会删除该schema,如果存在用户表,则可能会出现数据误删。

缩容后的节点必须有足够的存储空间存放整个集群的数据,否则缩容无法正常。执行缩容前,需对集群剩余容量进行检查,条件满足后可进行缩容。

  • 所有节点已使用物理磁盘空间均小于80%。
  • 所有用户和角色的使用量均小于配额的80%。
  • 总数据量缩容后的空间预估要小于80%。

系统后台会自动检查用户用户集群是否满足上述条件,如果不满足,则缩容按钮置灰,用户无法操作。

三、华为云GaussDB(DWS)缩容使用简介?

DWS集群缩容流程

image.png

如何进行集群缩容

a.点击集群列表右侧的详情,选择“节点变更”->“缩容”

image.png

b.进入缩容详情页面,选择“缩容节点数量”,点击“下一步:确认”

image.png

c.展示缩容详情,确认后点击“提交”

image.png

d.提交后,开始缩容

image.png

e.集群任务信息缩容中

image.png

缩容异常处理

当用户在缩容的执行失败的时候,需要联系技术人员解决,可以在DWS集群管理页面选择重试缩容。

结尾

以上便是DWS缩容的全部内容,如有问题或建议,可以在下方留言哦~

 

点击关注,第一时间了解华为云新鲜技术~

 

标签:缩容,DWS,用户,华为,集群,节点,冗余
From: https://www.cnblogs.com/huaweiyun/p/18042671

相关文章

  • 云原生:使用HPA和VPA实现集群扩缩容
    1背景我们之前介绍过,随着业务流量上涨之后,我们的系统需要适时的进行扩容。数据存储层我们也介绍过MySQL的扩容ScaleUP(纵向扩展)和ScaleOut(横向扩展)垂直拆分(ScaleUp纵向扩展):包括垂直分库、垂直分表水平拆分(ScaleOut横向扩展):包括库内分表、分库分表详细可以参考笔者......
  • keep_hierarchy约束在三模冗余中的应用
    节选自《FPGA之道》keep_hierarchy是一个综合和实现方面的约束。Xilinx的综合工具XST更倾向于平化HDL代码的层级结构,即将一级级的模块调用机制转换为一个没有子模块的超大模块,这样做的好处是能够进行更好地设计优化工作,因为平化操作去除了原有实体或模块之间的边界限制。不过有些......
  • 冗余路径
    这道题目是一个模型:给连通的无向图加边,使得无向图没有桥(即变成边双连通分量),最小化加边数因为边双连通分量本来就没有桥,所以我们考虑对整个图求一遍边双连通分量(使用tarjan算法),然后将边双连通分量缩为一个点考虑。那么缩完点后得到的图一定是一棵树(因为图中不可能存在环)然后要......
  • k8s pod自动扩缩容
    Pod自动扩缩容为什么要扩缩容?在实际的业务场景中,我们经常会遇到某个服务需要扩容的场景(如:对服务器性能压测、电商平台秒杀、大促活动、或由于资源紧张、工作负载降低等都需要对服务实例数进行扩缩容操作。)node节点默认可以跑110个pod在k8s中扩容分为两种:1、node层面:在使用k8......
  • raid 磁盘冗余阵列
    什么是raid磁盘冗余阵列这是由多块独立磁盘(多为硬盘)组合的一个超大容量磁盘组。大白话的解释磁盘冗余阵列,就是将很多块硬盘组合成一个整体,不同的RAID级别,可以实现不同的功能如加速数据读写、如实现数据备份。raid技术的作用-提高IO能力,磁盘并行读写-提高耐用性,磁......
  • CRC冗余检测计算与FCS帧检验序列
    差错检测1.奇偶校验漏检率大,不建议使用2.CRC冗余检测CRC循环冗余校验是一种常用的检错方法,而FCS是添加在数据后面的用来校验的冗余码。优点:漏检率低,运算速度快等这里别的博主已经讲得十分详细CRC与FCS计算原理CRC的种类与算法实现3.纠错码计算较为复杂,参考纠错码的......
  • 不搜索,无问题。冗余、上下界剪枝
    公众号:编程驿站1.搜索算法本文和大家聊聊搜索算法,计算机解决问题的抽象流程是,先搜索,或完全搜索后得到答案,或边搜索边找答案。所以,对给定的数据集进行搜索是解决问题的前置条件。不搜索,无问题。搜索算法无非就是线性、二分、深度、广度搜索算法。其它的搜索算法的底层逻辑也是建......
  • pbootcms程序升级新增清理冗余图片清理
    pbootcms程序升级新增清理冗余图片功能调取方法PBOOTCMS最近升级了新的版本,增加了清理冗余图片的功能,但是各位站长更新完后发现后台并没有这个功能。今天微站就教大家如何把这个功能展现出来!看教程。操作教程第一步:打开后台自定义菜单。然后点击菜单新增。<ignore_js_op>......
  • CRC循环冗余校验码
    循环冗余校验"冗余"为什么能检验?数据传输过程中不能保证所有的位数都是正确的,由于电磁干扰会产生错误,假设传输过程中最多只有1位是传输错误的,并且不需要检验出具体哪一位出现错误,只需要考虑检验数据存在错误即可不添加校验码最简单的情况是发送方只发送了一位数据,接......
  • 基于k8s Deployment的弹性扩缩容及滚动发布机制详解
    k8s第一个重要设计思想:控制器模式。k8s里第一个控制器模式的完整实现:Deployment。它实现了k8s一大重要功能:Pod的“水平扩展/收缩”(horizontalscalingout/in)。该功能从PaaS时代开始就是一个平台级项目必备编排能力。若你更新了Deployment的Pod模板(如修改容器的镜像),则Deployment......