首页 > 其他分享 >clickhouse节点重做(节点替换)

clickhouse节点重做(节点替换)

时间:2023-11-08 23:25:42浏览次数:36  
标签:副本 连接 节点 数据 目录 clickhouse 重做

测试验证环境:

docker容器化部署的4节点2分片和2副本(centos7+clickhouse22.1.3)

172.17.0.6 clickhouse01
172.17.0.7 clickhouse02
172.17.0.8 clickhouse03

172.17.0.9 clickhouse04(故障节点)
172.17.0.10 clickhouse04 (替换节点)

节点重做

一般情况,节点操作系统重装或者硬盘故障节点重做处理情况

一般都是两副本以上的集群,所以可以直接同步另一个副本节点的配置,拷贝过来,节点正常安装服务进程

需要的拷贝的东西有一下几点:

1、配置文件(config.xml、users.xml),需要调整config.xml的配置文件,修改macros中的replica改成当前节点

2、鉴权目录access

3、数据的映射目录data(里面的软连接目录可以忽略不用管)

4、元数据目录metadata

5、实际的建表目录,这个需要查到metadata下面的数据库对应的软连接目录给打包到新节点

 将上面的三个目录打成压缩包,拷贝到重做节点,注意要是打包,不然软连接会不存在,变成一个目录了,这个没有给连接到数据目录等等的问题

比较复杂的是第五步的操作,一般情况下这个是作为一个数仓的存储,创建的数据库也不会很多,我们这边的生产环境一般是7个数据库,所以也就是拷贝store目录下的7个目录既即可,将他拷贝到重做节点的store目录下就可以了,启动之后,节点会检测当前几点与副本之前的区别,是空的节点会直接同步副本中的数据,但是这一步会很耗资源,需要挑一个合适的时间点来做

做好这些,启动重做节点的clickhouse服务,查看启动服务是否有报错,没有报错的话就可以登录节点查一下数据情况了,并且可以查看用户和授权情况有没有正常,然后测试数据写入和读取情况

节点故障替换

几点替换操作可跟上面的操作一样,但是集群需要使用的域名映射的方式部署的,也就是不能通过ip来做的,如果是节点ip做的话,zookeeper元数据上的replicas下没法对应 上,可能会有其他的问题,应该也可以通过命令来修复zookeeper的元数据

system restore replica default.st_order_mt_local on cluster two_shard_two_replica

这个是我的这个表元数据不在zookeeper上的,执行完成后查看zookeeper上就能查到这个元数据了

 

个人的见解说明,如有不足请指正

一般clickhouse节点的目录都如下

 access这个是跟权限相关,数据库的和用户的授权关系,用户的创建语句都在这个下面,如果只是数据盘故障重做的,这个可以去相同分片节点去拷贝过来,这样节点重启的时候,就可以得到原来集群的授权关系和用户信息

 data这个目录是实际数据存储目录,各个表的软连接,全部都是连接到store目录下,实际的数据存储目录是store下,可以用备用节点去查看备用节点的软连接关系,这里可以只创建软连接地址,实际的数据不需要管,启动之后会从副本中去同步数据

 

标签:副本,连接,节点,数据,目录,clickhouse,重做
From: https://www.cnblogs.com/zyp87/p/17813416.html

相关文章

  • 恒创科技:影响服务器香港节点无法访问的因素有哪些?
    ​香港服务器及大陆服务器对于国内用户在速度延迟上差不多,但香港的服务器不用备案,用来部署企业官网还是不错的,因为这样可以快速上线。但也有需要注意的地方,比如使用中可能会遇到无法访问的情况,会影响到网站的运营与打开。影响服务器香港节点无法访问的因素有很多。以下是......
  • 单节点flink部署
    单节点flink推荐作用于测试环境,最好不要使用到线上环境一、环境配置:1、安装Java至少1.8版本https://www.cnblogs.com/xiaoyou2018/p/9945272.html2、系统环境变量vi-b/etc/profileexportFLINK_HOME=/opt/flink-1.18.0exportPATH=$PATH:$FLINK_HOME/bin 二、安装f......
  • python ElementTree操作xml节点
    pythonElementTree操作xml节点,包括增删改查xml原文<Voucher><Id>967a198783d14835860574c697478156</Id><Remark>main摘要443344245567583384475</Remark><Delete>需要删除的节点1</Delete><DetailList><Det......
  • 倾斜摄影三维模型的根节点合并的并行处理技术分析
    倾斜摄影三维模型的根节点合并的并行处理技术分析 倾斜摄影三维模型的根节点合并是指将多个倾斜摄影拍摄得到的三维模型中的根节点进行合并,以减少模型大小和复杂度。在处理大规模的倾斜摄影数据时,传统的串行处理方法效率较低,因此需要使用并行处理技术来加速根节点合并的过程。......
  • JavaScript-Text节点
    Text节点的概念文本节点(Text)代表元素节点(Element)和属性节点(Attribute)的文本内容。如果一个节点只包含一段文本,那么它就有一个文本子节点,代表该节点的文本内容。通常我们使用父节点的firstChild、nextSibling等属性获取文本节点,或者使用Document节点的createTextNode方法创造一个文......
  • Linux基础——3节点keepalived配置多instance部署
    一、节点信息:节点主机IP备注keepalived-1192.168.100.1MASTER节点priority200auth_passKeepalived123keepalived-2192.168.100.2BACKUP节点priority150auth_passKeepalived123keepalived-3192.168.100.3BACKUP节点priority100auth_passKee......
  • AVL树节点插入方式解析(单旋转和双旋转)
    AVL树的规则在学习AVL树插入节点的方式之前,我们首先要理解为什么要出现AVL树,首先我们要知道的是AVL树是在二叉搜索树的基础上增加一些限制条件才完成的。那么AVL树就是为了处理二叉搜索树的缺点而出现的一棵树,那么普通的二叉搜索树的缺点是什么呢?假如往树中插入的元素有序或者接近......
  • element-ui选中节点包含子节点和父节点
    //代码: constcheckedNodes=this.$refs.asyncTree.getCheckedNodes(false,true) //遍历一下就可以获得所有id constids=checkedNodes.map(item=>item.id) console.log(ids)  ......
  • LeetCode222.完全二叉树的节点个数
    题目描述给你一棵完全二叉树的根节点root,求出该树的节点个数。完全二叉树的定义如下:在完全二叉树中,除了最底层节点可能没填满外,其余每层节点数都达到最大值,并且最下面一层的节点都集中在该层最左边的若干位置。若最底层为第h层,则该层包含1~2h个节点。示例提交的代......
  • 【教3妹学编程-算法题】117. 填充每个节点的下一个右侧节点指针 II
    2哥 :3妹,听说你昨天去面试了,怎么样啊?3妹:嗨,别提了,让我回去等通知,估计是没有通知了,还浪费我请了一天假。2哥 :你又请假了啊,你是怎么跟你那个严厉的老板请假的。3妹:我说我2哥生病了,嘿嘿~2哥:一猜就是说我生病了,自从你找工作,我这一年都病了十几回了……3妹:没办法,假不好请嘛,我尽快......