首页 > 其他分享 >K8s中下线Hadoop节点(节点下线,调整副本数)

K8s中下线Hadoop节点(节点下线,调整副本数)

时间:2023-12-27 16:22:06浏览次数:26  
标签:hdfs 副本 hadoop dfs Hadoop 下线 节点

K8s中下线Hadoop节点(节点下线,调整副本数)

将Hadoop从三副本修改为双副本,同时修改datanode和nodemanager节点数为2

修改hadoop节点副本数和datanode以及yarn nodemanager节点数:
hadoop.hdfs.replication=2
hadoop.hdfs.datanode=2
hadoop.yarn.nodemanager=2

重启hadoop yarn所有pod,确保pod不在需要下线的节点上(通过节点亲和实现)

Hadoop节点下线
hdfs-site.xml添加

<property>
<name>dfs.hosts</name>
<value>/opt/hadoop/etc/hadoop/dfs.include</value>
</property>
<property>
<name>dfs.hosts.exclude</name>
<value>/opt/hadoop/etc/hadoop/dfs.exclude</value>
</property>

新建文件

touch /opt/hadoop/etc/hadoop/dfs.include
touch /opt/hadoop/etc/hadoop/dfs.exclude

调整 dfs.exclude 文件内容,填写欲下线节点的 ip 或者 hostname

hdfs dfsadmin -refreshNodes
hdfs dfsadmin -report
hdfs --daemon stop datanode

将K8s节点下线(可裁切)

点击查看代码
kubectl cordon w-1
kubectl drain w-1 --ignore-daemonsets --delete-emptydir-data --
force
kubectl delete node w-1

查看hdfs根目录下数据块分布
hdfs fsck / -files -blocks -racks | grep default-rack

重启hdfs(可以通过删pod实现)

stop-dfs.sh
start-dfs.sh

调整副本数

调整根目录文件副本数
hdfs dfs -setrep -w 2 /
调整目录副本数
hdfs dfs -setrep -R -w 2 /

执行数据均衡
hdfs --loglevel DEBUG balancer -policy datanode -threshold 1

检查数据块分布
hdfs fsck / -files -blocks -racks | grep default-rack

标签:hdfs,副本,hadoop,dfs,Hadoop,下线,节点
From: https://www.cnblogs.com/hghbest/p/17930801.html

相关文章

  • 廊坊2023电信1控制节点重启
    环境:廊坊2023电信1环境负责人:潘义诚变更原因客户提出涉及主机: 重启步骤:职位平台随便启动这个就没有再用,没有影响。裸机平台我们这边说是104、106、108、110可以一起重启,启动好后再重启105、107、109、111。os-deploy和ceph-deploy直接重启就行。ntp-server和yum-server要分......
  • 使用Distcp进行Hadoop数据迁移
    使用Distcp进行Hadoop数据迁移DispCP官方文档在进行数据迁移前确认数据量大小和数据文件数,源端和目的端都需要确认:hdfsdfs-count/59790700822875716090/59790:表示目录/下的文件总数,即包括目录和文件在内的所有对象的数量。7008:表示目录/......
  • contentEditable实现div可编辑,控制插入节点(兼容IE)
    实现可文字编辑也可插入节点的功能展示如下:html5中contentEditable属性规定是否可编辑元素的内容,给需要编辑的节点添加contentEditable="true"。兼容性:当点击Button时在编辑框内增加节点:一开始div中加的span标签,发现有几个缺陷:点删除键时span不会删除整个,而是一个一个删除span里的......
  • 116.+117. 填充每个节点的下一个右侧节点指针(Ⅰ+Ⅱ)(中)
    目录题目题解:BFS题目给定一个完美二叉树(117的Ⅱ题不是完美二叉树,是二叉树,其余一样),其所有叶子节点都在同一层,每个父节点都有两个子节点。二叉树定义如下:structNode{intval;Node*left;Node*right;Node*next;}填充它的每个next指针,让这个指针指向其下一个右侧......
  • 搭建Hadoop开发环境并运行WordCount测试程序
    步骤1:修改主机名和IP地址1.1修改主机名sudohostnamectlset-hostnameyour_hostname1.2修改IP地址和绑定主机名与IP,根据你的网络配置进行设置。步骤2:关闭防火墙并关闭防火墙开机启动sudosystemctlstopfirewalldsudosystemctldisablefirewalld步骤3:安装JDK并配置环境......
  • Hadoop YARN Cgroups 资源隔离讲解
    目录一、概述二、Hadoop环境准备三、内存资源限制四、CPU资源限制1)启用LCE2)启用CGroup3)配置YarnCGroup目录3)CPU资源限制一、概述HadoopYARN(YetAnotherResourceNegotiator)使用Cgroups(ControlGroups)来进行资源管理和隔离。Cgroups是Linux内核提供的一种机制,......
  • Hadoop集群迁移(元数据及HDFS数据)
    1.背景老集群采用的腾讯emr集群,使用过程中磁盘扩容成本费用高且开源组件兼容性存在问题,因此决定采用自建hadoop集群,需要将emr的元数据和hdfs基础数据迁移过来。EMR版本:3.1.2自建Hadoop版本:3.1.32.集群迁移步骤2.1数据迁移nohuphadoopdistcp-i-phdfs://emrhdf存储地址/......
  • TDSQL集群扩容DB节点
    具体步骤见百度云盘:https://pan.baidu.com/s/1zMrjhckI2I4O1G1RzC09uQ提取码:h5mm。本文档适用于TDSQL(MYSQL版)和TDSQL(PG版)。内容如下:一、以下步骤在新增机器上面执行:1、检查audit服务(Mysql版本特有):systemctlstatusauditd,#如果存活则关闭:systemctlstopauditd&&systemc......
  • 243-layui 区域树xmSelect懒加载,且叶子节点有选择时,自动追溯父节点,并展开选中
    varregionData=[]; varurl=ctx+'/base/region/queryByAll'; varrtnRegion=admin.syncReq(url,{parentId:0}); regionData=rtnRegion.data; active.renderRegionData(regionData,regionId); varregionSel=xmSelect.render({ el:'#r......
  • ClickHouse单节点安装配置
    1、从宿主机/opt目录下将clickhouse开头的相关文件复制到容器Master中的/opt/module/clickhouse路径中(若路径不存在,则需新建),将全部解压命令复制并粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下;#从宿主机复制文件到容器Masterdockercp/opt/clickhouse......