首页 > 其他分享 >hadoop节点下线的问题

hadoop节点下线的问题

时间:2022-11-29 15:13:23浏览次数:45  
标签:excludes site bigdata home hadoop 下线 节点


注意:以下操作都是理论上的,由于我安装的是apache hadoop3.1.3 原生版本,所以按照以下操作时,全部不生效,结果只能手工强制停止datanode、nodemanager服务。


1. 新增文件excludes

填写要删除的节点,比如
cdh192-35
cdh192-36

2. 修改core-site.xml

<property>
    <name>dfs.hosts.exclude</name>
    <value>/home/hadoop/bigdata/hadoop/etc/hadoop/excludes</value>
</property>

修改hdfs-site.xml

<property>
    <name>dfs.hosts.exclude</name>
    <value>/home/hadoop/bigdata/hadoop/etc/hadoop/excludes</value>
    <final>true</final>
</property>

修改mapred-site.xml

<property>
    <name>mapred.hosts.exclude</name>
    <value>/home/hadoop/bigdata/hadoop/etc/hadoop/excludes</value>
    <final>true</final>
</property>

3. 刷新节点信息

一定要刷新

hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes

查看活动的节点

yarn node -list

4.查看节点状态变化

hdfs dfsadmin -report或者web界面查看节点状态变化:

Normal -> decomissioning -> Decommissioned

标签:excludes,site,bigdata,home,hadoop,下线,节点
From: https://www.cnblogs.com/30go/p/16935426.html

相关文章

  • 华为分布式数据库gaussdb,代理长连接会把查询语句分别到主节点上的优化思考
    智能刊登Gaussdb优化点 :1.确定是查询的语句,可以通过hint语句指定在读节点上查询,避免因代理长连接到主节点查询;用法:/*forceSLAVE*/SELECTCOUNT(1)assuccessFROM......
  • 每天一点基础K8S--K8S中调度策略---节点选择器nodeName、nodeSelector
    K8S中的调度策略---节点选择器正常情况下,Pod被调度到哪一个节点是通过scheduler完成,但在一些场景中,时常需要将一些pod指定在某一个node上运行。那此时就可以通过nodeName......
  • hadoop20
    WordCountWordCount就是"词语统计",这是MapReduce工作程序中最经典的一种。它的主要任务是对一个文本文件中的词语作归纳统计,统计出每个出现过的词语一共出现的次数。......
  • hadoop6
    Hadoop整体设计Hadoop框架是用于计算机集群大数据处理的框架,所以它必须是一个可以部署在多台计算机上的软件。部署了Hadoop软件的主机之间通过套接字(网络)进行通讯......
  • hadoop9
    MapReduceMapReduce的含义就像它的名字一样浅显:Map和Reduce(映射和规约)。大数据处理大量数据的处理是一个典型的"道理简单,实施复杂"的事情。之所以"实施复杂",主要......
  • hadoop8
    HDFS的节点HDFS运行在许多不同的计算机上,有的计算机专门用于存储数据,有的计算机专门用于指挥其它计算机储存数据。这里所提到的"计算机"我们可以称之为集群中的节点。......
  • hadoop10
    MapReduce概念我在IBM的网站上找到了一篇MapReduce文章,地址:https://www.ibm.com/analytics/hadoop/mapreduce 。现在我改编其中的一个MapReduce的处理案例来介绍......
  • hadoop11
    之前提到过的Hadoop三种模式:单机模式、伪集群模式和集群模式。单机模式:Hadoop仅作为库存在,可以在单计算机上执行MapReduce任务,仅用于开发者搭建学习和试验环境。伪......
  • hadoop12
    HDFS配置和启动HDFS和数据库相似,是以守护进程的方式启动的。使用HDFS需要用HDFS客户端通过网络(套接字)连接到HDFS服务器实现文件系统的使用。在Hadoop运行环......
  • Hadoop1
    Hadoop是一个开源的分布式计算和存储框架,由Apache基金会开发和维护。Hadoop为庞大的计算机集群提供可靠的、可伸缩的应用层计算和存储支持,它允许使用简单的编程模型跨......