首页 > 其他分享 >HDFS数据目录挂载在根目录下至磁盘爆满问题解决

HDFS数据目录挂载在根目录下至磁盘爆满问题解决

时间:2023-02-22 09:24:34浏览次数:48  
标签:node HDFS daemon hadoop 爆满 sbin home 根目录 data

1、查看hdfs-size.xml文件

  获取数据目录位置

vim /opt/hadoop/etc/hadoop/hdfs-site.xml
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop-data/data-node-data,/home/hadoop-data/data-node-data-2,/data-3</value>
</property>

2、查看磁盘挂载情况

  发现只有/data-3是数据目录,而/home/hadoop-data/data-node-data,/home/hadoop-data/data-node-data-2是属于根目录下的,这样做系统会出现问题,故需要将其迁移至数据盘/data-3

3、在/data-3数据目录下创建新目录

mkdir -p /data-3/data-1
mkdir -p /data-3/data-2

4、停止集群并通过相关开发人员

(1)停止historyserver

cd /opt/hadoop-2.7.1
sbin/yarn-daemon.sh stop historyserver

(2)停止resourcemanager

sbin/yarn-daemon.sh stop resourcemanager

(3)停止datanode、journalnode、nodemanager

sbin/hadoop-daemon.sh stop datanode
sbin/hadoop-daemon.sh stop journalnode
sbin/yarn-daemon.sh stop nodemanager

(4)停止namenode、zkfc

sbin/hadoop-daemon.sh stop namenode
sbin/hadoop-daemon.sh stop zkfc

5、修改旧数据目录名称

mv /home/hadoop-data/data-node-data /home/hadoop-data/data-node-data-bck
mv /home/hadoop-data/data-node-data-2 /home/hadoop-data/data-node-data-2-bck

6、创建新目录

mkdir -p /home/hadoop-data/data-node-data
mkdir -p /home/hadoop-data/data-node-data-2

7、复制数据至新目录(耗时较长,看数据量大小而言)

cp -r /home/hadoop-data/data-node-data-bck/* /data-3/data-1
cp -r /home/hadoop-data/data-node-data-2-bck/* /data-3/data-2

8、添加软链接

ln -s /data-3/data-1/* /home/hadoop-data/data-node-data
ln -s /data-3/data-2/* /home/hadoop-data/data-node-data-2

9、重启集群

(1)启动namenode、zkfc

cd /opt/hadoop-2.7.1
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start zkfc

(2)启动datanode、journalnode、nodemanager

sbin/hadoop-daemon.sh start datanode
sbin/hadoop-daemon.sh start journalnode
sbin/yarn-daemon.sh start nodemanager

(3)启动resourcemanager

sbin/yarn-daemon.sh start resourcemanager

(4)启动historyserver

sbin/yarn-daemon.sh start historyserver

10、删除旧目录数据

cd /home/hadoop-data/
rm -rf data-node-data-bck
rm -rf data-node-data-2-bck

11、查看根目录磁盘情况,发现根目录磁盘使用率由82%降至3%,数据已成功迁移至数据盘中,问题解决

标签:node,HDFS,daemon,hadoop,爆满,sbin,home,根目录,data
From: https://www.cnblogs.com/qq1035807396/p/17143149.html

相关文章

  • HDFS写操作(简单源码解读)
    HDFS最重要的就是写流程了,学校老师教的时候也是重点介绍这个过程(虽然我并没有在任何面试中被问到过)。下面从画图和文字两个过程介绍写流程,这次读了源代码之后对整个过程更......
  • 扩容根目录(逻辑卷)
    跨磁盘扩容根目录原创 陈步云 小陈运维 2023-02-0615:26 发表于内蒙古跨磁盘扩容根目LVM的基本概念物理卷PhysicalVolume(PV):可以在上面建立卷组的媒......
  • Hadoop-HDFS-shell命令
      第2章HDFS的Shell操作(开发重点)2.1基本语法hadoopfs具体命令 OR hdfsdfs具体命令两个是完全相同的。2.2命令大全[[email protected]]$......
  • HDFS优化方案
    一、短路本地读取(ShortCircuitLocalReads)1.1 背景在HDFS中,不管是LocalReads(DFSClient和Datanode在同一个节点)还是RemoteReads(DFSClient和Datanode不在同......
  • HDFS数据(跨集群)迁移
    一、数据迁移使用场景1.冷热集群数据同步、分类存储2.整体数据整体搬迁3.数据准实时同步(备份)二、考量因素1.网络传输带宽及时间,是否会影响现有业务2.性能,单机?多......
  • HDFS读写数据流程
    文件写入(1)HDFSClient上传文件到集群,HDFSClient会创建本地的分布式文件系统(DistributedFileSystem),向集群NameNode请求上传文件(2)NameNode检查目录树是否允许创建文件,检查......
  • HDFS文件块
    知识点补充HDFS优缺点:优点(1)高容错性。节点存放的副本比较多。(2)适合处理大数据。GB、TB、PB级别的数据都可以处理。(3)可以构建在廉价的机器上,通过多副......
  • hdfs操作——hdfs的shell命令和hdfs的JavaAPI操作
    hdfs解决hadoop海量数据的存储。shell命令(所有hadoopfs可由hdfsdfs代替)(1)在hdfs上创建目录hadoopfs-mkdir目录名(2)本地文件的上传hadoopfs-copyFromLoc......
  • Linux 下查看根目录各文件内存占用情况
    1、df-h 命令查看整体磁盘使用情况2、 使用 du-ah--max-depth=1  /  可以查看根目录下各个文件占用情况使用命令du-h–max-depth=1/var/log/*查看/v......
  • openwrt helloworld放在根目录下
    https://blog.csdn.net/guiwukejiBGG/article/details/107450783openwrthelloworld放在根目录下openwrthelloworld放在根目录下 openwrthelloworld放在根目录下......