首页 > 其他分享 >hadoop添加磁盘扩容

hadoop添加磁盘扩容

时间:2024-07-04 15:59:01浏览次数:17  
标签:hdfs hadoop etc 添加 sda2 磁盘 data

磁盘准备

定位新磁盘

使用 lsblk 或者 sudo fdisk -l 命令来查看系统上已连接的磁盘,并找到你想要挂载的新磁盘的设备名称,比如 /dev/sda2

lsblk
sudo fdisk -l

格式化新磁盘

假设新磁盘的设备名是 /dev/sda2,使用以下命令将其格式化为 ext4 文件系统:

sudo mkfs.ext4 /dev/sda2

获取新磁盘的 UUID

使用 blkid 命令获取新磁盘的 UUID。这将帮助你在 /etc/fstab 文件中正确地配置挂载信息。

sudo blkid /dev/sda2

输出内容如下,记录下输出中的 UUID,它将用于后续步骤中的 /etc/fstab 文件配置。

/dev/sda2: UUID="xxxxx" TYPE="ext4" PARTLABEL="Basic data partition" PARTUUID="xxxxx"

挂载磁盘

创建一个新的挂载目录,比如 /mnt/sda2,需要注意这个目录的权限要当前用户可以访问,如果不是当前用户的,需要chown给当前用户

mkdir /mnt/sda2

打开 /etc/fstab 文件,并添加一行来配置新磁盘的挂载信息。使用 sudo vi /etc/fstab 或者 sudo nano /etc/fstab 编辑器打开文件。

在文件的末尾添加以下行(将实际的 UUID 替换为上一步中的值):

UUID=xxxxxxxx  /mnt/sda2           ext4    defaults        0       2

运行以下命令来测试并应用 /etc/fstab 中的更改,确保没有错误:

sudo mount -a

修改hdfs配置信息

现在,需要将新挂载的路径添加到 HDFS 的数据目录配置中。

修改配置信息,例如我的hadoop目录是在/data/hadoop-3.2.3/,hdfs的配置目录在etc/hadoop/hdfs-site.xml,修改哪一个节点,修改对应配置节点的这个配置文件就行

vi /data/hadoop-3.2.3/etc/hadoop/hdfs-site.xml

修改 dfs.data.dir 属性

找到 <configuration> 节点内部的 dfs.data.dir 属性,并将新的挂载路径添加到已有的路径列表中。例如:

    <property>
        <name>dfs.data.dir</name>
        <value>file:/home/dell/hdfs/data,file:/mnt/sda2</value>
    </property>

重启hdfs

最后回到namenode,主节点,重启一下dfs就可以了

/data/hadoop-3.2.3/sbin/start-dfs.sh
/data/hadoop-3.2.3/sbin/stop-dfs.sh

查看集群状态

使用 hdfs dfsadmin -report 命令来检查 HDFS 集群的状态报告,确保新添加的存储路径已经成功被识别和添加。

hdfs dfsadmin -report

 

标签:hdfs,hadoop,etc,添加,sda2,磁盘,data
From: https://www.cnblogs.com/youmuchen/p/18284016

相关文章

  • Apache Hadoop完全分布式集群搭建指南
    Hadoop发行版本较多,Cloudera版本(Cloudera’sDistributionIncludingApacheHadoop,简称CDH)收费版本通常用于生产环境,这里用开源免费的ApacheHadoop原始版本。下载:ApacheHadoop版本下载:Indexof/hadoop/commonHadoop基础知识可查看本专栏其它篇章:ApacheHadoop的核心组成......
  • (必看图文)Hadoop集群安装及MapReduce应用(手把手详解版)
    前言    随着大数据时代的到来,处理和分析海量数据已成为企业和科研机构不可或缺的能力。Hadoop,作为开源的分布式计算平台,因其强大的数据处理能力和良好的可扩展性,成为大数据处理领域的佼佼者。本图文教程旨在帮助读者理解Hadoop集群的安装过程,并通过MapReduce应用实例,......
  • 前端如何优雅的添加水印及去除水印
    ......
  • unbuntu添加交换分区
    环境:OS:16.04 安装ubuntu的时候采用的是lvm方式自动安装的,划分的swap分区太小了,无法满足安装oracle的要求,下面单独创建一个交换分区fallocate-l4G/swapfilels-lh/swapfilechmod600/swapfilemkswap/swapfileswapon/swapfileswapon--showecho'/swapfilenoneswap......
  • centos7定时检测磁盘大小,并输出为csv格式
    脚本:!/bin/bash定义输出文件名OUTPUT_FILE="/path/to/output.csv"获取当前日期时间,为CSV文件名添加时间戳TIMESTAMP=$(date+"%Y%m%d%H%M%S")OUTPUT_FILE_WITH_TIMESTAMP="${OUTPUT_FILE}_${TIMESTAMP}.csv"检测磁盘空间并输出到CSV文件df-h|awk-vOFS=','&#......
  • 如何恢复RAID磁盘组
    一、确认故障现象:1.检查RAID管理界面或系统日志,确认RAID磁盘组的状态,如是否显示“降级”、“失败”或“离线”。2.记录所有相关的错误信息和日志,以便后续分析。评估恢复难度:1.根据故障现象初步判断恢复难度,包括是否涉及硬件损坏、RAID配置丢失或数据损坏等。2.确定是否有可用......
  • 如何从服务器bios清除磁盘数据
    解决问题并查找根源:一、服务空间不足,服务无法部署或服务不可用二、清理了大日志文件,但是空间还是不足1.首先是通过df-h命令查看磁盘的使用情况,主演是看Avail(可用)和Use(已用)的占用百分比,如下所示:df-hFilesystemSizeUsedAvailUse%Mountedon/dev/mapper/VolGroup-lv_r......
  • 解决办法:hyper-v导出虚拟机到ESXI报错找不到磁盘:dev disk by-uuid 4b85b6e9-f0d1-4dc
    linux救援模式可以进入系统,发现UUID都是正常的。执行以下命令确认的:[root@localhost~]#cat/etc/fstabUUID=4b85b6e9-f0d1-4dc8-a9dd-aafad7b4354c/xfsdefaults00UUID=24c8c603-e6bd-453c-982f-79e9df3468fd/bootxfsdefaults00UUID=53608cf9-17c1-40c5-85ed-f88......
  • windows10添加多个东芝14T硬盘系统加载不出来的问题
    windows10添加多个东芝14T硬盘系统加载不出来的问题1.明明是加了一个14T东芝硬盘,系统就是加载不出来,从BIOS上也能看2.解决方法此电脑右键–》管理3.设置管理器—》标准sataahci控制器4.右键卸载设备,点击卸载,系统系统重启5.重启好后就能看到新挂的硬盘了......
  • Django框架之Cookie和Session概念,Django操作cookie,Django操作Session,CBV添加装饰器
    ⅠDjango框架之Cookie和Session概念【一】Cookie与Session的发展史Cookie和Session是用来在Web应用程序中跟踪用户会话数据的两种常用技术。【1】Cookie的发展史1994年,网景通信公司推出了第一个浏览器Cookie技术。Cookie是存储在用户计算机上的小型文本文件,用于跟踪用户......