首页 > 编程语言 >解决hadoop的namenode和datanode结点启动不起来的问题

解决hadoop的namenode和datanode结点启动不起来的问题

时间:2024-04-09 22:30:24浏览次数:30  
标签:logs mkdir hadoop rf datanode namenode data 节点

首先介绍一下本人的情况:我的虚拟机最开始是可以启动的,后来删除了主节点,重新创建了一个主节点,并保持相同的主机名,并把从结点上的hadoop打包发到了主节点(前提已经弄好ssh和相关映射)

tar -zcf ~/hadoop.master.tar.gz ./hadoop //将hadoop目录下的内容打包复制到~/hadoop.master.tar.gz

        scp ~/hadoop.master.tar.gz master:/home/hadoop    //将打包内容复制到slave节点

注意,接下来问题来了,主节点的进程可以正常启动,但是从结点的datanode进程无法启动,使用手动启动datanode命令也无法实现

hadoop-daemon.sh start datanode

我的解决方法:

删除主节点dfs的目录下的data和name两个目录,删除后再创建,删除hadoop的logs文件

rm -rf data
rm -rf name
mkdir data 
mkdir name 
rm -rf logs
mkdir logs

因为从结点的dfs目录下没有name目录,所以删除从节点dfs的目录下的data目录,删除后再创建,删除hadoop的logs文件

rm -rf data
mkdir data
rm -rf logs
mkdir logs

最后对hadoop进行初始化 

hdfs namenode -format

标签:logs,mkdir,hadoop,rf,datanode,namenode,data,节点
From: https://blog.csdn.net/2301_80911580/article/details/137528334

相关文章

  • hadoop02
    1.配置文件hadoop的默认配置文件都在$HADOOP_HOME/share下,先读取这个默认值,再读取etc中用户配置的值,用户配置的值将覆盖默认值cd$HADOOP_HOME/sharemkdir-p/data/testfind-name"*-default.xml"-execcp{}~/data/test\;在hdfs-default.xml中查找dfs.blocksize,可以......
  • 在CentOS7上搭建hadoop集群
    hadoop官方下载地址https://hadoop.apache.org/releases.html用到的命令/root/hadoop-3.4.0/bin/hdfsnamenode-format,start-all.sh,stop-all.sh1.三台虚拟机分别设置静态ip2.设置免密登录(更改主机名、添加映射)3.配置hadoop(添加环境变量)core-site.xmlhdfs-site.......
  • Hadoop集群下的wordcount运行出错类型及解决方法
    1、启动wordcont程序显示异常:原因:2、显示服务器连接不成功:原因:虚拟机配置问题,导致yarn服务没有启动3、运行结果不正确:原因:暂未发现,求解答......
  • 大数据设计基于Hadoop技术下的校园二手交易系统的设计与实现
    一、项目介绍  在新冠疫情下,校园二手交易系统主要是用JAVA开发的。系统根据B/S架构设计,选用springboot框架开发,Hadoop技术,编码由Eclipse撰写,形成的数据储存在MySQL数据库中,服务器应用Tomcat。系统分成管理员控制模块和学生模块。管理员可以审批学生、物品分类、物品信息......
  • 大数据设计基于Hadoop全国天气可视化分析系统
    一、项目介绍  全国天气可视化分析系统主要功能模块包括系统首页、轮播图、公告消息、资源管理(天气资讯、资讯分类)系统用户(管理员、普通用户)模块管理(天气信息、降水数据),采取面对对象的开发模式进行软件的开发和硬体的架设,能很好的满足实际使用的需求,完善了对应的软体架设......
  • Hadoop3.1.3+Spark2.3.4全分布决策树
    该文档是一些配置全分布的注意事项(遇到的坑)与个人的一些指令备注,阅读文档前需要配置好网络,具体可以参考:网络配置。linux系统选择的是Centos7首先是一些小工具:小技巧1.Xshell:可以更方便地批量操控虚拟机进行全分布:这样输入任何指令都可以输入给所有虚拟机,方便全分布的配置......
  • 学习hadoop的第三天——hive搭建
    学习hadoop的第三天hive介绍hive的基本信息Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发......
  • 搭建hadoop 基于yarn的集群模式
     准备工作:三个虚拟机相同操作1.创建三个虚拟机,参考之前的配置信息2.设置主机名vi/etc/hosts 加入192.168.61.112bigdata112192.168.61.113bigdata113192.168.61.114bigdata1143.关闭防火墙:systemctlstopfirewalld.service/systemctldisablefirewalld.servi......
  • Linux华为云Hadoop配置环境
    手工搭建Hadoop环境(Linux)_弹性云服务器ECS_最佳实践(huaweicloud.com)https://support.huaweicloud.com/bestpractice-ecs/zh-cn_topic_0000001698668477.html?locale=zh-cn#ZH-CN_TOPIC_0000001698668477__li49001945163110跟着傻瓜式CV即可。气死我了!找了半天,最后在官网......
  • windos上安装hadoop并将文件上传至HDFS的操作
    参考1参考21.下载并安装hadoop下载解压hadoop:https://archive.apache.org/dist/hadoop/common/hadoop-2.7.1/百度网盘:安装包和配置文件链接:(https://pan.baidu.com/s/1SyORDDF5hxmm5-dZPuHNhA?pwd=1234)注意:我使用的是2.7.1版本,官网的Hadoop不支持Windows系统,需要修改......