首页 > 编程语言 >start-all.sh脚本启动Hadoop的NameNode、DataNode、ResourceManager和NodeManager失败

start-all.sh脚本启动Hadoop的NameNode、DataNode、ResourceManager和NodeManager失败

时间:2024-11-05 16:30:08浏览次数:1  
标签:Aborting rootERROR ResourceManager Attempting Hadoop YARN start USER

今天在做大数据实验时,在终端,start-all.sh脚本启动Hadoop的NameNode、DataNode、ResourceManager和NodeManager失败,出现下面的错误信息:

[root@node1 hadoop]# ./sbin/start-all.sh
Starting namenodes on [node1]
ERROR: Attempting to operate on hdfs namenode as root
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.
Starting datanodes
ERROR: Attempting to operate on hdfs datanode as root
ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation.
Starting secondary namenodes [node1]
ERROR: Attempting to operate on hdfs secondarynamenode as root
ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation.
Starting resourcemanager
ERROR: Attempting to operate on yarn resourcemanager as root
ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation.
Starting nodemanagers
ERROR: Attempting to operate on yarn nodemanager as root
ERROR: but there is no YARN_NODEMANAGER_USER defined. Aborting operation.
ERROR: Attempting to operate on yarn proxyserver as root
ERROR: but there is no YARN_PROXYSERVER_USER defined. Aborting operation.

 

原因是Hadoop不允许以root用户身份启动Hadoop服务,因为Hadoop需要特定的环境变量来指定运行服务的用户。

我是这样解决的:

1、在终端输入以下命令来编辑 /etc/profile 文件:

sudo vi /etc/profile

2、按 i 键进入插入模式,在文件的末尾或您希望添加内容的位置,粘贴以下内容:

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

3、完成编辑后,按 Esc 键退出插入模式。输入 :wq 保存更改并退出 vi 编辑器。

4、终端运行以下命令,使修改生效

source /etc/profile

5、接下来在终端输入以下命令,就会解决部分问题

./sbin/start-all.sh  

 6、发现还有问题

ERROR: Attempting to operate on yarn proxyserver as root
ERROR: but there is no YARN_PROXYSERVER_USER defined. Aborting operation.

问题在于:Hadoop 启动脚本尝试以 root 用户身份运行 yarn proxyserver,但是没有定义 YARN_PROXYSERVER_USER 环境变量

所有你需要在 Hadoop 的环境配置文件中设置 YARN_PROXYSERVER_USER

7、终端输入命令,打开 hadoop-env.sh 文件:

sudo vi /export/server/hadoop/etc/hadoop/hadoop-env.sh(这里编辑方式同上)

8、我直接在文件末尾添加命令export YARN_PROXYSERVER_USER=root

 解决了第六的问题,然后我这还出现了一个问题,此外,这个东西是正确的,但是我用错账号了,

标签:Aborting,rootERROR,ResourceManager,Attempting,Hadoop,YARN,start,USER
From: https://www.cnblogs.com/yuanxinglan/p/18528306

相关文章

  • glibc中_start、__libc_start_main、main、exit、init、finit、rtld_fini这几个函数的
    在glibc和一般的Linux程序执行流程中,以下是这几个函数的包含关系和调用顺序:_start:是程序执行的入口点,通常由编译器自动提供。它负责初始化程序,收集命令行参数以及环境变量,并准备调用 __libc_start_main。__libc_start_main:这是glibc提供的启动例程,由 _start......
  • 1.fastapi的quickstart
    1.fastapi的quickstart_接口案例2.fastapi的quickstart_运行项目的启动方式3.fastapi的quickstart_打开FastAPI测试网址,点击Tryitout4.fastapi的quickstart_打开FastAPI测试网址,点击Execute5.fastapi的quickstart_打开FastAPI测试网址,接口的运行结果......
  • AI赛道盈利模式揭秘——以AIStarter为例【AI数字人、大模型、工作流...】
    随着人工智能技术的飞速发展,越来越多的企业涌入这一赛道,试图在激烈的市场竞争中占据一席之地。作为其中的一员,AIStarter凭借其独特的商业模式和技术创新,成功地在市场上站稳了脚跟。本文将深入探讨AIStarter的盈利模式,揭示其成功的秘密。AIStarter概述AIStarter是一家专注于提......
  • 从零开始学AIStarter:创作者模式全攻略【AI工作流、数字人、大模型、对话、设计...】
    在数字化时代,项目管理工具成为了提高工作效率、促进团队协作不可或缺的一部分。对于创作者来说,选择一个既能满足个性化需求又能提供高效管理支持的平台尤为重要。AIStarter项目管理平台正是这样一款专为创意人士设计的强大工具,它不仅提供了丰富的功能来帮助用户更好地组织工作......
  • 新手必看!AIStarter能帮你做什么?【AI绘画、设计、对话、工作流、编程...】
    在当今这个技术飞速发展的时代,人工智能(AI)已经成为了推动各行各业创新的关键力量。为了帮助更多的人能够轻松地利用AI技术解决实际问题,AIStarter应运而生。作为一款面向开发者的强大工具,AIStarter不仅简化了AI模型的构建过程,还提供了丰富的资源和支持,让不论是初学者还是有经验......
  • Hadoop高可用搭建
    最终每个节点上的进程ZKNNDNJNZKFCmaster1111node111111node21111、防火墙servicefirewalldstop2、时间同步yuminstallntpntpdate-us2c.time.edu.cn或者date-s201805033、配置免密ssh-keygen-trsassh-copy-idipmaster-->mast......
  • Hadoop高可用搭建
    搭建前准备(检查是否满足以下条件)1、关防火墙servicefirewalldstop2、时间同步yuminstallntpntpdate-us2c.time.edu.cn或者date-s201805033、免密钥(远程执行命令)在两个主节点生成密钥文件ssh-keygen-trsassh-copy-idipmaster-->master,node1,node2......
  • 大数据导论及分布式存储HadoopHDFS入门
    思维导图数据导论数据是什么?进入21世纪,我们的生活就迈入了"数据时代"作为21世纪的新青年,"数据"一词经常出现。数据无时无刻的在影响着我们的现实生活什么是数据?数据又如何影响现实生活?数据:一种可以被鉴别的对客观事件进行记录的符号。简单来说就是:对人类的行为......
  • jasypt-spring-boot-starter可以使用一些加密工具对敏感信息进行加密,并在应用启动时解
    gradle依赖implementation"com.github.ulisesbocchio:jasypt-spring-boot-starter:3.0.4"在application.properties或application.yml或者(启动命令加上)中配置Jasypt的密钥:jasypt.encryptor.password=秘钥使用Jasypt提供的命令行工具或在线工具对敏感信息进行加密。例......
  • Hadoop分布式文件系统架构和设计
    Hadoop分布式文件系统架构和设计引言Hadoop分布式文件系统(HDFS)是一个设计用于在普通硬件上运行的分布式文件系统。它与现有的分布式文件系统有许多相似之处。然而,HDFS与其他分布式文件系统的差异是显著的。HDFS具有高度的容错能力,并且设计用于在低成本硬件上部署。HD......