首页 > 其他分享 >启动HDFS伪分布式环境时报权限错误

启动HDFS伪分布式环境时报权限错误

时间:2022-08-27 22:46:09浏览次数:74  
标签:HDFS pdsh K21 ssh ZHAOYANG 80 权限 Starting 分布式

问题描述

操作系统:Ubuntu18.04 LTS
HDFS版本:hadoop-3.2.3
普通用户登录,参照官方文档在单机上安装伪分布式环境时,启动HDFS报权限错误。
具体报错信息如下:

$ ./sbin/start-dfs.sh 
Starting namenodes on [localhost]
pdsh@zhangsan-ZHAOYANG-K21-80: localhost: rcmd: socket: Permission denied
Starting datanodes
pdsh@zhangsan-ZHAOYANG-K21-80: localhost: rcmd: socket: Permission denied
Starting secondary namenodes [zhangsan-ZHAOYANG-K21-80]
pdsh@zhangsan-ZHAOYANG-K21-80: zhangsan-ZHAOYANG-K21-80: rcmd: socket: Permission denied

已经设置过本机SSH免密码登录:

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

原因分析及解决

虽然已经设置了本机ssh免密登录,但是由于pdsh默认使用的是rsh,而并非ssh,因此报错。
解决办法:

$ vim ~/.bashrc
export PDSH_RCMD_TYPE=ssh

$ source ~/.bashrc

再次执行HDFS启动时即可成功。

$ ./sbin/start-dfs.sh 
Starting namenodes on [localhost]
Starting datanodes
Starting secondary namenodes [zhangsan-ZHAOYANG-K21-80]

【参考】
https://stackoverflow.com/questions/42756555/permission-denied-error-while-running-start-dfs-sh Permission Denied error while running start-dfs.sh
https://www.xiexianbin.cn/linux/commands/rcmd/index.html rcmd
https://developer.aliyun.com/article/401197 并行分布式运维工具pdsh
https://www.cnblogs.com/chen2ha/p/14787728.html Linux海王之pdsh
https://blog.csdn.net/qq_37865420/article/details/117263959 pdsh使用

标签:HDFS,pdsh,K21,ssh,ZHAOYANG,80,权限,Starting,分布式
From: https://www.cnblogs.com/nuccch/p/16631690.html

相关文章

  • Nginx分布式框架详解-基础37-45nginx静态资源部署01
    nginx静态资源概述上网去搜索访问资源对于我们来说并不陌生,通过浏览器发送一个HTTP请求实现从客户端发送请求到服务器端获取所需要内容后并把内容回显展示在页面的一个......
  • spring boot 分布式session实现
    springboot分布式session实现主要是通过包装HttpServletRequest将session相关的方法进行代理。具体是的实现就是通过SessionRepositoryFilter过滤器将HttpServletReque......
  • Nginx分布式框架详解-基础32-36nginx基础配置实例
    nginx基础配置实例需求分析前面我们已经对Nginx服务器默认配置文件的结构和涉及的基本指令做了详细的阐述。通过这些指令的合理配置,我们就可以让一台Nginx服务器正常......
  • Nginx分布式框架详解-基础22-31nginx核心配置文件
    nginx配置文件nginx.conf的文件结构从前面的内容学习中,我们知道Nginx的核心配置文件默认是放在/usr/local/nginx/conf/nginx.conf,本次我们就来学习下nginx.conf的内......
  • Seatunnel超高性能分布式数据集成平台使用体会
    @目录概述定义使用场景特点工作流程连接器转换为何选择SeaTunnel安装下载配置文件部署模式入门示例启动脚本配置文件使用参数示例Kafka进Kafka出的ETL示例FlinkRun传递参......
  • 微服务架构之分布式追踪(Zipkin)
    在微服务架构中,由于服务之间做了拆分,一次请求往往要涉及多个服务的调用,不同的服务可能由不同的团队开发,使用不同的编程语言,还有可能部署在不同的机器上,分布在不同的数......
  • win系统airtest+pytest-xdist服务器分布式运行。
    一.环境部署1.准备至少两台服务器,集群全部是局域网,(启动脚本的时候可以使用外网ip)。2.输出的报告地址,需要把文件夹设置成共享文件夹,(连接的时候使用内外ip)。importos,da......
  • linux 的文件权限案列
    需求:技术部门人员可以相互查看,但不能删除和修改别人的文件,其他部门人员不能查看,但领导组可以且只能查看。设计:技术部:组jishu;人员js1,js2领导:组lingd;人员......
  • 分布式事务实战方案汇总
    1.最终一致性1.1本地事务表+轮询补偿交互流程  ①commitDB事务提交阶段本地客户端向DB进行事务提交,此时需要将业务数据和记录消息事务状态的信息表......
  • 常见的复制模型&分布式系统的挑战 事务,一致性与共识
    Replication(上):常见的复制模型&分布式系统的挑战https://mp.weixin.qq.com/s/LB5SR4ypQwDxzueI1ai2KgReplication(下):事务,一致性与共识https://mp.weixin.qq.com/s/O9Z5e_B......