首页 > 其他分享 >Hadoop安装配置

Hadoop安装配置

时间:2023-02-04 14:22:06浏览次数:101  
标签:opt 配置 hduser Hadoop module ssh hadoop1 安装 software

关闭防火墙

systemctl stop firewalld
systemctl disable firewalld.service

创建操作用户

useradd hduser
passwd hduser

# 编辑文件
vim /etc/sudoers

添加 hduser ALL=(ALL) NOPASSWD:ALL

要放到%wheel这行下面

%wheel  ALL=(ALL)       ALL
hduser ALL=(ALL) NOPASSWD:ALL

修改主机名称

# 三台主机分别 hadoop1 hadoop2 hadoop3
vim /etc/hostname

在/opt目录下创建文件夹,并修改所属主和所属组

# 在/opt目录下创建module、software文件夹
[root@hadoop1 ~]# mkdir /opt/module
[root@hadoop1 ~]# mkdir /opt/software

# 修改module、software文件夹的所有者和所属组均为hduser用户
[root@hadoop1 ~]# chown hduser:hduser /opt/module
[root@hadoop1 ~]# chown hduser:hduser /opt/software

# 查看module、software文件夹的所有者和所属组
[root@hadoop1 opt]# ll
总用量 0
drwxr-xr-x. 4 hduser hduser 46 2月   2 21:48 module
drwxr-xr-x. 2 hduser hduser 33 2月   2 21:31 software

分别配置 Linux 克隆机主机名称映射 hosts 文件,打开/etc/hosts

vim /etc/hosts

如下了内容

192.168.2.111 hadoop1
192.168.2.112 hadoop2
192.168.2.113 hadoop3

无密钥配置

# 在hadoop1中生成公钥私钥(然后敲(三个回车)
ssh-keygen -t rsa

# 在hadoop1中将公钥拷贝到要免密登录的目标机器上
# 注意自己也需要分发,如当前是 hadoop1 也需要 分发 hadoop1
ssh-copy-id hadoop1
ssh-copy-id hadoop2
ssh-copy-id hadoop3

# 查看是否免密设置成功,三台机器分别执行,如下图为设置成功
cat /home/mitchell/.ssh/authorized_keys

1.进入hadoop安装包目录 并解压到/opt/module/

tar -zxvf hadoop-3.3.4.tar.gz -C /opt/module/

配置环境变量

# HADOOP
export HADOOP_HOME=/opt/module/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
vim 

hadoop相关配置

2.2.5集群崩溃处理方法

rm -rf data/ logs/
hdfs namenode -format
sbin/start-dfs.sh

标签:opt,配置,hduser,Hadoop,module,ssh,hadoop1,安装,software
From: https://www.cnblogs.com/tsangyi/p/17091414.html

相关文章