Hadoop安装与使用
创建Hadoop用户
- 创建hadoop用户可以使不同用户之间有明确的权限区别,同时也可以使针对Hadoop用户的配置操作不影响其他用户的使用
- 创建用户命令如下:
sudo useradd -m hadoop -s /bin/bash
- 设置用户密码,方便记忆可以设为hadoop
sudo passwd hadoop
- 然后为hadoop用户增加管理员权限,方便部署
sudo adduser hadoop sudo
更新apt和安装Vim编辑器
- 用hadoop用户登录Ubuntu操作系统后,需要更新apt,确保后面顺利安装一些软件
sudo apt-get install vim
在需要确认处输入y即可
安装SSH和配置SSH无密码登录
- 对于Hadoop伪分布式和完全分布式而言,需要启动集群中所有机器的Hadoop守护进程,这个过程可以通过SSH登录来实现
- Ubuntu系统默认安装了SSH服务器和客户端,这里只需要安装SSH服务端,命令如下:
sudo apt-get install openssh-server
安装以后,可以使用如下命令登录本机
ssh localhost
- 出现提示后输入"yes",并输入密码就可以登录本机了,但每次登录都需要输入密码,因此我们需要配置成SSH无密码登录
- 退出刚才SSH登录,利用ssh-keygen生成密钥,并将密钥加入授权,具体命令如下
# 退出
$exit
# 进入.ssh目录
$cd ~/.ssh/
# 生成密钥
$ssh-keygen -t rsa
- 生成一对密钥,使用rsa通用密钥算法,这时需要有三次回车
5.生成后文件介绍
这时出现几个文件,id_rsa.pub(publilc)公钥,id_rsa私钥,known_hosts是上几步输入ssh 192.168.41.102 产生的文件;
known_hosts 记录ssh访问过计算机的公钥(public key)
id_rsa 生成的私钥
id_rsa.pub 生成的公钥
authorized_keys 存放授权过的无密登录服务器公钥(后面会提到)
- cat查看id_rsa.pub文件
cat id_rsa.pub
- 向自己发送公钥
ssh-copy-id ...
输入密码
- 查看authorized_keys
这时生成了 authorized_keys 文件,文件与id_rsa.pub内容相同
- 退出ssh登录
exit
- 再次登录
ssh ip
此时再用ssh localhost命令,无需输入密码就可以直接登录
安装Java环境
- hadoop本事使用java编写,因此Hadoop的开发和运行都需要Java的支持,对于Hadoop3.1.3而言,其要求使用JDK1.8安装包
- 下载JDK安装文件(jdk-8u162-linux-x64.tar.gz),并且保存到"/home/hadoop/Downloads"目录下
(链接:https://pan.baidu.com/s/1lKmjIaVNQQwjxEU6WQsO7w?pwd=gtin 提取码:gtin) - 执行如下命令创建"/usr/lib/jvm"目录来存放JDK文件
$cd /usr/lib
# 创建目录存放jvm文件
$sudo mkdir jvm /usr/lib/jvm
$cd ~ # 进入hadoop用户的主目录
$cd Downloads
$sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm
# 下面继续执行如下命令,设置环境变量:
$vim ~/.bashrc
# 在该文件的开头位置添加如下内容
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
# 保存 退出
:wq
# 输入如下指令使.bashrc生效
$source ~/.bashrc
#这是可以查看java是否安装成功
$java -version
- 出现如下信息,则说明安装成功
``
标签:登录,sudo,Hadoop,rsa,hadoop,ssh,使用,安装 From: https://www.cnblogs.com/tomMan/p/18071704