Hadoop伪分布式部署

使用hadoop-3.1.0版本

添加用户hadoop

useradd hadoop

设置hadoop用户免密登录

切换到hadoop用户操作
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

测试hadoop用户可以免密登录

切换到hadoop用户操作
ssh localhost直接登录成功

官网下载hadoop-3.1.0安装包

https://archive.apache.org/dist/hadoop/common/hadoop-3.1.0/hadoop-3.1.0.tar.gz

解压后进入目录hadoop-3.1.0

修改配置etc/hadoop/hadoop-env.sh

# set to the root of your Java installation
export JAVA_HOME=jdk地址

修改配置etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>设置数据存储目录</value>
    </property>
</configuration>

修改配置etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

格式化namenode

bin/hdfs namenode -format

启动

sbin/start-dfs.sh

hadoop访问界面

http://IP:9870

执行操作命令

显示目录列表
bin/hdfs dfs -ls /

创建多级目录
bin/hdfs dfs -mkdir /a

创建多级目录
bin/hdfs dfs -mkdir -p /a/b/c

删除目录
bin/hdfs dfs -rm -r /a

上传文件
bin/hdfs dfs -put a.txt /

查看文件内容
bin/hdfs dfs -cat /a.txt

下载文件
bin/hdfs dfs -get /a.txt

删除文件
bin/hdfs dfs -rm /a.txt

停止

sbin/stop-dfs.sh