标签：bin hdfs 环境 hadoop dfs 分布 user input 搭建
1. 进⼊/opt/install/hadoop/etc/hadoop⽬录
2. 修改hadoop-env.sh：注释第25⾏并插⼊：export JAVA_HOME=/opt/install/jdk
3. 修改core-site.xml：在<configuration>与</configuration>之间添加以下内容：
<!-- 指定 HDFS 中 NameNode 的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop101:9000</value>
</property>
<!-- 指定 hadoop 运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/install/hadoop/data/tmp</value>
</property>
4. 修改hdfs-site.xml：在<configuration>与</configuration>之间添加以下内容：
<!-- 指定 HDFS 副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!-- 设置SecondaryNamenode主机和端口 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop101:50090</value>
</property>
5. 修改slaves⽂件：添加 hadoop101
6. 格式化 NameNode：
-
cd /opt/install/hadoop
-
bin/hdfs namenode -format【注意只需执⾏⼀次】
7. 启动 NameNode：sbin/hadoop-daemon.sh start namenode，查看是否启动成功：jps
8. 启动 DataNode：sbin/hadoop-daemon.sh start datanode，查看是否启动成功：jps
9. 通过windows的浏览器查看服务：http://hadoop101:50070/ 需要修改hosts:C:\Windows\System32\drivers\etc\hosts⽂件中添加 192.168.18.101 hadoop101
10. 在 hdfs ⽂件系统上创建⼀个 input ⽂件夹：bin/hdfs dfs -mkdir -p /user/hadoop/input
11. 将测试⽂件上传到hdfs⽂件系统上：
-
在/opt/install/hadoop⽬录下创建⽂件⽬录 mkdir wcinput
-
创建⽂件 vim wcinput/wc.input
-
bin/hdfs dfs -put wcinput/wc.input /user/hadoop/input/
12. 查看hdfs⽂件系统中指定⽬录中的⽂件信息：bin/hdfs dfs -ls /user/hadoop/input
13. 查看hdfs⽂件系统中指定⽂件的内容：bin/hdfs dfs -cat /user/hadoop/input/wc.input
14. 运⾏ mapreduce 程序：bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-
2.6.0.jar wordcount /user/hadoop/input/ /user/hadoop/output
15. 查看输出结果：
bin/hdfs dfs -ls /user/hadoop/output
bin/hdfs dfs -cat /user/hadoop/output/*
16. 将测试⽂件内容下载到本地：
mkdir wcoutput
bin/hdfs dfs -get /user/hadoop/output/* ./wcoutput
cat wcoutput/*
17. 删除输出结果：
bin/hdfs dfs -rm -r /user/hadoop/output
18. 停⽌namenode和datanode
hadoop-daemon.sh stop namenode
hadoop-daemon.sh stop datanode
jps查看
19. 清理本地⽂件然后停机做快照
标签：bin,
hdfs,
环境,
hadoop,
dfs,
分布,
user,
input,
搭建
From： https://www.cnblogs.com/hsk991213/p/17865513.html