今天学习了hadoop伪分布式
3.2 伪分布式运行模式
3.2.1 启动 HDFS 并运行 MapReduce 程序
配置集群，修改 Hadoop 的配置文件（/hadoop/hadoop-2.7.7/etc/hadoop 目录下）
① core-site.xml
<configuration>
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://lyh:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/hadoop-2.7.7/data/tmp</value>
</property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
② hadoop-env.sh
修改 JAVA_HOME 路径：
# The java implementation to use.
export JAVA_HOME=/usr/local/java/jdk1.8.0_151
1
2
③ hdfs-site.xml
<configuration>
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
1
2
3
4
5
6
7
启动集群
① 格式化 NameNode（第一次启动时格式化，以后就不要总格式化）
hdfs namenode -format
1
② 启动 NameNode
hadoop-daemon.sh start namenode
1
③ 启动 DataNode
hadoop-daemon.sh start datanode
1
查看集群
① 查看是否启动成功
② web 端查看 HDFS 文件系统
http://192.168.217.129:50070
操作集群
① 在 HDFS 文件系统上创建一个 input 文件夹
hdfs dfs -mkdir -p /user/lyh/input
1
② 将测试文件内容上传到文件系统上
hdfs dfs -put wcinput/wc.input /user/lyh/input/
1
③ 在 hadoop-2.7.7 目录下，运行 MapReduce 程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /user/lyh/input/ /user/lyh/output
1
④ 查看输出结果
命令行查看：
hdfs dfs -cat /user/atguigu/output/*
1
浏览器页面查看：
————————————————
版权声明：本文为CSDN博主「西门催学不吹雪」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_42837961/article/details/105493561