一、在Hadoop的安装目录下,创建input目录
cd /opt/programfile/hadoop-2.9.2/etc/hadoop mkdir input
二、拷贝xml文件到input目录下
cp *.xml input/
三、执行Hadoop job
- job是使用hadoop自带的样例,在input中统计含有dfs的字符串。
#切换到share目录 cd /opt/programfile/hadoop-2.9.2/share/hadoop/mapreduce #启动jar hadoop jar hadoop-mapreduce-examples-2.9.2.jar grep file:///opt/programfile/hadoop-2.9.2/etc/hadoop/input output 'dfs[a-z.]+'
- 查看输出结果
hadoop fs -cat output/*
- 从结果中可以看出文件中出现dfs有三次
- 第二种查看output文件日志,将输出文件从分布式文件系统拷贝到本地文件系统查看:
hadoop fs -get output output
- 访问web管理页面 http://192.168.142.128:8088/