首页 > 其他分享 >Hadoop单击模式运行wordcount例子

Hadoop单击模式运行wordcount例子

时间:2023-01-10 11:40:35浏览次数:42  
标签:单击 wordcount Hadoop hadoop 文件夹 00000 file part


1、进入Hadoop安装目录

cd /zwy/soft/hadoop-2.7.1

2、创建文件夹input

mkdir input

3、写一段文字到文件file.txt

echo "hello world hello hadoop">file.txt

4、移动文件file.txt到文件夹input

mv file.txt ./input

5、执行Hadoop自带的案例程序(会自动统计input文件夹里的所有文件)

 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount ./input ./output

6、执行成功后,会将结果放入output文件夹中的part-r-00000文件中

查看part-r-00000文件的内容

cat output/part-r-00000

 

Hadoop单击模式运行wordcount例子_Hadoop

 

 

显示结果如下:

标签:单击,wordcount,Hadoop,hadoop,文件夹,00000,file,part
From: https://blog.51cto.com/dreamboy/5999909

相关文章

  • Hadoop核心概念
    大数据开发总体架构:Hadoop是大数据开发所使用的一个核心框架。使用Hadoop可以方便的管理分布式集群,将海量数据分布式的存储在集群中,并使用分布式并行程序来处理这些数据。Ha......
  • hadoop 2.4.1单机安装教程 99.9%成功率
    1.先自己安装centos7.X 64位2.自己想办法安装JDK1.7,记住不要opensdk的3.准备好hadoop-2.4.1 64位,官网下载默认是32位的,所以上淘宝买CSDN下载4.修改系统配置vim/etc/s......
  • 你有想过,如何用Hadoop实现【倒排索引】?
    写在前面: 博主是一名大数据的初学者,昵称来源于《爱丽丝梦游仙境》中的Alice和自己的昵称。作为一名互联网小白,​​写博客一方面是为了记录自己的学习历程,一方面是希望能够......
  • Hadoop的溢写
    问题:1,一台服务器上,同时运行4个MapTask任务,即当前服务器会有4个溢写缓冲区,即一个MapTask会开启一个溢写缓冲区2,Spill过程不一定会发生,当此MapTask输出的数量很小时,小于(默认10......
  • Vue3单击新增添加新的input
     效果图: 代码:<template><div><inputtype="text"v-for="(item,i)ofitems"v-model="items[i]":key="i"@input="inp"><button@click="onAdd">......
  • Ubutnu 20.04 安装和使用单机版hadoop 3.2 [转载]
    按照此文档操作,可以一次部署成功:Ubutnu20.04安装和使用单机版hadoop3.2部署之后,提交测试任务报资源问题。原因是yarn还需要配置,如下:$catyarn-site.xml<?xml......
  • 描述大数据的技术生态?Hadoop、Hive、Spark 之间是什么关系
    作者:小怪兽链接:https://www.zhihu.com/question/27974418/answer/1862026844来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。1Hadoop只是......
  • Hadoop中的MapReduce框架
    一个MapReduce作业通常会把输入的数据集切分为若干独立的数据块,由Map任务以完全并行的方式去处理它们。          框架会对Map的输出......
  • hadoop fs:du统计hdfs文件(目录下文件)大小的用法
     [root@node218~]#hadoopfs-du-h/inventory5g8.0G8.0G/inventory5g/inventory.dat261.2M261.2M/inventory5g/inventory_1_30.dat261.6M261......
  • hadoop中MapReduce配置
    一,配置mapred-site.xml进入以入目录[root@hadoop01hadoop]#cd/home/software/hadoop-2.7.1/etc/hadoop复制mapred-site.xml示例文件[root@hadoop01hadoop]#cpmapred-s......