首页 > 其他分享 >Word_Count实验

Word_Count实验

时间:2024-10-21 21:33:04浏览次数:6  
标签:Count count Word 实验 input word txt 目录 select

今天试用了Hive的,MapReduce实现Word_Count


1. 创建input目录,output目录会自动生成。其中input为输入目录,output目录为输出目录。命令如下:

cd /usr/local/games
mkdir input

2.然后,在input文件夹中创建两个测试文件file1.txt和file2.txt,命令如下:

cd  /usr/local/hadoop/input
echo "hello MuZhadoDi" > file1.txt
echo "MuZhadoDi likes hadoop" > file2.txt

3.然后进入Hive-shell下,输入下列命令:

create table docs(line string);
load data inpath 'file:///usr/local/games/input' overwrite into table docs;
create table word_count as 
select word, count(1) as count from
(select explode(split(line,' '))as word from docs) w
group by word
order by word;

4.然后查询语句,查询结果:

select * from word_count

 

标签:Count,count,Word,实验,input,word,txt,目录,select
From: https://www.cnblogs.com/muzhaodi/p/18490470

相关文章

  • MQL实验(二)作业
    1.求供应工程J1零件的供应商号码SNO,输出结果不重复。selectdistinctsnofromspjwherejno='j1';2.求供应工程J1零件P1的供应商号码SNO,输出结果不重复。selectdistinctsnofromspjwherejno='j1'andpno='p1';3.求供应工程J1零件为红色的供应商号码SNO,输出结果不......
  • python+flask计算机毕业设计高校实验室安全应急管理系统(程序+开题+论文)
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表开题报告内容一、选题背景关于高校实验室安全应急管理系统的研究,现有研究多侧重于实验室安全管理的常规方面,如设备管理、人员管理等。专门针对高校实验室安全应......
  • python+flask计算机毕业设计高校实验室管理系统(程序+开题+论文)
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表开题报告内容一、选题背景关于高校实验室管理的研究,现有研究主要集中在设备管理或人员管理等单一模块为主1(山东大学实验耗材管理服务系统)。专门针对涵盖学生......
  • 编写HiveQL语句实现WordCount算法
    确保启动hadooop和hive  创建测试文件echo"helloworld">file1.txtecho"hellohadoop">file2.txt#创建HDFS上的/input目录hdfsdfs-mkdir-p/input#将本地文件上传到HDFShdfsdfs-putfile1.txt/input/hdfsdfs-putfile2.txt/input/打开Hiveshell......
  • 20222313 2024-2025-1 《网络与系统攻防技术》实验二报告
    一.实验内容实践目标(1)使用netcat获取主机操作Shell,cron启动某项任务(任务自定)(2)使用socat获取主机操作Shell,任务计划启动(3)使用MSFmeterpreter(或其他软件)生成可执行文件(后门),利用ncat或socat传送到主机并运行获取主机Shell(4)使用MSFmeterpreter(或其他软件)生成获取......
  • 20222420 2024-2025-1 《网络与系统攻防技术》实验二实验报告
    202224202024-2025-1《网络与系统攻防技术》实验二实验报告1.实验内容1.1本周学习内容1.1.1后门介绍后门概念:不经过正常认证流程而访问系统的通道后门类型:编译器、操作系统、应用程序中的后门,潜伏于OS或伪装成APP的后门程序1.1.2后门案例编译器后门:Xcode操作系统......
  • JavaWeb:实验二JSP表单开发及访问数据库
    实现注册与登录功能:1.创建一个数据库,在数据库建立用户表。2.制作一个注册表单,可以输入账户和密码并提交(在数据提交之前用JS对表单数据进行有效性验证),将表单提交的数据写入数据库。3.制作一个登录表单,输入账号和密码,通过数据库进行验证,如果账号、密码验证通过,则显示“登录成功”......
  • 计网实验4
    #include<winsock2.h>#include<stdio.h>#include<string.h>#pragmacomment(lib,"ws2_32.lib")intmain(intargc,char*argv[]){ //初始化WSA WORDsockVersion=MAKEWORD(2,2); WSADATAwsaData; if(WSAStartup(sockVersion,&w......
  • JavaWeb:实验一JSP运行环境安装及配置
    **制作一个静态网站的基本页面index.html,要求如下:1.页面布局采用框架实现,页面布局及样式如图1所示。**2.在页面的A部分显示显示“登录”和“注册”链接。单击“登录”链接,在C部分显示登录页面,登录页面包含一个HTML表单,页面参考样式如图2所示;单击“注册”链接,在C部分显示注册页面......
  • C++程序设计基础实验1
    任务一:源代码task1.cpp#include<iostream>#include<string>#include<vector>#include<algorithm>usingnamespacestd;//声明//模板函数声明template<typenameT>voidoutput(constT&c);//普通函数声明voidtest1();voidtest2();void......