首页 > 其他分享 >熟悉Hive的基本操作

熟悉Hive的基本操作

时间:2024-12-30 22:19:47浏览次数:1  
标签:string dividends price float Hive 熟悉 基本操作 symbol

实验6

熟悉Hive的基本操作

 

1.实验目的

(1)理解Hive作为数据仓库在Hadoop体系结构中的角色。

(2)熟练使用常用的HiveQL。

2.实验平台

操作系统:Ubuntu18.04(或Ubuntu16.04)。

Hadoop版本:3.1.3。

Hive版本:3.1.2。

JDK版本:1.8。

3.数据集

由《Hive编程指南》(O'Reilly系列,人民邮电出版社)提供,下载地址:

https://raw.githubusercontent.com/oreillymedia/programming_hive/master/prog-hive-1st-ed-data.zip

备用下载地址:

https://www.cocobolo.top/FileServer/prog-hive-1st-ed-data.zip

解压后可以得到本实验所需的stocks.csv和dividends.csv两个文件。

4.实验步骤

(1)创建一个内部表stocks,字段分隔符为英文逗号,表结构如表14-11所示。

表14-11 stocks表结构

col_name

data_type

exchange            

string              

symbol              

string              

ymd                 

string              

price_open          

float               

price_high          

float               

price_low           

float               

price_close         

float               

volume              

int                 

price_adj_close     

float  

 

 

          

(2)创建一个外部分区表dividends(分区字段为exchange和symbol),字段分隔符为英文逗号,表结构如表14-12所示。

表14-12 dividends表结构

col_name

data_type

ymd                 

string              

dividend            

float               

exchange            

string              

symbol              

string              

 

 

        

(3)从stocks.csv文件向stocks表中导入数据。

 

 

 

(4) 创建一个未分区的外部表dividends_unpartitioned,并从dividends.csv向其中导入数据,表结构如表14-13所示。

表14-13 dividends_unpartitioned表结构

col_name

data_type

ymd                 

string              

dividend            

float               

exchange            

string              

symbol              

string              

 

      

 

      

 

(5)通过对dividends_unpartitioned的查询语句,利用Hive自动分区特性向分区表dividends各个分区中插入对应数据。

     

(6)查询IBM公司(symbol=IBM)从2000年起所有支付股息的交易日(dividends表中有对应记录)的收盘价(price_close)。

    

(7)查询苹果公司(symbol=AAPL)2008年10月每个交易日的涨跌情况,涨显示rise,跌显示fall,不变显示unchange。

      

(8)查询stocks表中收盘价(price_close)比开盘价(price_open)高得最多的那条记录的交易所(exchange)、股票代码(symbol)、日期(ymd)、收盘价、开盘价及二者差价。

  

(9)从stocks表中查询苹果公司(symbol=AAPL)年平均调整后收盘价(price_adj_close) 大于50美元的年份及年平均调整后收盘价。

      

(10)查询每年年平均调整后收盘价(price_adj_close)前三名的公司的股票代码及年平均调整后收盘价。

 

      

标签:string,dividends,price,float,Hive,熟悉,基本操作,symbol
From: https://www.cnblogs.com/Christmas77/p/18642578

相关文章

  • 【YashanDB知识库】hive初始化崖山报错YAS-04209
    本文内容来自YashanDB官网,原文内容请见https://www.yashandb.com/newsinfo/7849008.html?templateId=1718516【问题分类】功能使用【关键字】hadoop,hive,YAS-02058【问题描述】hive初始化崖山报错:0:jdbc:yasdb://192.168.xxx.xxx:1688/hive>CREATETABLEIFNOTEXISTSMAST......
  • Apache Hive常见问题
    入门问题什么是ApacheHive?解释Hive的用途。Hive作为基于Hadoop的数据仓库工具是如何工作的?与传统关系型数据库相比,使用Hive有什么优势?Hive和关系型数据库管理系统(RDBMS)之间的区别是什么?讨论诸如数据存储、模式灵活性和性能等关键区别。解释Hive的架构。Hive架构的主......
  • 熟悉常用的Linux操作和Hadoop操作
    熟悉常用的Linux操作和Hadoop操作1.实验目的Hadoop运行在Linux系统上,因此,需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作,为顺利开展后续其他实验奠定基础。2.实验平台(1)操作系统:Linux(建议Ubuntu16.04或Ubuntu18.04);(2)Hadoop版本:3.1.3。3.实验步......
  • 指针初步 - 指针概念、基本操作
    引言指针是C++中一个非常强大且灵活的特性,它允许程序员直接操作内存地址。通过指针,可以实现动态内存分配、数组和字符串操作、函数参数传递等功能。然而,指针也是C++中最容易出错的部分之一,因此理解指针的概念和正确使用指针是非常重要的。本文将详细介绍指针的基本概念和操作......
  • Hive的功能,Hive创建表的⽅式,Hive的表有⼏种
    Hive功能描述数据存储与管理Hive是建立在Hadoop之上的数据仓库基础架构,它可以将结构化的数据文件映射为一张数据库表。它能够存储海量的数据,并且支持对存储在Hadoop分布式文件系统(HDFS)或其他兼容存储系统(如AmazonS3等)中的数据进行高效的管理。例如,对于一个大型电商......
  • 01 _ 认识容器:容器的基本操作和实现原理
    01_认识容器:容器的基本操作和实现原理你好,我是程远。作为一名工程师,我猜在过去的几年时间里,你肯定用过或者听人提起过容器(Container)。说实话,容器这东西一点都不复杂,如果你只是想用的话,那跟着Docker官网的说明,应该十来分钟就能搞定。简单来说,它就是个小工具,可以把你想跑的......
  • 01 _ 认识容器:容器的基本操作和实现原理
    01_认识容器:容器的基本操作和实现原理你好,我是程远。作为一名工程师,我猜在过去的几年时间里,你肯定用过或者听人提起过容器(Container)。说实话,容器这东西一点都不复杂,如果你只是想用的话,那跟着Docker官网的说明,应该十来分钟就能搞定。简单来说,它就是个小工具,可以把你想跑的......
  • SQL语言的基本操作有哪些?
    SQL语言的基本操作主要包括以下几类:数据定义语言(DDL):创建数据库:使用CREATEDATABASE语句创建新的数据库。删除数据库:使用DROPDATABASE语句删除数据库。创建表:使用CREATETABLE语句创建新的表。修改表结构:使用ALTERTABLE语句添加、删除或修改表中的列。删除表:使用DROPTABLE......
  • ZipArchive扩展的作用及其重要性
    ZipArchive是一个非常有用的PHP扩展,但在某些情况下可能未被激活。它具体有什么作用?为什么它对某些应用程序如此重要?答案: ZipArchive是PHP的一个内置类,提供了创建、读取和解压缩ZIP格式归档文件的功能。它的主要用途包括但不限于:文件打包与分发:当你需要将多个文件或目录压缩成......
  • 计算机毕业设计hadoop+spark+hive薪资预测 招聘推荐系统 招聘可视化大屏 招聘爬虫 Pyt
    温馨提示:文末有CSDN平台官方提供的学长联系方式的名片!温馨提示:文末有CSDN平台官方提供的学长联系方式的名片!温馨提示:文末有CSDN平台官方提供的学长联系方式的名片!作者简介:Java领域优质创作者、CSDN博客专家、CSDN内容合伙人、掘金特邀作者、阿里云博客专家、51CTO......