首页 > 其他分享 >hive的基本概念

hive的基本概念

时间:2024-11-10 20:08:36浏览次数:1  
标签:语句 逻辑 mapreduce hive sql 基本概念

一、 Hive的基本概念

1、什么是hive(面试题)

答:
1.hive是一个可以将sql语句转换成mapreduce任务的工具
2.hive能够将结构化的数据组织在表中,支持分区和分桶,便于数据的管理和查询
3.hive是数据仓库建模的工具之一,他本身并不是数据库

2、为什么使用hive

答:
1.直接使用mapreduce的话,人员学习成本太高,项目要求时间周期太短,mapreduce实现复杂查询逻辑开发难度太大
2.使用sql可以可以提高开发能力,不用直接去写mapreduce,减少了开发人员的学习成本

3、sql语句是如何转化成mapreduce任务的(面试题)

答:sql会通过各种组件将sql语句转化成mapreduce任务
1.Driver(控制器):接受用户的查询语句,协调各个组件的工作,并将结果返回给用户
2.Parser(解析器):将sql字符串转化成抽象语法树AST,他会对sql语句进行判断,比如表是否存在,字段是否存在,sql语义是否错误等
3.Physical Plan(编译器):将AST编译,生成逻辑执行计划
4.Query Optimizer(优化器):对逻辑执行计划进行优化
5.Execution(执行器):把逻辑执行计划转换成可以运行的物理计划,对于hive来说就是MP,fink,spark

标签:语句,逻辑,mapreduce,hive,sql,基本概念
From: https://www.cnblogs.com/ndmtzwdx/p/18538397

相关文章

  • hive的三种交互方式
    一、shell交互Hive,用命令hive启动一个hive的shell命令行,在命令行中输入sql或者命令来和Hive交互首先在主节点上启动Hadoop集群,再启动hive元数据服务启动hadoopstart-all.sh启动hive元数据服务nohuphive--servicemetastore>>/usr/local/soft/hive-3.1.2/startl......
  • 安娜的档案(Anna’s Archive)官网最新镜像网站入口(实时更新)
    安娜的档案(Anna’sArchive)是一个广受欢迎的在线资源平台,汇集了Z-Library、LibraryGenesis和Sci-Hub等资源,拥有超过2000万册书籍和9000万篇论文。该网站提供多种下载选项,包括快速、慢速、libgen、IPFS和Tor浏览器下载,以满足不同用户的网络和需求。用户可以无需注册,直接免费获取资......
  • hive的搭建
    apacheHive官网下载apache-hive-3.1.2-bin.tar.gz华为镜像站下载MySQLmysql-connector-java-8.0.29.jar/usr/local/soft/jars上传到该目录下1、解压该目录下解压到上一个目录下tar-zxvfapache-hive-3.1.2-bin.tar.gz-C../2.重命名[root@mastersoft]#mvapache-......
  • hive-3.1.2搭建
    1、下载安装包下载hivehttps://archive.apache.org/dist/hive/下载MySQL驱动包https://mirrors.huaweicloud.com/mysql/Downloads/Connector-J/2、上传到Linux并解压tar-zxvfapache-hive-3.1.2-bin.tar.gz-C../3、重命名mvapache-hive-3.1.2-binhive-3.1......
  • Hive的搭建
    一、上传解压配置环境变量1.解压tar-zxvfapache-hive-3.1.2-bin.tar.gz-C../2.配置环境变量vim/etc/profile3、重命名mvapache-hive-3.1.2-binhive-3.1.24.使环境变量生效source/etc/profile二、修改配置文件1.拷贝一份文件cphive-default.xml.templatehi......
  • hive基础知识分享(三)
    写在前面今天继续学习hive部分的知识。Hive中如何实现行列转换一行变多行可以对表使用LATERALVIEWEXPLODE(),也可以直接使用EXPLAIN()函数来处理一行数据。SELECTname,col1FROMtestarray2LATERALVIEWEXPLODE(weight)t1AScol1;多行变一行使用GROUPBY+......
  • 大数据学习11之Hive优化篇
    1.Hive压缩1.1概述    当前的大数据环境下,机器性能好,节点更多,但并不代表我们无条件直接对数据进行处理,在某些情况下,我们依旧需要对数据进行压缩处理,压缩处理能有效减少存储系统的字节读取数,提高网络带宽和磁盘空间的效率。    Hive相当于Hadoop的客户端,Hive......
  • Hive3.1.2搭建文档包含详细步骤及相关截图以及常见问题解决
    hive-3.1.2分布式搭建文档1、下载,上传,解压,配置环境变量#1、解压(解压到上级目录)tar-zxvfapache-hive-3.1.2-bin.tar.gz-C..#2、重名名mvapache-hive-3.1.2-binhive-3.1.2#3、配置环境变量vim/etc/profile#4、在最后增加配置exportHIVE_HOME=/usr/local/......
  • Hive高级篇
    1.分区/分桶数据模型讲Hive分区之前,我们先来说一下Hive的数据模型,Hive的数据模型主要有以下四种:​在大数据中,最常见的一种思想就是分治,我们可以把大文件切割成一个个的小文件,这样每次操作小文件时就会容易许多。同样的道理,在Hive中也是支持的,我们可以把大的数据......
  • hive函数
    一、查看函数showfunctions;  --查看所有的函数descfunctionfunctionName;-查看某个具体的函数如何使用二、基础函数2.1、日期函数1.current_date();    #当前系统日期      格式:"yyyy-MM-dd"2.current_timestamp();  #当前系统时间戳......