首页 > 其他分享 >假期总结之Hive基础架构

假期总结之Hive基础架构

时间:2023-08-12 10:34:43浏览次数:34  
标签:存储 假期 ODBC WebGUI Hive 查询 基础架构

Apache Hive其2大主要组件就是:SQL解析器以及元数据存储, 如下图。

 

 

元数据存储 通常是存储在关系数据库如 mysql/derby中。Hive 中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。 -- Hive提供了 Metastore 服务进程提供元数据管理功能

Driver驱动程序,包括语法解析器、计划编译器、优化器、执行器 完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中,并在随后有执行引擎调用执行。 这部分内容不是具体的服务进程,而是封装在Hive所依赖的Jar文件即Java代码中。

用户接口 包括 CLI、JDBC/ODBC、WebGUI。其中,CLI(command line interface)为shell命令行;Hive中的Thrift服务器允许外部客户端通过网络与Hive进行交互,类似于JDBC或ODBC协议。WebGUI是通过浏览器访问Hive。 -- Hive提供了 Hive Shell、 ThriftServer等服务进程向用户提供操作接口

 

标签:存储,假期,ODBC,WebGUI,Hive,查询,基础架构
From: https://www.cnblogs.com/lxh-666/p/17624451.html

相关文章

  • 假期总结TABLESAMPLE函数
    进行随机抽样,本质上就是用TABLESAMPLE函数语法1,基于随机分桶抽样:SELECT...FROMtblTABLESAMPLE(BUCKETxOUTOFyON(colname|rand()))y表示将表数据随机划分成y份(y个桶)x表示从y里面随机抽取x份数据作为取样colname表示随机的依据基于某个列的值rand()表示随机的依据......
  • Hive--函数2
        ......
  • Hive函数1
         ......
  • hive 的order by ,sort by,distribute by,cluster by
    orderbyorderby会对输入做全局排序,因此只有一个Reducer(多个Reducer无法保证全局有序),然而只有一个Reducer,会导致当输入规模较大时,消耗较长的计算时间,在生产环境中遇到数据量较大的情况,一般无法成功。sortbysortby不是全局排序,其在数据进入reducer前完成排序,因此,如果用sort......
  • 大数据-hive 添加分区
    1、静态分区1>添加一个altertablet2addpartition(city=‘shanghai’);2>添加多个altertablet2addpartition(city=‘chengdu’)partition(city=‘tianjin’);3>添加分区指定位置altertablelog_messaddpartition(year=2013,month=2,day=2)location‘/user/201......
  • 假期总结之分桶表
    分桶和分区一样,也是一种通过改变表的存储模式,从而完成对表优化的一种调优方式但和分区不同,分区是将表拆分到不同的子文件夹中进行存储,而分桶是将表拆分到固定数量的不同文件中进行存储。  ......
  • Hive之分区表
    在大数据中,最常用的一种思想就是分治,我们可以把大的文件切割划分成一个个的小的文件,这样每次操作一个小的文件就会很容易了同样的道理,在hive当中也是支持这种思想的,就是我们可以把大的数据,按照每天,或者每小时进行切分成一个个的小的文件,这样去操作小的文件就会容易得多了。 ......
  • 【Windows】Windows10系统下Hadoop和Hive环境搭建
    环境准备软件版本备注Windows10操作系统JDK8暂时不要选用大于等于JDK9的版本,因为启动虚拟机会发生未知异常MySQL8.x用于管理Hive的元数据ApacheHadoop3.3.1-ApacheHive3.1.2-ApacheHivesrc1.2.2因为只有1.x版本的Hive源码提供了.bat启......
  • hadoop组件---数据仓库(五)---通过JDBC连接hive的thrift或者hiveserver2
    我们在上一篇文章中已经学习了Hive的常用命令,但是如果使用其他的语言如何跟Hive进行交互呢。Thrift简介Hive拥有HiveServer(Thrift)或者Hiveserver2组件,提供了JDBC驱动服务,使得我们可以用Java代码或者Python来连接Hive并进行一些关系型数据库的sql语句查询等操作。HiveServer或者Hi......
  • hadoop组件---数据仓库(二)---hive的数据模型和数据类型
    我们在上一章中已经大概了解了Hive有四种数据模型,本章就来详细了解它们的使用。Hadoop组件—数据仓库(一)—Hive简介数据模型Hive没有专门的数据存储格式,也没有为数据建立索引,用户可以非常自由的组织Hive中的表,只需要在创建表的时候告诉Hive数据中的列分隔符和行分隔符,Hive......