首页 > 其他分享 >Hive的体系架构

Hive的体系架构

时间:2023-12-26 10:01:16浏览次数:35  
标签:体系 jdbc 架构 Hive shell derby line thrift

   Hello,大家好,上一篇博文聊了一下Hive的基本知识,为了让大家更深入地理解Hive,本篇就写一下Hive的体系架构吧。

   先看一张图:

 大概解释一下:

  • command-line shell & thrift/jdbc

          可以用 command-line shell 和 thrift/jdbc 两种方式来操作数据:

          command-line shell:通过 hive 命令行的的方式来操作数据;

          thrift/jdbc:通过 thrift 协议按照标准的 JDBC 的方式操作数据。

  • Metastore     

          在 Hive 中,表名、表结构、字段名、字段类型、表的分隔符等统一被称为元数据。所有的元数据默认存储在 Hive 内置的 derby 数据库中,但由于 derby 只能有一个实例,也就是说不能有多个命令行客户端同时访问,所以在实际生产环境中,通常使用 MySQL 代替 derby。

         Hive 进行的是统一的元数据管理,也就是说你在 Hive 上创建了一张表,然后在 presto/impala/spark sql 中都是可以直接使用的,它们会从 Metastore 中获取统一的元数据信息。

  •  HQL的执行流程

            Hive 在执行一条 HQL 的时候,会经过语法解析、优化、翻译等过程。

      OK,关于Hive的体系架构就写到这里啦,大家加油哦~~~

标签:体系,jdbc,架构,Hive,shell,derby,line,thrift
From: https://www.cnblogs.com/tianpan666/p/17927469.html

相关文章

  • electron 技术架构
    Electron核心组成 核心总结Chromium:支持最新特性的浏览器(支持ES6及其他版本的新语法)Node.js: Javascript运行时,可实现文件读写等(本地命令调用和执行操作)    NativeAPIs:提供统一的原生界面能力(与操作系统通信,如操作系统的通知、快捷键、获取底层硬......
  • 吉特日化MES 与周边系统集成架构
     作者:情缘  出处:http://www.cnblogs.com/qingyuan/关于作者:从事仓库,生产软件方面的开发,在项目管理以及企业经营方面寻求发展之路版权声明:本文版权归作者和博客园共有,欢迎转载,但未经作者同......
  • 盘点大部分程序员(架构师)都会走的弯路(有则改之无则加勉)
    文章目录写在前面一、技术第一,业务、情商、沟通去一边吧二、盲目追求大公司的技术解决方案三、追赶时髦技术,对旧技术嗤之以鼻四、“面向PPT编程——纸上谈兵”五、会的多vs会的精?六、学完就忘写在前面很多程序员,其实并不是出身于BAT等大厂,而是在一些中小厂为公司为自己发光发热。......
  • 《架构师之路:软件架构之美》阅读三
    老师教我们软件架构的时候,就告诉我们,软件开发,先从架构入手。他说,弄清楚了架构,再来学习具体的语法和技术就很简单了。以前不懂,底层具体的细节都不了解,如何来构建一个系统呢?就像让我们去建造一栋大厦,刚开始想到的可能就是需要砖、砌墙的工具、、、、、这就像刚学习编程的自己,以为掌......
  • 在arm架构的银河麒麟系统部署Redis
    以下是在arm架构的银河麒麟系统上部署Redis的详细步骤:1.创建文件夹首先,在合适的位置创建必要的文件夹。在本例中,我们将创建/opt/redis和/usr/src/redis两个文件夹。mkdir/opt/redismkdir/usr/src/redis2.准备Redis及其依赖库移动redis-6.2.12.tar.gz到/usr/src/redis......
  • Hive“横空出世”的原因
         在沸沸扬扬的大数据江湖里,有这么一个框架,它刚开始很低调,然而,就在那么一个不起眼的一天,突然展示出其绝妙的武功,让大数据各大框架的掌门人暗挑大拇指,好了,不卖关子了,这个“横空出世”的框架就是——Hive。    一:Hive产生的背景    万事有因果,Hive的出......
  • 前端微服务架构1-项目启动及打包部署
    启动父子应用可以单独启动,单独启动就不说了关于一起启动1、安装npmall: npm install npm-run-all --save-dev2、编写启动命令"scripts":{  "dev":"webpack-dev-server--inline--hot--progress--configbuild/webpack.dev.conf.js",  "start":"np......
  • 前端微服务架构1-搭建项目
    公司项目老旧,迭代时间过久,迭代人员水平一般的情况下还有添加新模块怎么办?这几天尝试了一下开源的微服务架构,目前网上有两种开源框架:1、蚂蚁的qiankun目前15.1k2、京东的micro-app目前4.9k点赞,前者的点赞量在github上更高,所以我选择了前者搭建也不是很难,主要是遇到的一些坑的......
  • 架构与思维:如何应对Redis热Key?
    ★Redis系列文章Redis系列1:深刻理解高性能Redis的本质Redis系列2:数据持久化提高可用性Redis系列3:高可用之主从架构Redis系列4:高可用之Sentinel(哨兵模式)Redis系列5:深入分析Cluster集群模式追求性能极致:Redis6.0的多线程模型追求性能极致:客户端缓存带来的革命Redis系列8......
  • ChatGPT引领AI时代:程序员、项目经理、产品经理、架构师、Python量化交易师的翅膀
    ......