首页 > 其他分享 >hive与hbase的区别

hive与hbase的区别

时间:2022-09-30 17:13:44浏览次数:49  
标签:区别 Hbase MapReduce Hive 查询 hive hbase 数据 HBase

1、基本定义

Hive是基于Hadoop的数据仓库工具:

可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。Hive是一种类SQL的引擎,并且运行MapReduce任务,Hbase是一种在Hadoop之上的NoSQL 的Key/vale数据库。

HBase是基于Hadoop的分布式数据库:

hbase运行在hdfs上,和hive不一样,hbase能够在数据库上实时运行,而不是运行MapReduce任务。

 

2、两者的特点

hive:

运行Hive查询会花费很长时间,因为它会默认遍历表中所有的数据。虽然有这样的缺点,一次遍历的数据量可以通过Hive的分区机制来控制。

Hive适合用来对一段时间内的数据进行分析查询,例如,用来计算趋势或者网站的日志。Hive不应该用来进行实时的查询。因为它需要很长时间才可以返回结果。

Hive目前不支持更新操作。

HBase:

通过存储key/value来工作。

HBase查询是通过特定的语言来编写的,这种语言需要重新学习。类SQL的功能可以通过Apache Phonenix实现。

为了运行Hbase,Zookeeper是必须的,zookeeper是一个用来进行分布式协调的服务,这些服务包括配置服务,维护元信息和命名空间服务。

Hbase非常适合用来进行大数据的实时查询。

 

当然,这两种工具是可以同时使用的,Hive可以用来进行统计查询,HBase可以用来进行实时查询,数据也可以从Hive写到Hbase,设置再从Hbase写回Hive。

 

Hive和Hbase底层对比Hive中的表是纯逻辑表,就只是表的定义等,即表的元数据。Hive本身不存储数据,它完全依赖HDFS和MapReduce。这样就可以将结构化的数据文件映射为为一张数据库表,并提供完整的SQL查询功能,并将SQL语句最终转换为MapReduce任务进行运行。而HBase表是物理表,适合存放非结构化的数据。Hive是基于MapReduce来处理数据,而MapReduce处理数据是基于行的模式;HBase处理数据是基于列的而不是基于行的模式,适合海量数据的随机访问。HBase的表是疏松的存储的,因此用户可以给行定义各种不同的列;而Hive表是稠密型,即定义多少列,每一行有存储固定列数的数据。Hive使用Hadoop来分析处理数据,而Hadoop系统是批处理系统,因此不能保证处理的低迟延问题;而HBase是近实时系统,支持实时查询。

 

标签:区别,Hbase,MapReduce,Hive,查询,hive,hbase,数据,HBase
From: https://www.cnblogs.com/hushuer/p/16745492.html

相关文章

  • 【Linux】Unable to fetch some archives, maybe run apt-get update or try with --f
    一、问题描述在aptinstall时候遇到E:Unabletofetchsomearchives,mayberunapt-getupdateortrywith--fix-missing?的error。Error报的信息显示是这个包向so......
  • WPF中Trigger、DataTrigger、EventTrigger区别
    Trigger属性触发器它监视所有者控件上的特定属性,当该属性具有与指定值匹配的值时,属性可以更改。<TriggerProperty="IsMouseOver"Value="True"> DataTrigger数据......
  • python-当函数赋给变量时带括号与不带括号的区别
    python-当函数赋给变量时带括号与不带括号的区别参见下面的例子:deftest():print("callthetestfunc")return0p=testprint("type(p):",type(p))pr......
  • CRM和SRM有什么区别?
    CRM是管理客户的系统,SRM是管理供应商的系统,很多厂家是分开的,也有部分要么只做CRM,要么只做SRM,主要是传统的软件应用开发模式决定的,而如果选用类似于3UCSxPlus平台的话,不仅C......
  • 无代码开发和低代码开发有什么区别?
    换汤不换药!最关键的是平台内核机制!如果低代码平台只是基于定制好的模块来完成模块的拼接或者调用预定义好的存储过程,看上去很美好,实质是一个大坑,毕竟后续的需求涉及新的模......
  • continue break return switch 联系区别
    问:switch语句中,case后面的语句序列中一定要有break语句吗?答:1)在switch语句中使用break语句将终止语句的序列。当遇到Break语句时,程序将整个switch语句后面的一行代码处......
  • ...args剩余参数和 arguments对象的区别
    一、...args剩余参数(展开运算符)允许一个表达式在某处展开。展开运算法 在 多个参数(函数调用)、多个元素(用于数组和字面量)和多个变量(用于解构赋值) 地方使用。剩余参数语......
  • 箭头函数与普通函数的区别
    一、声明方式不同声明一个普通函数需要使用关键字function来完成,并且使用function既可以声明成一个具名函数也可以声明成一个匿名函数声明一个箭头函数则只需要使用箭......
  • @RequestParam和@RequestBody区别
    @RequestParam接收的参数是来自requestHeader中,即请求头@RequestParam用来处理 Content-Type 为 application/x-www-form-urlencoded 编码的内容@RequestBody接收的......
  • TCP与UDP的联系与区别
    TCP与UDP的联系:1、TCP和UDP是OSI模型中的运输层中的协议。2、TCP提供可靠的通信传输,而UDP则常被用于让广播和细节控制交给应用的bai通信传输。TCP与UDP的基本区别:1、基......