首页 > 其他分享 >每日博客

每日博客

时间:2023-10-20 23:23:35浏览次数:27  
标签:HDFS 存储 每日 MapReduce Hive Hadoop 博客 模块

1.Hive是由Facebook公司开发的一个构建在Hadoop之上的数据仓库工具,在某种程度上可以看作是用户编程接口,其本身并不存储和处理数据

2.Hive一般依赖于分布式文件系统HDFS,而传统数据库则依赖于本地文件系统,Hive和传统关系数据库都支持分区,传统关系数据库很难实现横向扩展,Hive具有很好的水平扩展性

3.Hive的用户接口模块包括:HWI(Hive Web Interface),JDBC/ODBC,Thrift Server

4.Impala和Hive、HDFS、HBase等工具可以统一部署在一个Hadoop平台上,Hive本身不存储和处理数据,依赖HDFS存储数据,依赖MapReduce处理数据,HiveQL语法与传统的SQL语法很相似

5.数据仓库的特性:面向主题的(Subject Oriented),集成的(Integrated),相对稳定的(Non-Volatile),反映历史变化

6.HDFS作为高可靠的底层存储,用来存储Hive的海量数据,MapReduce对这些海量数据进行批处理,实现Hive的高性能计算,当采用MapRedue作为Hive的执行引擎时,用HiveQL语句编写的处理逻辑,最终都要转化为MapReduce任务来运行,HBase与Hive的功能是互补的,它实现了Hive不能提供的功能

7.Hive的三个主要模块:用户接口模块,用户查询模块,元数据存储模块

8.采用MapReduce作为Hive的执行引擎时:当用户向Hive输入一段命令或查询(即HiveQL语句)时,Hive需要与Hadoop交互工作来完成该操作,命令或查询首先进入到驱动模块,由驱动模块中的编译器进行解析编译,并由优化器对该操作进行优化计算,然后交给执行器去执行,执行器通常的任务是启动一个或多个MapReduce任务,有时也不需要启动MapReduce任务

标签:HDFS,存储,每日,MapReduce,Hive,Hadoop,博客,模块
From: https://www.cnblogs.com/LiuLyuancn/p/17778232.html

相关文章

  • 力扣每日一题+python知识点回顾(三)
    力扣题目:根据规则将箱子分类(题号:2525)给你四个整数length,width,height和mass,分别表示一个箱子的三个维度和质量,请你返回一个表示箱子类别的字符串。如果满足以下条件,那么箱子是"Bulky"的:箱子至少有一个维度大于等于10^4。或者箱子的体积大于等于10^9。如果箱子的......
  • 10.20每日总结
      例题展示例题解决......
  • 2023.10.20——每日总结
    学习所花时间(包括上课):9h代码量(行):0行博客量(篇):1篇今天,上午学习,下午学习;我了解到的知识点:1.休息明日计划:学习......
  • 10月19每日打卡
     <!DOCTYPEhtml><%@pagelanguage="java"contentType="text/html;charset=utf-8"pageEncoding="utf-8"%><html><head><title>征集页面</title><metaname="viewport"content=&qu......
  • 10月20每日打卡
         ......
  • 10月18每日打卡
     作业详情   //20213992lizhizhangpackagecom.company;importjava.util.Random;publicclassketang {  publicstaticvoidmain(String[]args){    intnumProblems=10;//生成题目的数量    intmaxNumbers=5; //每个题目......
  • 博客园主题美化
    一、首页主题预览二、主题部署1.开通js权限2.css代码禁用css模板点击查看代码#loading{bottom:0;left:0;position:fixed;right:0;top:0;z-index:9999;background-color:#f4f5f5;pointer-events:none;}.loader-inner{will-change:transform;width:40px;height:40px;positi......
  • 模拟集成电路设计系列博客——3.1.3 稳压电路
    3.1.3稳压电路稳压器的目标是产生一个低噪声并能提供电流的电压源。他们一般来说用于这种情节:当一个关键模拟电路必须和其他的电路工作在同一个电源供电下时。如下图所示,其他的电路向共用的电源中引入了很大的噪声,使用稳压器可以为关键电路提供一个更加干净的电源。数字电路一般......
  • 模拟集成电路设计系列博客——3.1.2 参考电路
    3.1.2参考电路已知绝对值的电压和电流在集成电路的交互处,或者是集成电路和其他分立部件之间是最有用的。例如,两个集成电路需要交互时,规定通过一伏摆幅的信号来进行。参考电压或者电流优势从电源中分配而出,但电源并不重组有着充足的控制精度,这种情况下参考电压或者参考电流就需要......
  • 从零用VitePress搭建博客教程(4) – 如何自定义首页布局和主题样式修改?
    接上一节:从零用VitePress搭建博客教程(3)-VitePress页脚、标题logo、最后更新时间等相关细节配置六、首页样式修改有时候觉得自带的样式不好看,想自定义,首先我们在docs/.vitePress新建一个theme文件夹,用来存放自定义布局和主题修改的相关文件,如下所示theme下再新建custom.css......