首页 > 其他分享 >Hive表 Hadoop HBase 初了解

Hive表 Hadoop HBase 初了解

时间:2024-10-23 10:35:06浏览次数:1  
标签:HDFS Hadoop Hive MapReduce DataNode HBase

生态圈

hadoop生态圈

Hive

Hive是基于Hadoop的一个数据分析工具,没有数据存储能力,只有数据使用能力,是将结构化的数据文件映射为一张数据库表,通过MapReduce实现,本质是将查询语句转换为MapReduce的任务进行数据访问,提供类SQL查询功能。

搭建Hive数仓时,将相关常用指令如select, from, where和函数用MapReduce写成模板,封装到Hive中。不直接使用MapReduce是因为MapReduce学习成本较高,开发难度大。红圈里的是Hive的部分,Hive主要用于海量数据的离线分析场景:

hive架构

Hive & 关系型数据库管理系统

hive与rdbms

Hadoop

Hadoop = HDFS(文件系统) + MapReduce(数据处理) + YARN(资源协调器)。

HDFS

HDFS采用主从架构,由单个NameNode(NN)和多个DataNode(DN)组成。

  • NameNode负责管理命名空间,管理元数据,管理Block副本策略(每个副本在不同DataNode), 处理客户端读写请求,为DataNode分配任务,监控和管理DataNode, 如果DataNode宕机,会进行移除和Rebalance。
  • DataNode负责文件数据的存储和读写,HDFS将文件数据分割成若干数据块(Block),每个DataNode存储一部分数据块,这样文件就分布存储在整个HDFS服务器集群中。
  • Block是HDFS最小存储单元,大小固定,默认一个Block有三个副本。
    HDFS架构
    HDFS架构中文

MapReduce

HBase

HBase是一种NoSQL数据库 todo
HBase架构

标签:HDFS,Hadoop,Hive,MapReduce,DataNode,HBase
From: https://www.cnblogs.com/rachel-aoao/p/18495809/hadoop_1

相关文章

  • Python——脚本实现datax全量同步mysql到hive
    文章目录前言一、展示脚本二、使用准备1、安装python环境2、安装EPEL3、安装脚本执行需要的第三方模块三、脚本使用方法1、配置脚本2、创建.py文件3、执行脚本4、测试生成json文件是否可用前言在我们构建离线数仓时或者迁移数据时,通常选用sqoop和datax等工具进行......
  • (开题报告)django+vuehadoop考勤系统论文+源码
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表开题报告内容选题背景关于考勤系统的研究,现有研究主要以传统的考勤管理方式或者单一技术架构为主。在国内外,很多企业和组织已经采用了基本的考勤系统,但专门针对......
  • 3. 从0到1搭建DeltaLake大数据平台 - 安装配置Hadoop
    要在你的Spark集群上安装和配置HDFS(Hadoop分布式文件系统),可以按照以下步骤进行:1.安装Hadoop1.1下载Hadoop选择一个合适的Hadoop版本(例如Hadoop3.x),下载并解压缩:wgethttps://downloads.apache.org/hadoop/common/hadoop-x.y.z/hadoop-x.y.z.tar.gztar-xzfhadoo......
  • hadoop_hdfs详解
    HDFS秒懂HDFS定义HDFS优缺点优点缺点HDFS组成架构NameNodeDataNodeSecondaryNameNodeClientNameNode工作机制元数据的存储启动流程工作流程SecondaryNameNode工作机制checkpoint工作流程DataNode工作机制工作流程数据完整性文件块大小块太小的缺点块太大的缺点文......
  • HarmonyOS:应用程序包结构(3)HAR(Harmony Archive)静态共享包
    ★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★➤微信公众号:山青咏芝(MaoistLearning)➤博客园地址:为敢技术(https://www.cnblogs.com/strengthen/ )➤GitHub地址:https://github.com/strengthen➤原文地址:https://www.cnblogs.com/strengthen/p/......
  • 编写HiveQL语句实现WordCount算法
    确保启动hadooop和hive  创建测试文件echo"helloworld">file1.txtecho"hellohadoop">file2.txt#创建HDFS上的/input目录hdfsdfs-mkdir-p/input#将本地文件上传到HDFShdfsdfs-putfile1.txt/input/hdfsdfs-putfile2.txt/input/打开Hiveshell......
  • 开发-Hadoop-配置Hadoop
    最终效果   首先你得有一个Centos7的环境我直接用VirtualBox虚拟了一个Centos7(mini包)   #连接ssh#替换yum库curl-o/etc/yum.repos.d/CentOS-Base.repohttp://mirrors.aliyun.com/repo/Centos-7.repoyummakecache#升级renguanyuvim/etc/sudoers#如果是......
  • hive执行SQL提示:Error while processing statement:FAILED:Execution Error, return c
    遇到Hive执行SQL时提示Errorwhileprocessingstatement:FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.tez.TezTask的错误,通常意味着在执行Tez任务时出现了问题。这个错误可能由多种原因引起,包括但不限于配置问题、资源限制、数据问......
  • Hive为什么依赖Mysql
    Hive之所以需要MySQL依赖,主要是因为Hive使用MySQL(或其他关系型数据库)来存储其元数据。以下是详细的解释:元数据存储Hive在执行查询和存储数据时,需要维护表的结构、列的数据类型、表之间的关系、分区信息等元数据。这些元数据通常存储在一个称为Metastore的地方。为了......
  • Hadoop3.X高可用环境搭建
    目录一.基础环境准备1.角色分配2.准备软件源3.部署JDK环境4.配置host文件解析5.配置ssh免密登录6.编写data_rsync.sh同步脚本二.安装zookeeper环境1.zookeeper集群的节点数量选择2.下载zookeeper软件3.解压软件包4.配置环境变量5.准备配置文件6.同步数据7.生成myid文件8.启动zooke......