首页 > 其他分享 >每周总结(22/8/27)

每周总结(22/8/27)

时间:2022-08-27 22:00:57浏览次数:56  
标签:27 22 每周 Region RegionServer RowKey HBase 数据 数据库

HBase 定义
HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。

1.2 HBase 数据模型
逻辑上,HBase 的数据模型同关系型数据库很类似,数据存储在一张表中,有行有列。但从HBase 的底层物理存储结构(K-V)来看,HBase 更像是一个multi-dimensional map。

1. Name Space
命名空间,类似于关系型数据库的 DatabBase 概念,每个命名空间下有多个表。HBase 有两个自带的命名空间,分别是 hbase 和 default,hbase 中存放的是 HBase 内置的表,default 表是用户默认使用的命名空间。

2. Region
类似于关系型数据库的表概念。不同的是,HBase 定义表时只需要声明列族即可,不需要声明具体的列。这意味着,往 HBase 写入数据时,字段可以动态、按需指定。因此,和关系型数据库相比,HBase 能够轻松应对字段变更的场景。

3. Row
HBase 表中的每行数据都由一个 RowKey 和多个 Column(列)组成,数据是按照 RowKey 的字典顺序存储的,并且查询数据时只能根据 RowKey 进行检索,所以 RowKey 的设计十分重要。

4. Column
HBase 中的每个列都由 Column Family (列族)和 Column Qualifier(列限定符)进行限定,例如 info:name,info:age。建表时,只需指明列族,而列限定符无需预先定义。

5. Time Stamp
用于标识数据的不同版本(version),每条数据写入时,如果不指定时间戳,系统会自动为其加上该字段,其值为写入 HBase 的时间。

6. Cell
由{rowkey, column Family:column Qualifier, time Stamp}唯一确定的单元。cell 中的数据是没有类型的,全部是字节码形式存储。

1.3 HBase 基本架构
HBase 架构(不完整版)
1. Region Server
Region Server 为 Region 的管理者,其实现类为 HRegionServer,主要作用如下:
对于数据的操作:get, put, delete;
对于Region 的操作:splitRegion、compactRegion。

2. Master
Master 是所有 Region Server 的管理者,其实现类为 HMaster,主要作用如下:
对于表的操作:create, delete, alter
对于 RegionServer 的操作:分配 regions 到每个 RegionServer,监控每个 RegionServer 的状态,负载均衡和故障转移。

3. Zookeeper
HBase 通过 Zookeeper 来做 Master 的高可用、RegionServer 的监控、元数据的入口以及集群配置的维护等工作。

4. HDFS
HDFS 为 HBase 提供最终的底层数据存储服务,同时为 HBase 提供高可用的支持。

标签:27,22,每周,Region,RegionServer,RowKey,HBase,数据,数据库
From: https://www.cnblogs.com/bin1004/p/16631602.html

相关文章

  • 8.27训练赛(2018-2019, ICPC, Asia Yokohama Regional Contest 2018,gym102082)
    B一开始开题的时候想假了,以为用map存差的结果贪心就行了,实际上是一个比较妙的dp,用到了一个结论:两项就唯一确定一个等差数列。设\(f[i,j]\)表示最后两个数选了\(a_i\),\(a......
  • 2022-08-26 第二小组 张鑫 学习笔记
    实训四十八天JS库学习内容JS库别人写好的JS文件,我们拿来直接用开发中,会引入很多的.js文件JQuery.js------濒临淘汰,经典10%以下css库,bootstrap,layui,easyuiReact.j......
  • NOI2022 退役记
    在更。8.13因为突然要提前7天去比赛城市,所以买了今天的下午三点的高铁。上午还有模拟赛,和上一届一起考过的200+,其他人100-,体验非常痛苦。t1神秘期望,题解说是F......
  • NOI2022 退役记
    8.13因为突然要提前7天去比赛城市,所以买了今天的下午三点的高铁。上午还有模拟赛,和上一届一起考过的200+,其他人100-,体验非常痛苦。t1神秘期望,题解说是FWT套FFT......
  • visual studio 2022离线安装包制作教程
    1、在线下载VisualStudi安装包https://aka.ms/vs/17/release/vs_enterprise.exe  2、在线安装visualsudio22布局 2.1.NETWeb和.NET桌面开发,运行(不选en-US......
  • 戒烟第一天(20220807)
    记录下戒烟第一天的感受:白天的时候,烟瘾来的感觉并不强烈,好像烟对我来说是可有可无的。到下午4点的时候有一点点想抽,有出现习惯性摸烟的动作。4点半我出去游泳了。到了晚上......
  • 2022-8-26 jq简单了解
    Query是一个JavaScript函数库。jQuery是一个轻量级的"写的少,做的多"的JavaScript库。jQuery库包含以下功能:HTML元素选取HTML元素操作CSS操作HTML事件函数......
  • 2022-08-25 第二小组 张鑫 学习笔记
    实训四十七天元素操作BOM1.学习内容自定义属性设置元素属性<divhaha="abc"id="xyz"></div><script>letdiv=document.querySelector("div");//......
  • 222.count-complete-tree-nodes 完全二叉树的节点个数
    遍历法遍历所有节点的方法,时间复杂度为\(O(n)\)classSolution{public:intcountNodes(TreeNode*root){if(root==nullptr)return0......
  • ECCV 2022 | FPN:You Should Look at All Objects
    前言 论文指出,大规模目标的性能下降是由于集成FPN后出现了不正确的反向传播路径。它使得骨干网络的每一层仅具有查看特定尺度范围内的目标的能力。基于这些分析,提出了两种......