首页 > 其他分享 >HBase在进行模型设计时重点在什么地方?一张表中定义多少个Column Family最合适?为什么?

HBase在进行模型设计时重点在什么地方?一张表中定义多少个Column Family最合适?为什么?

时间:2023-04-09 20:14:49浏览次数:41  
标签:Family Column 分区 写入 memstore 表中 region HBase hbase

 锁屏面试题百日百刷,每个工作日坚持更新面试题。请看到最后就能获取你想要的,接下来的是今日的面试题:



 

1.Hbase中的memstore是用来做什么的?

hbase为了保证随机读取的性能,所以hfile里面的rowkey是有序的。当客户端的请求在到达regionserver之后,为了保证写入rowkey的有序性,所以不能将数据立刻写入到hfile中,而是将每个变更操作保存在内存中,也就是memstore中。memstore能够很方便的支持操作的随机插入,并保证所有的操作在内存中是有序的。当memstore达到一定的量之后,会将memstore里面的数据flush到hfile中,这样能充分利用hadoop写入大文件的性能优势,提高写入性能。

由于memstore是存放在内存中,如果regionserver因为某种原因死了,会导致内存中数据丢失。所有为了保证数据不丢失,hbase将更新操作在写入memstore之前会写入到一个write ahead log(WAL)中。WAL文件是追加、顺序写入的,WAL每个regionserver只有一个,同一个regionserver上所有region写入同一个的WAL文件。这样当某个regionserver失败时,可以通过WAL文件,将所有的操作顺序重新加载到memstore中。

2.HBase在进行模型设计时重点在什么地方?一张表中定义多少个Column Family最合适?为什么?

Column Family的个数具体看表的数据,一般来说划分标准是根据数据访问频度,如一张表里有些列访问相对频繁,而另一些列访问很少,这时可以把这张表划分成两个列族,分开存储,提高访问效率。

整体来说, 通常建议越少越好, 太多的列族会影响我们整个hbase的读写效率,导致读取一行数据需要跨越更多的列族(底层跨越更多的内存页和文件)

3.如何提高HBase客户端的读写性能?请举例说明

1 开启bloomfilter过滤器,开启bloomfilter比没开启要快3、4倍

2 Hbase对于内存有特别的需求,在硬件允许的情况下配足够多的内存给它

3 通过修改hbase-env.sh中的export HBASE_HEAPSIZE=3000 #这里默认为1000m

4 增大RPC数量通过修改hbase-site.xml中的hbase.regionserver.handler.count属性,可以适当的放大RPC数量,默认值为10有点小。

4.HBase集群安装注意事项?

① HBase需要HDFS的支持,因此安装HBase前确保Hadoop集群安装完成;

② HBase需要ZooKeeper集群的支持,因此安装HBase前确保ZooKeeper集群安装完成;

③ 注意HBase与Hadoop的版本兼容性;

④ 注意hbase-env.sh配置文件和hbase-site.xml配置文件的正确配置;

⑤ 注意regionservers配置文件的修改;

5 注意集群中的各个节点的时间必须同步,否则启动HBase集群将会报错;

5.请描述如何解决HBase中region太小和region太大带来的冲突?

Region过大会发生多次compaction,将数据读一遍并重写一遍到hdfs 上,占用io,region过小会造成多次split,region 会下线,影响访问服务,最佳的解决方法是调整hbase.hregion. max.filesize 为256m。

6.Hbase是怎么进行预分区操作?

解: 在Hbase中主要有二种预分区方案, 一种为手动预分区, 一种为自动预分区, 手动预分区指的是我们在建表的时候, 通过命令或者的API进行预分区操作, 在手动分区下, 我们可以自定义分区, 也可以基于hbase提供的分区算法来实现, 分区后, 多个region会被master分配到不同的regionServer上进行管理, 从而保证负载均衡. 而自动预分区则指的是, 随着我们表中数据越来越多 当表中数据, 也就是region中数据达到一定的阈值后, 会自动进行分区, 阈值的多少取决于下面的这个公式来计算:

全部内容在[git](https://gitee.com/zjlalaforgit/interview)上,了解更多请点我头像或到我的主页去获得,谢谢

标签:Family,Column,分区,写入,memstore,表中,region,HBase,hbase
From: https://www.cnblogs.com/demosoftware/p/17300924.html

相关文章

  • 链表中的节点每k个一组翻转
    classSolution{publicListNodereverseKGroup(ListNodehead,intk){ListNodedummy=newListNode(0);//定义虚拟节点dummy.next=head;ListNodeprev=dummy;//定义一个前置节点prev,用于保存已经翻转完成的部分的尾部节点......
  • 找出列表中偶数放到新列表中
    '''求列表中的偶数,并放到新的列表中'''#定义方法defget_ou():list_num=[1,2,3,4,5]list_ou=[]index=0whileindex<len(list_num):iflist_num[index]%2==0:print(f"偶数{list_num[index]}")......
  • 赋值Record之间的File column 文件。
     参数说明: rb_pleasant_ID目标实体的recordID entity需要赋值文件的接受实体;privatevoidcopyFileColumnPro(IOrganizationServiceservice,Entityentity,Guidrb_pleasant_ID){//DownloadfilevarinitializeFile=newInitializeF......
  • 关于在table-column 格式化的两种方式,formatter传多个参
      第一种记得箭头函数不要写大括号,不写大括号表示return,写了大括号在大括号里面要写return哦,注释的部分为第二种办法......
  • 列表中有整数、有特殊字符、有字母的排序问题
    列表中有整数、有特殊字符、有字母a=[2,1,3,5,4,'d','f','e','c','a','b','?','*','&']#定义一个函数defsort1(x):ifisinstance(x,int):  #判断传入的参数中是否有整数returnx #有整数返回整数本身......
  • Python爬虫 execjs执行js报错json.decoder.JSONDecodeError: Expecting value: line 1
    fun=re.search(r'(__=\([\S\s]*?;)<',r_text).group(1)fun=fun+'functionget(){returnJSON.stringify(__.data)}'ctx=execjs.compile(fun)rdata=(ctx.eval('get()'))报错json.decoder.JSONDecodeError:Expectingvalue:line1col......
  • 选择列表中的列 ...... 无效,因为该列没有包含在聚合函数或 GROUP BY 子句中。
    在用SQLserver对表中的数据进行查询的过程中,出现如下错误:消息8120,级别16,状态1,第27行选择列表中的列'......'无效,因为该列没有包含在聚合函数或GROUPBY子句中。其目的是因为select语句中包含聚合函数,因为聚合函数是对一组值进行操作,所以它通常与select语句的......
  • JAVA列表中屏蔽预置程序
    1.Jam_interface.h中添加FilterType。 typedefenum{JAM_NONE_FILTER=0,JAM_DISK_FILTER=0x01,JAM_TRUST_FILTER=0x02,JAM_VENDOR_FILTER=0x04,JAM_DEFAULT_GAME_FILTER=0x08,JAM_NONDEFAULT_GAME_FILTER=......
  • 修复分区表中错位的行
    在MySQL中,分区表的数据被分到不同的表空间中,但仍然被视为单个表。在处理大量数据集的某些情况下,分区可能是一种有用的方法。分区表可以加快删除大型数据集的速度,但如果处理不当,可能会将数据错误地放置在表中。在这将分享如何检查和修复这样一个表中的数据,同时尽量减少对表的破坏......
  • Android开发 Jetpack Compose FlowColumn与FlowRow瀑布流布局
    前言  FlowColumn与FlowRow是Jetpack提供的辅助库accompanist的一员,以提供那些在JetpackComposesdk中目前还没有的功能API。因为默认库中的Column、Row、LazyVerticalGrid、LazyHorizontalGrid都无法满足流瀑布布局的需求,而且类似这种网格布局LazyVerticalGrid、LazyHorizont......