首页 > 其他分享 >Hbase-预分区

Hbase-预分区

时间:2023-10-17 18:58:34浏览次数:26  
标签:region 表在 split Hbase HBase 分区

Hbase 预分区   HBase表在刚刚被创建时,只有1个分区(region),当一个region过大(达到hbase.hregion.max.filesize属性中定义的阈值,默认10GB)时,表将会进行split,分裂为2个分区。表在进行split的时候,会耗费大量的资源,频繁的分区对HBase的性能有巨大的影响。HBase提供了预分区功能,即用户可以在创建表的时候对表按照一定的规则分区。分区是针对表级,不是列族级,因为region是根据rowkey来划分的。   目的:减少由于region split带来的资源消耗。从而提高HBase的性能。

标签:region,表在,split,Hbase,HBase,分区
From: https://www.cnblogs.com/yeyuzhuanjia/p/17770413.html

相关文章

  • HBase-统计表总行数的三种方式
     由于Hbase是列式数据库,没有提供类似SQL的数据查询语句,可以通过以下三种方式获取表的总行数。1.使用Hbase自带的Count命令      hbase提供了count命令可以在hbase交互界面使用,获取总行数。hbase>count‘test′hbase>count‘test′,INTERVAL=>100000 ......
  • HBase-宽表和高表的对比
    HBase表设计通常可以是宽表(widetable)模式,即一行包括很多列。同样的信息也可以用高表(talltable)形式存储,通常高表的性能比宽表要高出50%以上,所以推荐大家使用高表来完成表设计。表设计时,我们也应该要考虑HBase数据库的一些特性:1、在HBase表中是通过Rowkey的字典序来进行数据排序......
  • MySQL分区表详解
    本文已收录至GitHub,推荐阅读......
  • HBase入门指南
    本文已收录至GitHub,推荐阅读......
  • Oracle分区表技术详解
    Oracle是如何存储数据的?逻辑存储与物理存储在国企或者一线大厂,一般都会选择使用Oracle数据库,程序通过mybatis等持久层框架访问Oracle数据库,指定表空间,表空间内包含若干张表,表中存有行数据,行数据以行片段的形式存储在数据库块中,①当插入的行太大,无法装入单个块时;②或因为更新的......
  • mysql 分区表
    场景:数据库磁盘爆满,使用delete无法清理磁盘,清理会有binlog,redolog,磁盘无法释放。个人遇到的真实场景:数据库数据上千万,要清理历史数据,但是delete删除数据无法释放磁盘,运维老大哥给的方案,先分区表,然后再truncate这样就能清理历史数据,磁盘也能释放。 操作步骤:1,查看数据库......
  • 数据库的分区和分表
          ......
  • Centos7下创建centos-home逻辑分区
    1备份要挂载的文件夹查看home文件夹有无文件,如有文件一定要记得备份2创建逻辑分区2.1查看已有逻辑分区2.2查看磁盘分区情况2.3查看磁盘PV2.4创建逻辑分区lvcreate-nhome-l100%FREEcentos2.5查看逻辑分区情况3初始化文件系统3.1初始化为ext类型mkfs.ext4/......
  • 磁盘分区、挂载
       查看所有设备挂载情况:lsblk或lsblk-f......
  • 数据库分区
    1.数据库分区分区优点1、与单个磁盘或文件系统分区相比,可以存储更多的数据。2、通过删除与增加那些数据有关的分区,很容易地删除或增加那些数据。3、一些查询可以得到极大的优化。4、通过跨多个磁盘甚至服务器来分散数据查询,来获得更大询吞吐量。5、MySQL5.5之后支持所有函......