首页 > 其他分享 >hbase常见命令和参数

hbase常见命令和参数

时间：2024-02-28 22:45:44浏览次数：20  
标签：f1 Group name 列族 常见 参数 版本 hbase

  1. 进入 hbase shell 命令行

    ./hbase shell

  2. 查看帮助

    #查看帮助,会列出 命令组
help

#有哪些命令组,常见的CRUD命令在 ddl 和 dml下面
COMMAND GROUPS:
  Group name: general
  
  Group name: ddl
  
  Group name: namespace
  
  Group name: dml
  
  Group name: tools

  Group name: replication

  Group name: snapshots

  Group name: configuration

  Group name: quotas

  Group name: security

  Group name: procedures

  Group name: visibility labels

  Group name: rsgroup

  Group name: storefiletracker

  3. hbase shell 里面 字符串可以用 '' 或者 ""表示

  4. hbase的参数格式

    命令 参数1,参数2,参数3,...格式
命令 参数1,参数2,{属性1=>值,属性2=>值},...格式

如果参数是多个属性的{属性1=>值,属性2=>值}表示,所有属性都需要大写,属性不能用""包裹

  5. 命名空间操作(类似数据库)

    • help "namespace" #查看命名空间相关命令用法
    • list_namespace #查看有哪些命名空间
    • create_namespace 命名空间名字 #创建命名空间
    • drop_namespace 命名空间名字 #删除命名空间

  6. 表的操作

    • help "ddl" #查看ddl相关命名

    • hbase有两个自带命名空间 hbase 和 default
      如果是default命名空间的表可以省略命名空间

    • alter 't1', 'f1', {NAME => 'f2', IN_MEMORY => true}, {NAME => 'f3', VERSIONS => 5} #修改表定义

       alter "goods",{NAME=>"f1:name",VERSIONS=>3}

    • create "命名空间.表名","列族1","列族2" #创建一个表,有两个列族(简写)

    • create "t1", {NAME => "f1", VERSIONS => 1, TTL => 2592000, BLOCKCACHE => true}
      创建一个表t1,创建列族f1,这个列族保留1个版本

    • disable "ns1:t1" #禁用一个表

    • enable "ns1:t1" #启用一个表

    • drop "ns1:t1" #删除一个表(删除前必须要禁用)

    • desc "ns1:t1" #查看表的结构

    • truncate "ns1:t1" #清空一个表的数据

    • exists "ns1.t1" #表是否存在

    • list "goo.*" #查看指定看开头的表

  7. 表数据的操作

    • help "dml" #查看dml相关命名
    • put "表名","rowId","列族:列名","0003name" #添加数据(一次添加一个cell,一行数据需要多次添加)
      put 可以添加也可以修改,修改实际就是添加一个新版本的数据
    • get "表名","rowId" #查询指定行记录
    • get 't1', 'r1', {COLUMN => ['c1', 'c2', 'c3']} #查询的时候只查询只指定列族
    • scan "goods",{STARTROW=>"开始ID",ENDROW=>"结束ID"} #扫描一个表(分页查询)
    • scan "goods",{STARTROW=>"开始ID",LIMIT=>每页多少条} #分页查询
    • scan "goods" #查询全部
    • count "表名" #查看有多少条记录
    • deleteall "表名", "rowId" #删除一条记录
    • deleteall "表名", "rowId" ,"f1" #删除一个列族里面的数据
    • incr "表名","rowId","列族:列名" #指定列自增(需要long类型才可以)
    • incr "表名","rowId","列族:列名" ,10 #指定列自增10

  8. 列族属性

    • NAME #列族名字

    • VERSIONS #保留几个版本
      默认0

    • MIN_VERSIONS # 最小版本数

    • IN_MEMORY # 激进缓存

    • BLOOMFILTER # 布隆过滤器

    • TTL #保存时间(s)
      默认永久

    • BLOCKCACHE #是否启用块缓存

    • BLOCKSIZE # 数据块大小
      默认64K

    • DATA_BLOCK_ENCODING # 数据块编码

    • CONFIGURATION #

    • COMPRESSION # 压缩方式

    • NUMREGIONS #region的数量

    • SPLITS_FILE #使用指定文件拆分region

      实际是更具 rowkey 的字段顺序拆分的,所以rowkey的前面几个字符的设计应该考虑分区


#比如文件是这样
1
2
3

表示
rowkey小于1的一个区,
1-2的一个区
2-3的一个区
3以上的一个区

这里的区间是字段排序的区间不是数字的区间

    • REGION_REPLICATION #region的副本数

    • SPLITS #指定分区

      SPLITS => [‘1000’,‘2000’,‘3000’,‘4000’]

    • SPLITALGO #按照16进制分区

      SPLITALGO=>'HexStringSplit'

    • OWNER #所属人

  9. 查看历史版本

    • hbase里面的数据实际是不能修改的,修改实际是新增数据,并且保留指定version数量个版本.
      超过version数量的版本会在合并数据的时候被删除.

    • 指定保存多少个版本是在列族上指定的

      #goods表,的f1列族,保留5个最新版本
alter 'goods', {NAME => 'f1', VERSIONS => 5}

    • 所以查询历史版本也是要指定到列族,不指定版本都是指显示最新的一个版本(时间最大的版本)

      #查看goods表,rowKey="0003"的记录,里面列族是f1,列是name的cell,并且查看最新的两个版本
get "goods","0003",{COLUMN=>"f1:name",VERSIONS=>2}

  10. delete 和 deleteall 的区别

    • deleteall 删除的全部版本数据,
      deleteall 可以删除整行数据,也可以删除指定列族或者列的数据

    • delete 删除最新的版本
      版本是定义在列族上面的,所以不能删除行,只能删除列数据,并且删除列族也无效

      #删除的是 0003这列,里面 f1:name 最新的一个版本的数据
delete "goods","0003","f1:name

  11. rowkey的设计建议

  12. hbase的一些控制参数

    • 设置合理的zookeeper回话超时时间
      hbase-site.xml

      #默认90秒,也就是90秒才能感知节点regionServer失联,如果网络好可以调低
zookeeper.session.timeout

#从连间隔和重试次数
hbase.client.pasuse
hbase.client.retrise.nunber

    • 设置合理的regionServer连接数
      hbase-site.xml

      #regionServer的连接数,默认30
hbase.regionserver.handler.count

    • 设置大合并的时间
      hbase-site.xml

      #大合并默认时间7天
hbase.hregion.majorcompaction

    • 设置合适的Hstore文件大小
      hbase-site.xml

      #最大的文件大小,超过就会拆分成不同的region,默认10GB
hbase.hregion.max.filesize

    • 客户端缓存大小,缓存可以提高写效率
      hbase-site.xml

      #客户端写数据在内存缓存多大就会触发落盘,默认2MB,还有一个时间参数可以控制落盘行为,
hbase.client.write.buffer

    • scan.next所获取的行数限制
      hbase-site.xml

      #指定scan.next方法获取的默认行数,值越大消耗内存越大,默认是Integer.max
hbase.client.scanner.caching

    • 读写缓存比例(读写内存和建议不要超

    • 过超过80%)

      hbase-site.xml

      #blockCache占RegionServer堆内存的比例,读多可以调大,默认0.4
hfile.block.cache.size

#memstore占regionserver的比例,写多可以调大,默认0.4
hbase.regionserver.global.memstore.size

    • hbase 和jvm有直接关系,hbase regionServer一般有80%的内存是个读写缓存的,剩下的20%是程序自己用jvm可以更具这方面优化,比如使用并行回收减少STW的时间,因为写缓存很多时间都在积累数据,所以回收效率比较低(刷写数据以后才能回收),读缓存和程序内存可以回收.
      建议减少新生代的空间,尽早做小GC,而不是等数据量来着做大GC.

  13. 一些建议

    • region 大小控制早10-50G
    • cell的大小不要超过10M,小于100K的值有优化
    • 使用mod(Medium-sized-object)不要超过50M
    • 一张表的列族建议1-3个,不要设计太多列族,最好就一个,多个列族建议存放不需要同时读取的数据
    • 列族名称要短,每个cell列名都会占用空间
    • 如果只有一个列族用于写数据,那么写缓存不会占用太多资源,所以可以把写缓存比例调小

标签：f1,Group,name,列族,常见,参数,版本,hbase
From： https://www.cnblogs.com/cxygg/p/18042193

相关文章

  • 二维数组传参数
    1array<array<int,5>,5>arr;2for(intii=0;ii<arr.size();ii++)3{4for(intjj=0;jj<arr[ii].size();jj++)5{6arr[ii][jj]=jj*10+ii;7}8}9func(arr);1template<typenameT>2voidfunc(c......
  • JAVA基础：数组常见案例
    1.数组找最值packagecom.itheima.arry;publicclassArrayDemo7{publicstaticvoidmain(String[]args){//掌握数组元素求最值int[]faceScore={15,9000,10000,20000,9500,-5};intmax=faceScore[0];for(inti=1;i<faceS......
  • Java_常见报错&解决
    平时Java开发中常见的报错：SQLExceptionSQL异常，常见于操作数据库时的SQL语句错误。404错误：这是常见的页面不存在错误，建议仔细核查显示的网页是否存在（在运行的浏览器地址框中仔细查看当前路径，核实该路径是否正确，是否有路径错误，当前网页名字名字错误，使用了相对路径导致跳转出......
  • VS Qt - cmake项目中添加运行时命令行参数
    1、VS在项目目录中找到.vs目录--->launch.vs.json{"version":"0.2.1","defaults":{},"configurations":[{"type":"default","project":"CMakeLists.txt",......
  • hbase 常见命令
    进入hbaseshell命令行./hbaseshell查看帮助#查看帮助,会列出命令组help#有哪些命令组,常见的CRUD命令在ddl和dml下面COMMANDGROUPS:Groupname:generalGroupname:ddlGroupname:namespaceGroupname:dmlGroupname:tools......
  • FastAPI系列：路径参数额外校验Path
    路径参数额外校验PathfromfastapiimportPathapp=FastAPI()@app.get('/items/{item_id}')asyncdefread_items(item_id:str=Path(default=None,max_length=3,min_length=1,title='theidofitemtoget')):"""def......
  • FastAPI系列：查询字符串参数
    单个查询字符串@app.get('/index/{username}')defindex(username:str,id:int):#id为查询字符串?id=5return{"message":"success","username":username,"id":id}可选的查询字符串参数@app.get('/items/{item_id}......
  • FastAPI系列：全局routes参数的使用
    全局routes参数的使用fromfastapiimportFastAPI,Requestfromfastapi.responseimportJSONResponsefromfastapi.routingimportAPIRouteasyncdeffastapi_index():returnJSONResponse({'index':'fastapi_index'})asyncdeffastapi_about()......
  • FastAPI系列：路由之节点元数据参数说明
    节点元数据参数说明#拿app.get()方法的参数来说明，其他的差不多类似defget(self,path:str,*,response_model:Optional[Type[Any]]=None,status_code:Optional[int]=None,tags:Optional[List[Union[str,Enum]]]......
  • FastAPI系列：路由之APIRouter参数介绍
    APIRouter参数介绍classAPIRouter(routing.Router):def__init__(self,*,prefix:str="",#表示当前路由分组的url前缀tags:Optional[List[Union[str,Enum]]]=None,#表示当前路由分组在可交互文档中所属的分组标签列表。一......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99