首页 > 其他分享 >HBase

HBase

时间:2024-08-06 14:20:57浏览次数:8  
标签:map 存储 HBase 数据 数据模型 分布式

hdfs为数据存储,一种分布式,可拓展的NoSQL数据库

1.概念

1.1 数据模型

基于BigTable,一个稀疏的,分布式的,持久的多维排序map。
该map由行键,列键和时间戳索引,map中每一值都是一个未解释的字节数组。
HBase使用和BigTable相似的数据模型,用户将数据行存储在带标签的表中,数据行具有可排序的键和任意数量列。该表存储稀疏,因此同一表的行可以具有不同的列

1.2 逻辑结构


存储数据稀疏,数据存储多维,不同行有不同列。数据存储整体有序,按照RowKey字典序排列,Rowkey为Byte数组
按行拆分,块为Region用于实现分布式结构
按列拆分,为store存储不同文件夹中

1.3 物理结构

数据映射关系,空白单元格实际底层并不存储

  • Timestamp: 由于hdfs不能修改数据 不同版本的数据根据该字段进行区分,读取数据默认最新版本
  • Type: 删除为DeleteColumn

标签:map,存储,HBase,数据,数据模型,分布式
From: https://www.cnblogs.com/lwx11111/p/18345025

相关文章

  • 大数据技术原理-Hbase的安装和应用
    摘要本实验报告详细介绍了在“大数据技术原理”课程中进行的HBase实验。实验环境基于Hadoop生态系统,包括HBase和Java。实验内容涵盖了HBase的安装、版本查询、SSH登录、Hadoop与HBase的启动与关闭,以及通过HBaseShell命令实现数据的基本操作,如表的创建、数据的插入、删除和查......
  • 大数据HBase图文简介
    引言要想明白为什么产生HBase,就需要先了解一下Hadoop存在的限制:Hadoop可以通过HDFS来存储结构化、半结构甚至非结构化的数据,是传统数据库的补充,是海量数据存储的最佳方法,它针对大文件的存储、批量访问和流式访问都做了优化,同时也通过多副本解决了容灾问题。但是Hadoo......
  • windows hbase连接工具 hbase连接数过多, yarn job HBase hdfs zookeper
    windowshbase连接工具hbase连接数过多##1.ZK连接过多1)查看ip连接数前十  登录后复制netstat-na|grep2181|awk'{print$5}'|awk-F:'{print$1}'|sort|uniq-c|sort-rn|head-n101.##2.补数操作登录后复制hbaseorg.apache.hadoop.hbase.mapreduce.Co......
  • 如果 频繁操作Hbase 数据库 ,可以保持 Connection connection 一直连接吗
    问:如果频繁操作Hbase数据库,可以保持 Connectionconnection一直连接吗,或者有什么方式可以优化吗,如何 使用连接池(HBase自己提供的连接池)可以复用连接对象,减少频繁创建和销毁连接的开销。连接池负责维护一组预先建立的连接,并在需要时将它们提供给应用程序。当应用程序完成操......
  • hbase数据库连接池 未设置最大链接数导致数据库操作异常频发
    hbase数据库连接池未设置最大链接数导致数据库操作异常频发简介业务中将主要数据存储定位hbase存储,近期突然发现数据比对不上,发现实在创建环节发生异常导致逻辑执行终端(hbase存储或查询出现异常)。表现:供应商提供参考:供应商提供的解决方案:    关闭超过90s未使用......
  • docker搭建hadoop+hbase(待写完)
    参考文档:  1.官方文档 https://hub.docker.com/r/apache/hadoop一.创建集群配置根据文档可知,首先创建一个docker-compose.yaml文件我的文件内容如下version:"2"services:  namenode:   image:apache/hadoop:3.3.6   hostname:namenode  ......
  • hbase SLF4J报错
    hbaseSLF4J报错HBaseSLF4J错误的解决方法介绍在使用HBase开发过程中,经常会遇到SLF4J报错的情况。SLF4J(SimpleLoggingFacadeforJava)是一个为Java应用程序提供日志记录接口的简单日志门面。本文将介绍如何解决HBase中常见的SLF4J报错问题。解决流程下面是解决HBaseSLF4......
  • Hadoop(5-1) HBase 提示SLF4J: Class path contains multiple SLF4J bindings.
    Hadoop(5-1)HBase提示SLF4J:ClasspathcontainsmultipleSLF4Jbindings.问题描述在使用hbaseversion命令时,出现下列的警告信息 。SLF4J:ClasspathcontainsmultipleSLF4Jbindings.SLF4J:Foundbindingin[jar:file:/usr/local/hadoop-3.3.6/share/hadoop/com......
  • 大数据平台之HBase
    HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,是ApacheHadoop生态系统的重要组成部分。它特别适合大规模结构化和半结构化数据的存储和检索,能够处理实时读写和批处理工作负载。以下是对HBase的详细介绍。1.核心概念1.1表(Table)HBase中的数据存储在表中。......
  • Hbase的表设计
    Hbase的表设计一、应用背景微博:用户表users、微博表weibos、用户关系表relations,和具体哪个公司的微博没关系。微博中的用户想关注其他用户的微博,首先要维护一个特定用户的关注列表,例如张三关注了李四和王五。为了要的得到张三应该看到的所有微博,你需要查找列表{李四、王五},......