• 2024-11-17HBase
    什么是hbase?HBase是一个高可靠,高性能,面对列可伸缩的分布式文件系统,可以存储海量的结构化,半结构化,非结构化数据(底层是按照字节数组存储的)(HBase利用HDFS作为文件存储系统,利用zookeeper作为元数据的元数据存储)HBase与HDFS比较HBase内部使用哈希表提供随机接入通过HashMap键
  • 2024-11-17HBase架构与基础命令
    HBase架构与基础命令一、了解HBase官方文档:https://hbase.apache.org/1.1 HBase概述HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,用于存储海量的结构化或者半结构化,非结构化的数据(底层是字节数组做存储的)HBase是Hadoop的生态系统之一,是建立在Hadoop文件
  • 2024-09-14Hbase分布式数据库
    目录简介实验环境实验步骤环境搭建下载安装修改配置文件启动Hbase了解Hbase基础语法Hbase简单实验简介Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式数据库。利用Hbase技术可在廉价PCServer上搭建起大规模结构化存储集群。Hbase是非关系型数据库,它不要求数
  • 2024-08-13HBase学习的第二天--hbase的架构和基础命令
    接着昨天的简单了解继续学习五、hbaseshell命名描述语法help‘命名名’查看命令的使用描述help‘命令名’whoami我是谁whoamiversion返回hbase版本信息versionstatus返回hbase集群的状态信息statustable_help查看如何操作表table_helpc
  • 2024-08-12HBase学习的第一天--hbase的简介和搭建
    HBase架构与基础命令一、了解HBase1.1 HBase概述HBase是基于Hadoop中HDFS做存储的数据库HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,用于存储海量的结构化或者半结构化,非结构化的数据(底层是字节数组做存储的)HBase是Hadoop的生态系统之一,是建立在Hadoop
  • 2024-07-29大数据HBase图文简介
    引言要想明白为什么产生HBase,就需要先了解一下Hadoop存在的限制:Hadoop可以通过HDFS来存储结构化、半结构甚至非结构化的数据,是传统数据库的补充,是海量数据存储的最佳方法,它针对大文件的存储、批量访问和流式访问都做了优化,同时也通过多副本解决了容灾问题。但是Hadoo
  • 2024-07-24大数据平台之HBase
    HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,是ApacheHadoop生态系统的重要组成部分。它特别适合大规模结构化和半结构化数据的存储和检索,能够处理实时读写和批处理工作负载。以下是对HBase的详细介绍。1.核心概念1.1表(Table)HBase中的数据存储在表中。
  • 2024-07-23Hbase的表设计
    Hbase的表设计一、应用背景微博:用户表users、微博表weibos、用户关系表relations,和具体哪个公司的微博没关系。微博中的用户想关注其他用户的微博,首先要维护一个特定用户的关注列表,例如张三关注了李四和王五。为了要的得到张三应该看到的所有微博,你需要查找列表{李四、王五},
  • 2024-07-02HBase
    请回答以下问题。1.由于数据过多,HBase频繁地Region分裂,什么方法最合适?A.预分RegionB.增大Region大小C.增大MemStore,减少FlushD.提升RegionServer资源。一、HBase简介HBase数据模型HBase的底层物理存储结构(K-V)来看,HBase更像是一个Multi-dimensional(多
  • 2024-03-27HBase 学习
    HBase基本概念HBase的存储是基于Hadoop的。Hadoop实现了一个分布式文件系统(HDFS)。HDFS有高容错性的特点,被设计用来部署在低廉的硬件上,而且它提供高吞吐量以访问应用程序的数据,适合那些有着超大数据集的应用程序。基于Hadoop意味着HBase与生俱来的超强的扩展性和吞吐
  • 2024-03-01hbase结构简介
    Hbase结构图hmaster负责给regionserver分配region,region处理具体的数据存储和查找,zk是一个注册中心,hmaster通过zk感知regionserver存活与否。客户端是通过zk取到hmater的位置,然后取到位于namespace下面的mate表里面的region分区信息才能知道对应得rowkey应该去哪里取得。Hba
  • 2024-02-28hbase常见命令和参数
    进入hbaseshell命令行./hbaseshell查看帮助#查看帮助,会列出命令组help#有哪些命令组,常见的CRUD命令在ddl和dml下面COMMANDGROUPS:Groupname:generalGroupname:ddlGroupname:namespaceGroupname:dmlGroupname:tools
  • 2024-02-28hbase 常见命令
    进入hbaseshell命令行./hbaseshell查看帮助#查看帮助,会列出命令组help#有哪些命令组,常见的CRUD命令在ddl和dml下面COMMANDGROUPS:Groupname:generalGroupname:ddlGroupname:namespaceGroupname:dmlGroupname:tools
  • 2023-12-08RocksDB 在 vivo 消息推送系统中的实践
    作者:vivo互联网服务器团队-ZengLuobin本文主要介绍了RocksDB的基础原理,并阐述了RocksDB在vivo消息推送系统中的一些实践,通过分享一些对RocksDB原生能力的探索,希望可以给使用RocksDB的读者带来启发。一、背景在消息推送系统中,业务方服务器通过调用推送接口向VPUSH
  • 2023-11-16缓存穿透方案之布隆过滤器
    作用:快速过滤掉不存在数据一种数据结构,特点是高效插入和查询,但是返回的结果是概率性的,不是确切的。使用场景:1.缓存穿透解决方案2.网络爬虫重复下载url解决方案3.HBase客户端查找列族文件数据问题解决方案。
  • 2023-10-17HBase-hbase shell操作
    hbaseshell操作一、DDL操作1.开启hbaseshellhbaseshell 2.查看hbase状态Status 3.查看hbase版本Version 4.创建命名空间create_namespace'命名空间名' 5.显示所有命名空间list_namespace 6.删除命名空间在删除一个命名空间时,该命名空间不能包含任何的表,否则
  • 2023-09-21HBASE shell学习
    一、基本命令打开HbaseShell:#hbaseshell1.1获取帮助#获取帮助help#获取命令的详细信息help'status'1.2查看服务器状态status1.3查看版本信息version关于表的操作2.1查看所有表list2.2创建表命令格式:create'表名称','列族名称1','列族名称2','列名称N'#创建
  • 2023-09-20HBase HFile与Prefix Compression内部实现全解--KeyValue格式
    1.引子 HFile(HBaseFile)是HBase使用的一种文件存储格式的抽象, 目前存在两种版本的HFile:HFileV1和HFileV2 HBase0.92之前的版本仅支持HFileV1,HBase0.92/0.94同时支持HFileV1和HFileV2。 以下分别是HFileV1/V2的结构图: HFileV1HFileV2(注:这两个图片在hbase
  • 2023-09-149.13日记
    使用idea连接成功HBASE14-Sep-202321:05:15.082信息[Catalina-utility-2]org.apache.catalina.startup.HostConfig.deployDirectory把web应用程序部署到目录[D:\apache-tomcat-9.0.67\webapps\manager]14-Sep-202321:05:15.125信息[Catalina-utility-2]org.apache.cat
  • 2023-09-14Hbase基础知识
     数据库:被称为namespace表:创建表的时候仅需要声明列族Columnfamily即可行:row,每行数据由一个rowkey和多个column组成,按字典顺序存储。查询只能根据rowkey进行查询,不可以用sql列:column由列族columnfamily和列限定符columnqualifier限定,建表只需指明列族,列限定符无需预先定义
  • 2023-07-24hbase中查询命令 hbase怎么查询
    Hbase表结构  1.进入Hbaseshell>./bin/hbaseshell2.查看当前操作用户>whoami3.创建一个表//表名列族1列族2>create'Rumenz','user','userInfo'4.查看数据库的表>list5.添加数据//表名rowkey列族:字段名值>put'Rumenz
  • 2023-07-13hbase数据模型有几种字段类型
    HBase数据模型中,主要有以下几种字段类型:1.列族(ColumnFamily):列族是HBase数据模型的基本组织单元。它是逻辑上相关的列的集合,通常表示一个实体的属性或者一组相关属性。列族在表创建时定义,所有属于同一列族的列都具有相同的前缀。2.列(Column):列是列族中的成员,由列族
  • 2023-06-26键值数据库和列族数据库
    数据库分类:键值数据库列族数据库 
  • 2023-06-24HBase数据模型
    HBase是一个稀疏的多维度的映射表列族(支持动态扩展,保留旧的版本)做不到对数据进行修改,只能生成新的,标注时间。(不考虑冗余,追求分析效率,牺牲空间,来换取时间)列限定符时间戳:数据坐标概念:四个维度(行键,列族,列限定符,时间戳)确定唯一的值概念视图行式存储和列式存储面向
  • 2023-06-11HBase的数据结构原理与使用
    一、HBase简介HBase是一个开源的、分布式的、版本化的NoSQL数据库(即非关系型数据库),依托Hadoop分布式文件系统HDFS提供分布式数据存储,利用MapReduce来处理海量数据,用Zookeeper作为其分布式协同服务,一般用于存储海量数据。HDFS和HBase的区别在于,HDFS是文件系统,而HBase是数据库。HBa