• 2024-09-26HBase2.1分布式部署
    一、部署环境及Hbase各组件简介Hbase组件简介1.ClientClient包含了访问Hbase的接口,另外Client还维护了对应的cache来加速Hbase的访问,比如cache的.META.元数据的信息。2.ZookeeperHBase通过Zookeeper来做master的高可用、RegionServer的监控、元数据的入口以及集群配置的维护等工作
  • 2024-08-17HBase学习的第五天--HBase进阶结尾和phoenix开头
    HBase进阶下一、HBase的读写流程1.1 HBase读流程Hbase读取数据的流程:1)是由客户端发起读取数据的请求,首先会与zookeeper建立连接2)从zookeeper中获取一个hbase:meta表位置信息,被哪一个regionserver所管理着hbase:meta表:hbase的元数据表,在这个表中存储了自定义表相关的元
  • 2024-05-11HBase读写流程以及为什么面对百亿数据依旧可以很快
    HBase是什么:HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,用于存储海量的结构化、非结构化、半结构化的数据(底层存储的只有字节数组类型的数据)HBase写流程客户端向zookeeper建立连接并发送请求获取meta表的元数据的位置信息,和被哪个regionserver所管理,连接这个
  • 2024-03-27HBase 学习
    HBase基本概念HBase的存储是基于Hadoop的。Hadoop实现了一个分布式文件系统(HDFS)。HDFS有高容错性的特点,被设计用来部署在低廉的硬件上,而且它提供高吞吐量以访问应用程序的数据,适合那些有着超大数据集的应用程序。基于Hadoop意味着HBase与生俱来的超强的扩展性和吞吐
  • 2023-12-11三大操作之--split操作
    HbaseSplit是一个很重要的功能,HBase通过把数据分配到一定数量的Region来达到负载均衡的。当Region管理的数据过多时,可以通过手动或自动的方式触发HBaseSplit将一个Region分裂成两个新的子Region,并对父Region进行清除处理(不会立即清除)。HBase为什么需要Spl
  • 2023-08-08遇到问题--hadoop---节点服务重启成功一段时间后又停止
    情况我们发现CDH中一个hbase的regionServer节点经常自动停止,没有明显的错误信息。重启后又过一小段时间又自动停止原因这种情况一般都是需要排查相关服务的日志的,比如我们是regionServer节点的服务,则需要先看regionServer节点的日志。很幸运的是原因很快就找到了。一进入日志界面
  • 2023-07-31大数据面试题:HBase的RegionServer宕机以后怎么恢复的?
    可回答:1)HBase一个节点宕机了怎么办;2)HBase故障恢复参考答案:1、HBase常见故障导致RegionServer故障的原因:FullGc引起长时间停顿HBase对Jvm堆内存管理不善,未合理使用堆外内存Jvm启动参数配置不合理业务写入或吞吐量太大写入读取字段太大HDFS异常读取写入数据都是直接操作hdfs的,若hdfs
  • 2023-05-06Hbase Memstore刷新方式与Region的数目上限
    目录Region数目上限Region大小上限MemStore的刷新方式(触发条件)HLog(WAL)Size&MemstoreFlush频繁的MemstoreFlushesRegion数目上限RegionServer的region数目取决于memstore的内存使用,每个region拥有一组memstore(memstore的数量有hstore决定,hstore的数据由创建表时的指定的列族
  • 2023-04-08面试题百日百刷-HBase中HTable API有没有线程安全问题,在程序是单例还是多例?
    锁屏面试题百日百刷,每个工作日坚持更新面试题。请看到最后就能获取你想要的,接下来的是今日的面试题: 1.HBase内部机制是什么?Hbase是一个能适应联机业务的数据库系统物理存储:hbase的持久化数据是将数据存储在HDFS上。存储管理:一个表是划分为很多region的,这些region分布式地
  • 2023-03-02HBase存储空间撑爆导致拒绝服务的问题解决思路与操作方法记录
    时间:2022年3月29日;问题:tmss数据源切换完成后,源表数据将HBase集群内节点的存储空间撑爆,导致HBase集群内节点拒绝服务;修复:查询HDFS占用空间情况:hdfsdfs-df-h;确认是否
  • 2023-01-06浅析华为云基于HBase MTTR上的优化实践
    摘要:主要介绍华为云在HBase2.x内核所做的一些MTTR优化实践。本文分享自华为云社区《​​华为云在HBaseMTTR上的优化实践​​》,作者:搬砖小能手。随着HBase在华为云的广泛
  • 2023-01-05一文了解华为FusionInsight MRS HBase的集群隔离方案RSGroup
    摘要: RSGroup是集群隔离方案。本文分享自华为云社区《​​华为FusionInsightMRSHBase的集群隔离——RSGroup​​》,作者:MissAverage。一、HBaseRSGroup理解RSGroup是集
  • 2023-01-05一文了解华为FusionInsight MRS HBase的集群隔离方案RSGroup
    摘要: RSGroup是集群隔离方案。本文分享自华为云社区《华为FusionInsightMRSHBase的集群隔离——RSGroup》,作者:MissAverage。一、HBaseRSGroup理解RSGroup是集群隔
  • 2023-01-02[HBase基础]--初识HBase
    HBase是什么?HBase是一个分布式的、面向列的开源数据库,该技术来源于FayChang所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google
  • 2022-10-04HBase的优化
    一、HBase索引案例(使用redis存储索引)在这里是简单模拟将索引存到redis中,再通过先查询索引再将Hbase中的数据查询出来。需要考虑的问题:1、建立redis的连接,建立Hba
  • 2022-10-02大三第三周总结
    学习Hbase增删改查1.RegionServerRegionServer为Region的管理者,其实现类为HRegionServer,主要作用如下:对于数据的操作:get,put,delete;对于Region的操作:splitRegi
  • 2022-09-18Hbase基础总结
    HBase基础总结:1、什么是hbase:是面向列,高可靠,高性能,可伸缩的分布式存储数据库2、什么是列式存储:hbase可以看作一个大的HashMap,存取格式是由key-value的形式。四维定位到
  • 2022-08-27每周总结(22/8/27)
    HBase定义HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。1.2HBase数据模型逻辑上,HBase的数据模型同关系型数据库很类似,数据存储在一张表中,有行有列