目录
1.讲解
HBase是一个分布式的、面向列的开源数据库,它是Apache Hadoop项目的子项目。以下是对HBase的详细讲解:
一、HBase的起源与背景
HBase的技术来源于Fay Chang所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。HBase在Hadoop之上提供了类似于Bigtable的能力,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
二、HBase的特点
高可靠性:HBase采用了自动故障检测和恢复技术,可以实现数据的高可靠性。
高性能:HBase采用了基于Memcached的存储引擎,可以实现高速的读写操作。同时,HBase支持高效的随机读写操作,可以在毫秒级别内完成数据访问。
面向列:与一般的关系数据库不同,HBase是基于列的而不是基于行的模式。这意味着在HBase中,数据是按照列族(Column Family)来组织的,而不是按照行来组织的。
可伸缩性:HBase采用了分布式存储和计算技术,可以实现数据的水平扩展。它可以处理PB级别的数据量,适合于存储大规模的数据。
实时性:HBase支持基于数据流的实时数据处理,可以实现数据的实时生成、传输和处理。这使得HBase在实时数据处理和可视化方面具有重要的应用价值。
三、HBase的架构
HBase的架构包括以下几个主要组件:
RegionServer:RegionServer是Region的管理者,主要负责对Region的操作,如分裂(Split)和合并(Compact)等。
Master:Master是所有RegionServer的管理者,主要负责对RegionServer的监控、负载均衡和故障转移等操作。同时,Master还负责维护HBase的元数据。
Zookeeper:Zookeeper为HBase提供了稳定服务和failover机制。它记录了HBase集群的元数据信息,如-ROOT-和.META.表的位置等。客户端在访问HBase数据之前,需要先通过Zookeeper找到相应的元数据信息。
HDFS:HDFS为HBase提供了高可靠性的底层存储支持。HBase利用HDFS来存储实际的数据文件。
四、HBase的数据模型
HBase的数据模型包括以下几个主要概念:
表(Table):HBase中的表是一个有序的key-value存储结构,可以存储大量的数据。
行(Row):HBase中的行是表中的基本单位,每行包含多个列。行是由行键(Row Key)唯一标识的。
列族(Column Family):列族是一组相关列的集合。在HBase中,定义表时只需要声明列族即可,不需要声明具体的列。这意味着往HBase写入数据时,字段可以动态、按需指定。
列(Column):列是由列族和列限定符(Column Qualifier)组成的。例如,“info:name”就是一个列,其中“info”是列族,“name”是列限定符。
版本(Version):HBase中的版本用于记录同一行同一列的不同值。每条数据写入时,如果不指定时间戳(Timestamp),系统会自动为其加上该字段,其值为写入HBase的时间。
五、HBase的访问接口
HBase提供了多种访问接口,方便用户进行数据操作:
Native Java API:这是最常规和高效的访问方式,适合Hadoop MapReduce Job并行批处理HBase表数据。
HBase Shell:HBase的命令行工具,最简单的接口,适合HBase管理使用。
Thrift Gateway:利用Thrift序列化技术,支持C++、PHP、Python等多种语言,适合其他异构系统在线访问HBase表数据。
REST Gateway:支持REST风格的Http API访问HBase,解除了语言限制。
Pig:可以使用Pig Latin流式编程语言来操作HBase中的数据。Pig最终会将操作编译成MapReduce Job来处理HBase表数据。
Hive:Hive提供了类似SQL的查询语言来访问HBase中的数据。但需要注意的是,并不是所有版本的Hive都支持HBase。
六、HBase的使用场景
HBase主要应用于以下场景:
海量数据存储:HBase可以处理PB级别的数据量,适合于存储大规模的数据,如日志数据、监控数据、交易数据等。
低延迟读写:HBase支持高效的随机读写操作,可以在毫秒级别内完成数据访问,适合于需要实时访问和查询数据的场景。
高并发读写:HBase可以支持大量的并发读写操作,可以处理数百万级别的并发访问请求,适合于需要处理高并发访问的场景。
数据分析和挖掘:HBase支持多种过滤器和聚合函数,可以对数据进行精确的过滤和统计分析,适合于需要进行数据分析和挖掘的场景。
实时计算和流处理:HBase可以与Apache的其他组件(如Storm、Spark等)集成,实现实时计算和流处理。
HBase是一个高性能、高可靠性、面向列、可伸缩的分布式存储系统。它在大数据处理、实时监控、实时分析等领域具有广泛的应用前景。
2.安装
我使用的是linux-centos系统 Hbase的版本是2.2.3
上传压缩包至/opt/software/software
解压hbase压缩包:(/opt/software)
tar -zxvf /opt/software/hbase-2.2.3-bin.tar.gz -C /opt/module
改名:(/opt/module)
mv /opt/module/hbase-2.2.3 /opt/module/hbase
3.配置部署
前置要求安装jdk和hadoop
配置环境变量:
vi /etc/profile
export HBASE_HOME=/opt/module/hbase
export PATH=$HBASE_HOME/bin:$PATH
使环境变量生效:
source /etc/profile
修改配置文件:(/opt/module/hbase/conf)
vi /opt/module/hbase/conf/hbase-env.sh
(去掉注释并修改)或者(直接在下面添加)
export JAVA_HOME=/opt/module/jdk
export HBASE_CLASSPATH=/opt/module/hbase/conf
export HBASE_MANAGES_ZK=false
vi /opt/module/hbase/conf/hbase-site.xml
(8020或9000,看hadoop配置的,我这里是8020)
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:8020/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master,slave1,slave2</value>
</property>
<property>
<name>hbase.tmp.dir</name>
<value>/opt/module/hbase/data/tmp</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/opt/module/hbase/data/zookeeper/</value>
</property>
<property>
<name>hbase.master.info.port</name>
<value>16010</value>
</property>
vi /opt/module/hbase/conf/regionservers
(去掉localhost,并添加以下内容)
master
slave1
slave2
复制给子节点:(前置:基础环境配置完毕ssh和/etc/host)
scp -r /opt/module/hbase/ slave1:/opt/module/hbase
scp -r /opt/module/hbase/ slave2:/opt/module/hbase
scp /etc/profile slave1:/etc/profile
scp /etc/profile slave2:/etc/profile
(记得source /etc/profile)
启动hbase:
start-hbase.sh
查看启动:
jps
slave1:
source /etc/profile
查看进程:
jps
slave2
source /etc/profile
查看进程:
jps
标签:opt,部署,module,etc,HBase,讲解,hbase,数据,Hbase
From: https://blog.csdn.net/2403_88719012/article/details/143586149