首页 > 系统相关 >我有三台ubuntu服务器,手把手教我从0搭建HBase,然后往里存一些数据。

我有三台ubuntu服务器,手把手教我从0搭建HBase,然后往里存一些数据。

时间:2024-10-27 14:32:16浏览次数:1  
标签:hbase 192.168 ubuntu table HBase local 节点 往里存

好的,我们可以一步步来搭建一个基本的 HBase 集群,并在里面存储一些数据。这里的步骤包括在三台 Ubuntu 服务器上配置 HBase 所需的依赖、安装 HBase、配置和启动集群、测试存储和查询数据。假设这三台服务器的 IP 地址分别为 192.168.1.101192.168.1.102192.168.1.103,其中第一台服务器将作为 HBase 的 主节点,另外两台作为 Region Server 节点。

1. 准备工作

1.1 更新系统

sudo apt update
sudo apt upgrade -y

1.2 安装 Java:HBase 依赖于 Java 运行环境(JDK 1.8 或更高版本)。我们安装 OpenJDK。

sudo apt install openjdk-8-jdk -y

1.3 验证 Java 版本

java -version
# 确保显示 Java 版本信息,确认安装成功

1.4 下载 HBase:在主节点上执行以下命令(可以选择使用 wget 或从 Apache HBase 官网下载最新版)。

wget https://archive.apache.org/dist/hbase/2.4.10/hbase-2.4.10-bin.tar.gz
tar -zxvf hbase-2.4.10-bin.tar.gz
sudo mv hbase-2.4.10 /usr/local/hbase

2. 配置 SSH 免密登录

为了方便集群操作,我们需要配置主节点与各 Region Server 之间的 SSH 免密登录。

2.1 在主节点上生成 SSH 密钥

ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa

2.2 将公钥分发到各节点

ssh-copy-id [email protected]
ssh-copy-id [email protected]
ssh-copy-id [email protected]

2.3 测试免密登录

ssh [email protected]

3. 配置 HBase

3.1 在主节点和 Region Server 节点上都解压 HBase

将 HBase 解压后的目录 /usr/local/hbase 分发到所有节点上,保持路径一致,或在每台机器上重复解压步骤。

3.2 配置 HBase 环境变量

在每台机器上编辑 ~/.bashrc 文件,添加以下内容:

export HBASE_HOME=/usr/local/hbase
export PATH=$PATH:$HBASE_HOME/bin

然后使配置生效:

source ~/.bashrc

3.3 配置 HBase 配置文件

编辑 /usr/local/hbase/conf/hbase-site.xml,在每台机器上保持相同配置。

<configuration>
    <!-- HBase root directory in HDFS -->
    <property>
        <name>hbase.rootdir</name>
        <value>file:///usr/local/hbase/data</value>
    </property>

    <!-- Zookeeper quorum configuration (主节点IP) -->
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>192.168.1.101</value>
    </property>

    <!-- RegionServer 地址 -->
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
</configuration>

3.4 配置 Zookeeper 节点

/usr/local/hbase/conf/regionservers 文件中,添加每个 Region Server 的 IP 地址,确保 HBase 可以识别集群中的每个节点。

192.168.1.102
192.168.1.103

4. 启动 HBase 集群

在主节点上,运行以下命令:

4.1 启动 Zookeeper

$HBASE_HOME/bin/start-hbase.sh

4.2 验证启动状态

$HBASE_HOME/bin/hbase shell

5. 在 HBase 中存储数据

进入 HBase Shell 后,可以开始存储一些数据。

5.1 创建一个表

create 'my_table', 'cf'

5.2 插入数据

put 'my_table', 'row1', 'cf:col1', 'value1'
put 'my_table', 'row1', 'cf:col2', 'value2'
put 'my_table', 'row2', 'cf:col1', 'value3'

5.3 读取数据

get 'my_table', 'row1'
scan 'my_table'

6. 验证集群和数据

可以通过访问 http://192.168.1.101:16010 进入 HBase Web UI 查看集群状态。

总结

通过以上步骤,我们在三台 Ubuntu 服务器上搭建了一个简单的 HBase 集群,完成了数据存储的基本操作。

标签:hbase,192.168,ubuntu,table,HBase,local,节点,往里存
From: https://www.cnblogs.com/Tifahfyf/p/18508323

相关文章

  • 如何在 Ubuntu 20.04 上使用 Let‘s Encrypt 保护 Apache
    前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站。简介Let’sEncrypt是一个证书颁发机构(CA),它简化了获取和安装免费TLS/SSL证书的过程,从而在Web服务器上启用了加密的HTTPS。它通过提供一个软件客户端Certbot来简化......
  • 再学HBase,关于HBase的一些基础知识 | 如何集成在java中
    HBase简介在使用方面:HBase是一种数据仓库,是基于hdfs的nosql数据源,数据都是存放在hdfs上的,不需要像hive一样再去运行MapReduce进行长时间运算。特点:在phonenix/hive的集成下才可以支持sql,本身是有自己的dql语言的。具有一级索引rowKey,基于一级索引查询hbase的表都是物理表,......
  • ubuntu中Root用户和非Root用户有什么区别呢?
    ubuntu中Root用户和非Root用户有什么区别呢?在Ubuntu中,Root用户和非Root用户的主要区别在于权限等级和系统操作范围。1.Root用户(超级用户)权限:拥有系统的最高权限,可以执行任何操作,包括对系统关键文件、目录的读写、删除,安装/卸载软件,创建、修改、删除用户,修改系统配置等。系......
  • Ubuntu20.04 更新Nvidia驱动 + 安装CUDA12.1 + cudnn8.9.7
    一、概述    最近客户给了几台GPU服务器,长期放置落灰那种,然后想利用起来,所以上去看看了配置,系统是Ubuntu20.04,相关的驱动版本稍嫌老一些,所以需要更新Nvidia驱动,同时在安装CUDA和CUDNN,查看了显卡型号之后,打算使用onnxruntime进行推理,对比了版本,最后选择了CUDA12.1+CU......
  • gdal部署及java调用详细过程(linux版本-ubuntu)
    建议gdal用3.5.3前的版本,因为目前网上大部分文章都是适用这个版本之前的编译方法一、gdal部署1)安装gcc通过系统包管理器安装sudoaptinstallgccgcc--version2)安装g++通过系统包管理器安装sudoaptinstallg++g++--version3)安装Ant通过系统包管理器安装sudoapt-g......
  • Minecraft 1.21.1游戏服务器运维笔记1:Ubuntu 18.04.6折腾Fabric配置及TinyRemapper、s
    摘要本文叙述了如何在Linux服务器上通过完全命令行交互的方式配置基于Minecraft1.21.1版本的Fabric服务器,交代了环境配置流程,以及服务端文件、模组文件的下载方法,给出了命令行操作方式以及完整的游戏启动脚本。目录摘要背景需求前瞻知识及材料准备准备工作环境配置操作系......
  • ubuntu 22.04及以上版本永久关闭SWAP方法
    背景:同事说ubuntu22.04通过常规的方式方法关闭swap,开机后还是会自动挂在swap因为之前写过在ubuntu上ansible自动化部署kubernetes就发现了这个问题,当时就在playbook文件里面写了关闭方法,这里在拿出来细分下通过测试是完全支持ubuntu20版本及以上版本永久关闭swap查看系统......
  • 职业技能大赛—物联网应用开发赛项(Ubuntun_Linux)精华笔记 (03)
    MySQL中的show各种查看命令介绍//全局变量在MySQL启动的时候由服务器自动将它们初始化为默认值,这些默认值可以通过更改my.ini这个文件来更改。//MySQL中的show各种查看命令介绍是必须了解的Mysql基础操作还请您认真看下去 1.使用show查看showtables或showtablesfrom......
  • SSH通信+Ubuntu+PC和Raspberry
    参考:http://wiki.ros.org/ROS/NetworkSetup首先把要通讯的PC和Raspberry连在同一个wifi下.(我这里PC的hostname是zsfmec,Raspberry的hostname是er,hostname就是你打开终端时候绿色字体中@后面的内容)假如想在PC上通过ssh通讯进入Raspberry的系统,首先,在Raspberry终端输......
  • 关于ubuntu系统升级遇到的问题:upgrades to the development release are only.......
    主要问题在于使用的是命令:sudodo-release-upgrade-d这将会寻找最新的版本进行安装,但是如果最新版本不稳定的话请求会受到拒绝,导致更新无法进行。具体区别如下:do-release-upgrade是Ubuntu系统用于升级到新版本的命令。当你运行这个命令时,系统会检查是否有新版本可用,并且会自......