首页 > 编程语言 >头歌——HBase 开发：使用Java操作HBase

头歌——HBase 开发：使用Java操作HBase

时间：2023-12-12 23:35:06浏览次数：40  
标签：Java hadoop 头歌 client org apache import hbase HBase

第1关：创建表

题目

任务描述

本关任务：使用Java代码在HBase中创建表。

相关知识

为了完成本关任务，你需要掌握：1.如何使用Java连接HBase数据库，2.如何使用Java代码在HBase中创建表。

如何使用Java连接HBase数据库

Java连接HBase需要两个类：

  • HBaseConfiguration
  • ConnectionFactory
HBaseConfiguration

要连接HBase我们首先需要创建Configuration对象，这个对象我们需要通过HBaseConfiguration（HBase配置）对象来进行创建，HBaseConfiguration看名字我们就能猜到它的用途：读取指定路径下hbase-site.xml和hbase-default.xml的配置信息。

具体用法：

 Configuration config = HBaseConfiguration.create(); //使用create()静态方法就可以得到Configuration对象
ConnectionFactory

获取到连接对象Connextion我们就算连接上了HBase了，怎么获取呢？

通过ConnectionFactory（连接工厂）的方法我们就能获取到Connection（连接对象）了。

具体用法：

Connection connection = ConnectionFactory.createConnection(config); //config为前文的配置对象

使用这两个步骤就能完成连接HBase了。

注意：在1.0之前的版本HBase是使用HBaseAdmin和HTable等来操作HBase的，但是在1.0之后的版本中这些被弃用了，新的客户端API更加干净简洁，本文使用的HBase是2.1.1版本（18年10月发布）的，

创建表

要创建表我们需要首先创建一个Admin对象，然后让它来创建一张表：

Admin admin = connection.getAdmin(); //使用连接对象获取Admin对象TableName tableName = TableName.valueOf("test");//定义表名HTableDescriptor htd = new HTableDescriptor(tableName);//定义表对象HColumnDescriptor hcd = new HColumnDescriptor("data");//定义列族对象htd.addFamily(hcd); //添加admin.createTable(htd);//创建表

HBase2.X创建表

上述创建表的方法是HBase1.X版本的方式，而在HBase2.X的版本中创建表使用了新的API，创建表关键代码如下：

TableName tableName = TableName.valueOf("test");//定义表名//TableDescriptor对象通过TableDescriptorBuilder构建；TableDescriptorBuilder tableDescriptor = TableDescriptorBuilder.newBuilder(tableName);ColumnFamilyDescriptor family = ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes("data")).build();//构建列族对象tableDescriptor.setColumnFamily(family);//设置列族admin.createTable(tableDescriptor.build());//创建表

在2.X版本中主要是HTableDescriptor对象被弃用，取而代之的是TableDescriptor对象，TableDescriptor对象通过TableDescriptorBuilder构建；

TableName tableName = TableName.valueOf("test");TableDescriptorBuilder tableDescriptor = TableDescriptorBuilder.newBuilder(tableName);

然后添加列簇方法变更：

ColumnFamilyDescriptor family = ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes("data")).build();//构建列族对象tableDescriptor.setColumnFamily(family);        //设置列族

最后由Admin对象进行创建表操作：

admin.createTable(tableDescriptor.build());

值得咱们注意的是，如果你的HBase环境是1.X的那么你只能使用第一种方式来创建表，如果是2.X的版本，那么两种方式你都可以使用（本实训使用的 HBase是2.1.1版本，所以两种都可用）。

编程要求

好了，到你啦，使用本关知识，在右侧编辑器begin-end处补充代码，请你编写一个Java程序，在HBase中创建表dept,emp，列都为：data。

测试说明

注意：

点击测评之前，请先开启Hadoop（start-dfs.sh）和HBase（start-hbase.sh），并且需要等待HBase初始化完成（20秒左右），否则无法在HBase中创建表。

怎么查看HBase初始化成功了呢？

输入hadoop fs -ls /hbase有如下结果即可：

![img](C:\Users\lenovo\Desktop\My MD\img\243554.png)

如果启动过程中出现： datanode running as process 214. Stop it first.说明Hadoop的进程还没有被杀死。

需要我们重新stop-dfs.sh 和stop-hbase.sh，然后在重启。

代码

命令行

start-dfs.sh
start-hbase.sh

package step1;

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.ColumnFamilyDescriptor;
import org.apache.hadoop.hbase.client.ColumnFamilyDescriptorBuilder;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.client.TableDescriptor;
import org.apache.hadoop.hbase.client.TableDescriptorBuilder;
import org.apache.hadoop.hbase.util.Bytes;


public class Task{
	
	public void createTable()throws Exception{
		/********* Begin *********/
         Configuration config = HBaseConfiguration.create(); //使用create()静态方法就可以得到Configuration对象
        Connection connection = ConnectionFactory.createConnection(config); //config为前文的配置对象

		Admin admin = connection.getAdmin(); //使用连接对象获取Admin对象
        TableName tableName = TableName.valueOf("dept");//定义表名
//TableDescriptor对象通过TableDescriptorBuilder构建；
        TableDescriptorBuilder tableDescriptor = TableDescriptorBuilder.newBuilder(tableName);
        ColumnFamilyDescriptor family = ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes("data")).build();//构建列族对象
        tableDescriptor.setColumnFamily(family);//设置列族
        admin.createTable(tableDescriptor.build());//创建表


        tableName = TableName.valueOf("emp");//定义表名
//TableDescriptor对象通过TableDescriptorBuilder构建；
        tableDescriptor = TableDescriptorBuilder.newBuilder(tableName);
        family = ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes("data")).build();//构建列族对象
        tableDescriptor.setColumnFamily(family);//设置列族
        admin.createTable(tableDescriptor.build());//创建表

		/********* End *********/
	}
}

第2关：添加数据

题目

任务描述

本关任务：使用Java代码向HBase集群中创建表并添加数据。

相关知识

为了完成本关任务，你需要掌握：Put、Table对象如何使用。

添加数据

要对一个表添加数据，我们需要一个Put对象，在定义Put对象之前我们需要获取到Table对象，这样才能对指定的表进行操作：

Table table = connection.getTable(tableName);//获取Table对象
try {
    byte[] row = Bytes.toBytes("row1");    //定义行
    Put put = new Put(row);                //创建Put对象
    byte[] columnFamily = Bytes.toBytes("data");    //列簇
    byte[] qualifier = Bytes.toBytes(String.valueOf(1)); //列
    byte[] value = Bytes.toBytes("张三丰");    //值
    put.addColumn(columnFamily, qualifier, value);
    table.put(put);        //向表中添加数据
} finally {
    //使用完了要释放资源
    table.close();
}

编程要求

好了，到你啦，使用本关知识，在右侧编辑器begin-end处补充代码，请你编写一个Java程序，在HBase中创建表tb_step2,列簇都为：data，添加数据：

  • 行号分别为：row1，row2；
  • 列名分别为：1，2；
  • 值分别为：张三丰，张无忌。

测试说明

注意事项与上一关相同；

平台会执行你的代码，获取你向表中添加的数据；

预期输出：

row1:张三丰
row2:张无忌

代码

命令行

start-dfs.sh
start-hbase.sh

package step2;

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.ColumnFamilyDescriptor;
import org.apache.hadoop.hbase.client.ColumnFamilyDescriptorBuilder;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.client.TableDescriptor;
import org.apache.hadoop.hbase.client.TableDescriptorBuilder;
import org.apache.hadoop.hbase.util.Bytes;

public class Task {

	public void insertInfo()throws Exception{
		/********* Begin *********/
        Configuration config = HBaseConfiguration.create(); //使用create()静态方法就可以得到Configuration对象
        Connection connection = ConnectionFactory.createConnection(config); //config为前文的配置对象

		Admin admin = connection.getAdmin(); //使用连接对象获取Admin对象
        TableName tableName = TableName.valueOf("tb_step2");//定义表名
//TableDescriptor对象通过TableDescriptorBuilder构建；
        TableDescriptorBuilder tableDescriptor = TableDescriptorBuilder.newBuilder(tableName);
        ColumnFamilyDescriptor family = ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes("data")).build();//构建列族对象
        tableDescriptor.setColumnFamily(family);//设置列族
        admin.createTable(tableDescriptor.build());//创建表


        Table table = connection.getTable(tableName);//获取Table对象
        try {
            byte[] row = Bytes.toBytes("row1");    //定义行
            Put put = new Put(row);                //创建Put对象
            byte[] columnFamily = Bytes.toBytes("data");    //列簇
            byte[] qualifier = Bytes.toBytes(String.valueOf(1)); //列
            byte[] value = Bytes.toBytes("张三丰");    //值
            put.addColumn(columnFamily, qualifier, value);
            table.put(put);        //向表中添加数据

            row = Bytes.toBytes("row2");    //定义行
            put = new Put(row);                //创建Put对象
            columnFamily = Bytes.toBytes("data");    //列簇
            qualifier = Bytes.toBytes(String.valueOf(2)); //列
            value = Bytes.toBytes("张无忌");    //值
            put.addColumn(columnFamily, qualifier, value);
            table.put(put);        //向表中添加数据
        } finally {
            //使用完了要释放资源
            table.close();
        }

		/********* End *********/
	}
}

第3关：获取数据

题目

任务描述

本关任务：获取HBase中已存在表的数据并输出。

相关知识

为了完成本关任务，你需要掌握：1.如何使用Get对象获取数据，2.如何使用Scan批量输出表中的数据。

获取指定行的数据

我们使用Get对象与Table对象就可以获取到表中的数据了。

//获取数据
Get get = new Get(Bytes.toBytes("row1"));    //定义get对象
Result result = table.get(get);            //通过table对象获取数据
System.out.println("Result: " + result);
//很多时候我们只需要获取“值” 这里表示获取 data:1 列族的值
byte[] valueBytes = result.getValue(Bytes.toBytes("data"), Bytes.toBytes("1")); //获取到的是字节数组
//将字节转成字符串
String valueStr = new String(valueBytes,"utf-8");
System.out.println("value:" + valueStr);

上述代码就可以查到table对象中行row1的数据了，亲自试试验证一下结果吧。

扫描表中的数据

只获取一行数据显然不能满足我们全部的需求，我们想要获取表中所有的数据应该怎么操作呢？

Scan、ResultScanner对象就派上用场了，接下来我们看个示例你应该就明白这两个对象的用法了：

Scan scan = new Scan();
ResultScanner scanner = table.getScanner(scan);
try {
    for (Result scannerResult: scanner) {
        System.out.println("Scan: " + scannerResult);
         byte[] row = scannerResult.getRow();
         System.out.println("rowName:" + new String(row,"utf-8"));
    }
} finally {
    scanner.close();
}

这样就能将指定表中的数据全部输出到控制台了。

运行上述代码你会看到类似这样的结果：

Scan: keyvalues={row1/data:1/1542657887632/Put/vlen=6/seqid=0}
rowName:row1
Scan: keyvalues={row2/data:2/1542657887634/Put/vlen=6/seqid=0}
rowName:row2

将表的数据和行以及列都展示了。

编程要求

使用本关知识，在右侧编辑器begin-end处补充代码，输出t_step3表中行号为row1，列族为data:1的值（以utf-8编码），输出table_step3表中所有行的行名称（因为直接输出scannerResult会带有时间戳，所以输出行名方便测评）。

测试说明

预期输出：

value:Educoder
rowName:row1
rowName:row2
rowName:row3
rowName:row4

代码

命令行

start-dfs.sh
start-hbase.sh

package step3;

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.ColumnFamilyDescriptor;
import org.apache.hadoop.hbase.client.ColumnFamilyDescriptorBuilder;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.client.TableDescriptor;
import org.apache.hadoop.hbase.client.TableDescriptorBuilder;
import org.apache.hadoop.hbase.util.Bytes;


public class Task {

	public void queryTableInfo()throws Exception{
		/********* Begin *********/
        Configuration config = HBaseConfiguration.create(); //使用create()静态方法就可以得到Configuration对象
        Connection connection = ConnectionFactory.createConnection(config); //config为前文的配置对象

		Admin admin = connection.getAdmin(); //使用连接对象获取Admin对象
        TableName tableName = TableName.valueOf("t_step3");//定义表名


        Table table = connection.getTable(tableName);//获取Table对象

        //获取数据
        Get get = new Get(Bytes.toBytes("row1"));    //定义get对象
        Result result = table.get(get);            //通过table对象获取数据
        // System.out.println("Result: " + result);
        //很多时候我们只需要获取“值” 这里表示获取 data:1 列族的值
        byte[] valueBytes = result.getValue(Bytes.toBytes("data"), Bytes.toBytes("1")); //获取到的是字节数组
        //将字节转成字符串
        String valueStr = new String(valueBytes,"utf-8");
        System.out.println("value:" + valueStr);




        /**
            这里是批量显示，换表了
        */
        tableName = TableName.valueOf("table_step3");//定义表名
        table = connection.getTable(tableName);//获取Table对象

        Scan scan = new Scan();
        ResultScanner scanner = table.getScanner(scan);
        try {
            for (Result scannerResult: scanner) {
                // System.out.println("Scan: " + scannerResult);
                byte[] row = scannerResult.getRow();
                System.out.println("rowName:" + new String(row,"utf-8"));
            }
        } finally {
            scanner.close();
        }		
		
		
		
		/********* End *********/
	}
	
}

第4关：删除表

题目

任务描述

本关任务：删除表。

相关知识

本次关卡我们来学习本次实训最后一个内容，删除表。

和HBase shell的操作一样，在Java中我们要删除表，需要先禁用他，然后在删除它。

代码很简单：

TableName tableName = TableName.valueOf("test");
admin.disableTable(tableName);    //禁用表
admin.deleteTable(tableName);    //删除表

编程要求

好了，到你啦，使用本关知识，在右侧编辑器begin-end处补充代码，编写代码删除t_step4表。

代码

命令行

start-dfs.sh
start-hbase.sh

package step4;

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.ColumnFamilyDescriptor;
import org.apache.hadoop.hbase.client.ColumnFamilyDescriptorBuilder;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.client.TableDescriptor;
import org.apache.hadoop.hbase.client.TableDescriptorBuilder;
import org.apache.hadoop.hbase.util.Bytes;


public class Task {
	
	
	public void deleteTable()throws Exception{
		/********* Begin *********/
        Configuration config = HBaseConfiguration.create(); //使用create()静态方法就可以得到Configuration对象
        Connection connection = ConnectionFactory.createConnection(config); //config为前文的配置对象
		Admin admin = connection.getAdmin(); //使用连接对象获取Admin对象
        

		TableName tableName = TableName.valueOf("t_step4");
        admin.disableTable(tableName);    //禁用表
        admin.deleteTable(tableName);    //删除表
		
		/********* End *********/
	}
}

标签：Java,hadoop,头歌,client,org,apache,import,hbase,HBase
From： https://www.cnblogs.com/Changersh/p/17898113.html

相关文章

  • 无涯教程-Java - for 语句函数
    for循环是一种重复控制结构，可让您有效地编写需要执行特定次数的循环。for-语法for(initialization;Boolean_expression;update){//Statements}for-示例以下是Java中for循环的示例代码。publicclassTest{publicstaticvoidmain(Stringargs[]){......
  • Java变量
    JAVA变量局部变量：必须声明和初始化值作用域在方法体内类变量：也叫静态变量static作用域：在整个类中实例变量：作用域：在整个类中常量：publicclassDemo01{​  //常量final  staticfinaldoublePI=3.14;​  //类变量也叫静态变量static作用域：在整个类中......
  • Java方法详解
    Java方法详解1.何为方法类似于其他语言的函数Java方法是语句的集合，共同完成一个功能设计方法的原则：一个方法实现一个功能，有利于后期的管理和拓展！命名：首小写+驼峰命名。2.方法的定义修饰符返回值类型方法名(参数类型参数名){​方法体return返回值；}实参：实......
  • [JavaScript] JS中如何跳出循环/结束遍历
    [JavaScript]JS中如何跳出循环/结束遍历直接抛结论，下表是JS中常用的实现循环遍历的方法的跳出/结束遍历的办法，经过测试后的总结。可能各位大佬还有其他的办法，我在此表示大佬NB。 序号方法breakcontinuereturnreturntruereturnfalse结论1for循环成功跳出本次循......
  • 无涯教程-Java - while 语句函数
    只要给定条件为真(true)，Java编程语言中的while循环语句就会重复执行目标语句。while-语法while(Boolean_expression){//Statements}在这里，声明可以是单个语句或语句块。条件可以是任何表达式，并且true是任何非零值。while-示例publicclassTest{publics......
  • Java第八课_构造和静态
    2.面向对象的编程构造publicclassPractice{publicstaticvoidmain(String[]args){Personperson1=newPerson();Personperson2=newPerson("lisi");Personperson3=newPerson("哪吒",3);}}publicclass......
  • Java登陆第二十三天——JavaScript对象、JSON、事件
    JS中声明对象的两种格式方法1，newobject()然后依次添加属性或方法栗子：<script>//初始化对象varuser=newObject();//给对象添加属性并赋值user.name="张三";user.age=18;//给对象添加方法user.say=functi......
  • 【一个队列实现栈】Java队列——Queue接口-LinkedList实现类
    leetcode225.用队列实现栈题意：用一个队列实现栈题解：（1）弹栈：将队头开始的前size()-1个元素全部出队然后重新入队，使队尾元素循环到队头，然后弹出（2）获取栈顶元素：先将队头开始的前size()-1个元素全部出队然后重新入队，使队尾元素循环到队头，此时队头元素即为栈顶元素；然后再重新循环siz......
  • 无涯教程-Java - Non Access Modifiers函数
    Java提供了许多非访问修饰符来实现许多其他功能。static修饰符:用于创建类方法和变量的。final修饰符:用于最终确定类,方法和变量。abstract修饰符:用于创建抽象类和方法。volatile修饰符:用于线程的已同步。static(Static)修饰符Static变量static关键字用于创......
  • Java并发(十八)----常见线程安全类及实例分析
    1、常见线程安全类StringIntegerStringBufferRandomVectorHashtablejava.util.concurrent（JUC）包下的类这里说它们是线程安全的是指，多个线程调用它们同一个实例的某个方法时，是线程安全的。Hashtabletable=newHashtable();​newThread(()->{  ......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99