首页 > 数据库 >hbase写入数据库 BufferedMutator入库

hbase写入数据库 BufferedMutator入库

时间:2024-07-18 18:51:42浏览次数:18  
标签:1.2 BufferedMutator 创建 步骤 Put hbase HBase 入库

hbase写入数据库 BufferedMutator入库

如何使用HBase BufferedMutator入库

1. 流程图

创建HBase连接创建BufferedMutator构建Put对象将Put对象加入BufferedMutator释放资源

2. 关系图

erDiagram
    HBase }|--| BufferedMutator : 使用
    BufferedMutator }|..| Put : 包含

3. 详细步骤

步骤 操作
1 创建HBase连接
2 创建BufferedMutator
3 构建Put对象
4 将Put对象加入BufferedMutator
5 释放资源

4. 代码示例

步骤1:创建HBase连接

// 创建配置
Configuration config = HBaseConfiguration.create();
// 设置HBase地址
config.set("hbase.zookeeper.quorum", "localhost");
// 获取连接
Connection connection = ConnectionFactory.createConnection(config);
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.

步骤2:创建BufferedMutator

// 获取表名
TableName tableName = TableName.valueOf("your_table_name");
// 创建BufferedMutatorParams
BufferedMutatorParams params = new BufferedMutatorParams(tableName);
// 设置缓冲区大小
params.writeBufferSize(1024 * 1024);
// 创建BufferedMutator
BufferedMutator mutator = connection.getBufferedMutator(params);
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.

步骤3:构建Put对象

// 创建Put对象并指定Row Key
Put put = new Put(Bytes.toBytes("row_key"));
// 添加列族、列和值
put.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("qualifier"), Bytes.toBytes("value"));
  • 1.
  • 2.
  • 3.
  • 4.

步骤4:将Put对象加入BufferedMutator

// 将Put对象加入BufferedMutator
mutator.mutate(put);
  • 1.
  • 2.

步骤5:释放资源

// 关闭BufferedMutator和连接
mutator.close();
connection.close();
  • 1.
  • 2.
  • 3.

结尾

通过上述步骤,你可以成功地使用HBase的BufferedMutator将数据入库。记得要根据实际情况修改对应的表名、列族、列名等信息。希望这篇文章能够帮助到你,祝你学习进步!

原文链接:https://blog.51cto.com/u_16213438/10089447

标签:1.2,BufferedMutator,创建,步骤,Put,hbase,HBase,入库
From: https://www.cnblogs.com/sunny3158/p/18310249

相关文章

  • 【头歌】HBase开发: Java API 管理表 答案
    专栏已收集头歌大数据所有答案第一关JavaAPI获取表的列表:packagestep1; importjava.util.ArrayList;importjava.util.List; importorg.apache.hadoop.conf.*;importorg.apache.hadoop.hbase.*;importorg.apache.hadoop.hbase.client.*;importorg.apache.......
  • 贝壳项目,入库及去重
    importtimeimportrequestsfromlxmlimportetreefrom常用功能.mongodb链接importconnect_mongodbuser_value='bk_spider'pwd_value='ke@spider01'mongo_id_value='119.45.40.170'port_value=27017db_value='spider&#......
  • 快速部署 HBase 测试环境
    快速部署HBase测试环境第一步:下载软件,在HBase官网下载最新版,找到bin,点击下载,比如我这里下载的是hbase-2.5.6-bin.tar.gz第二步:解压软件$tar-zxvfhbase-2.5.6-bin.tar.gz$cdhbase-2.5.6第三步:启动软件$./bin/start-hbase.sh$./bin/hbase-daemon.shstartthrif......
  • 最新版康泰克完整版- Kontakt v7.10.5 for Win和Mac,支持m芯片和intel,有入库工具
    一。世界最受欢迎的采样器的新篇章    NativeInstrumentsKontakt是采样器领域的标准,您将获得高质量的滤波器,在这里您将找到经典的模拟电路和最现代的滤波器。每一个都可以根据您的口味进行定制,并且由于它,您可以获得前所未有的声音。这是一个解锁版本,这意味着您可以......
  • 珠海高新技术企业培育入库申报注意事项
    珠海市作为广东省重要的经济特区,对高新技术企业的培育和扶持有着明确的政策导向。企业在申报成为高新技术企业培育入库的过程中,需要注意一系列关键事项,包括申报条件的准确理解、申报材料的规范准备、以及相关政策的及时跟进。本文将对这些注意事项进行详细梳理,旨在帮助企业提高......
  • odoo 一个仓库有几种stock_location: stock/input/output/quality/packing? 这几个和
    在Odoo中,仓库管理包含多个stock.location类型,每种类型在仓库操作中扮演不同的角色。常见的仓库位置类型包括stock,input,output,quality,和packing。以下是这些位置类型的详细说明以及它们与出库、入库和库存的关系。常见的stock.location类型:Stock:描述:主库存位......
  • 异步优化与数据入库:顶点小说爬虫进阶实战
    顶点小说进阶建议这篇顶点小说进阶包括(数据入库、异步爬虫)看之前可以先看我之前发布的文章(从零开始学习Python爬虫:顶点小说全网爬取实战)入库#入库defsave_to_mysql(db_name,table_name,table_column_str,table_info_str):db=pymysql.connect(user='host',passw......
  • EasyExcel简单使用教程(大量数据分批入库;非固定Excel解析)
    前言本文记录了如何使用EasyExcel完成简单的表格解析操作,同时实现了大量数据情况下数据的分次批量入库,并记录每条数据入库的状态,以便进行结果统计。固定模板及表数据格式的解析实现Excel模板内容对应的实体类importcom.alibaba.excel.annotation.ExcelIgnore;importcom.al......
  • Golang 依赖注入设计哲学|12.6K 的依赖注入库 wire
    一、前言线上项目往往依赖非常多的具备特定能力的资源,如:DB、MQ、各种中间件,以及随着项目业务的复杂化,单一项目内,业务模块也逐渐增多,如何高效、整洁管理各种资源十分重要。本文从“术”层面,讲述“依赖注入”的实现,带你体会其对于整洁架构&DDD等设计思想的落地,起到的支撑作用。......
  • HBase
    请回答以下问题。1.由于数据过多,HBase频繁地Region分裂,什么方法最合适?A.预分RegionB.增大Region大小C.增大MemStore,减少FlushD.提升RegionServer资源。一、HBase简介HBase数据模型HBase的底层物理存储结构(K-V)来看,HBase更像是一个Multi-dimensional(多......