首页 > 其他分享 >12.9日记

12.9日记

时间:2023-12-09 21:22:05浏览次数:26  
标签:-- Sqoop 指定 日记 HBase table hbase 12.9


Sqoop 命令

Sqoop 支持 HDFS 和 Hive 之外的其他导入目标。Sqoop 还可以将记录导入到 HBase 中的表中。
参数名称    参数含义
--column-family <family>    设置导入的目标列族
--hbase-create-table    如果指定,则创建缺少的 HBase 表
--hbase-row-key <col>    指定要用作行键的输入列,如果输入表包含复合键,则 <col> 必须采用单个的形式,逗号分隔的组合键列表属性
--hbase-table <table-name>    指定要用作目标的 HBase 表名而不是 HDFS
--hbase-bulkload    启用批量加载

通过指定--hbase-table,您指示 Sqoop 导入到 HBase 中的表而不是 HDFS 中的目录。Sqoop 会将数据导入到指定为 的参数的表中--hbase-table。输入表的每一行都会转化为一个HBase Put操作到输出表的一行。每行的键取自输入的一列。默认情况下,Sqoop 将使用 split-by 列作为行键列。如果未指定,它将尝试识别源表的主键列(如果有)。您可以使用 手动指定行键列--hbase-row-key。每个输出列都将放置在同一个列族中,必须用--column-family.

如果输入表有复合键,则--hbase-row-key必须采用逗号分隔的复合键属性列表的形式。在这种情况下,HBase 行的行键将通过使用下划线作为分隔符组合复合键属性的值来生成。注意:只有--hbase-row-key在指定了参数的情况下,Sqoop 导入表才能使用复合键。

如果目标表和列族不存在,则 Sqoop 作业将退出并显示错误。您应该在运行导入之前创建目标表和列族。如果指定--hbase-create-table,Sqoop 将使用 HBase 配置中的默认参数创建目标表和列族(如果它们不存在)。

Sqoop 当前通过将每个字段转换为其字符串表示形式(就像您以文本模式导入到 HDFS 一样)将所有值序列化到 HBase,然后在目标单元格中插入此字符串的 UTF-8 字节。Sqoop 将跳过除行键列之外的所有列中包含空值的所有行。

为了减少 hbase 上的负载,Sqoop 可以进行批量加载而不是直接写入。要使用批量加载,请使用--hbase-bulkload。

标签:--,Sqoop,指定,日记,HBase,table,hbase,12.9
From: https://www.cnblogs.com/zhangmingmkzj/p/17891512.html

相关文章

  • 闲话12.9
    来BJ啦。上午学考不说了......
  • 写日记
    改变ABC理论ABC理论,即情感(Affect)、行为(Behaviour)和认知(Cognition)。没有捷径可走,我们要投身其中最好的自助书:出色的人物传记适时休息评估坚持写日记,可以降低焦虑(干预法)1.日记法中的ABC理论(Pennebaker’s):a.要求写下事件本身(Behaviour)b.写下你最深刻的感受(Youraff......
  • 12.9闲话
    奋战冬三月昨日跑操排名第一名...第二名....第三名....倒第一....到第二....到第三....奋战冬三月昨日扣分明细xx班有人掉队扣30分xx班有人拒报学号扣30分....好各班,操前班呼!一班,跑步,走!2班跟上!....9班和十班的班距缩小!!十一班十二班缩小班距!跟上!13班口号声音很响!..........
  • 模拟套题 12.9
    不敢想象这是曾经初二的人做的T1非皇后大意:给定\(R\)行\(C\)列的棋盘你可以随便在一个格子放一个非皇后要求不能走直线和对角线走\(M\)步将走过的格子按顺序记起来求最终有多少种不同排列Solutiondp裸题定义\(f_{i,j,k}\)为走了\(i\)次,到格子\((j,k)\)......
  • 12.9 蓝桥杯 huffuman树c语言
    今天学习了蓝桥杯的huffuman树,总结如下:问题描述Huffman树在编码中有着广泛的应用。在这里,我们只关心Huffman树的构造过程。给出一列数{pi}={p0,p1,…,pn-1},用这列数构造Huffman树的过程如下:1.找到{pi}中最小的两个数,设为pa和pb,将pa和pb从{pi}中删除掉,然后将它们的和加......
  • 12.8日记
    RabbitMQ是一个开源的消息代理软件,它实现了高级消息队列协议(AMQP)标准。它的官方客户端提供了多种编程语言的接口,包括Python、Java和Ruby等。它支持消息的持久化、多种交换机类型、消息通知机制、灵活的路由和安全机制等。二、RabbitMQ工作原理RabbitMQ是由三部分组成的:生产......
  • P4119 [Ynoi2018] 未来日记
    \(\text{Links}\)LuoguBlogP4119[Ynoi2018]未来日记题外话个人生涯中第一道独立通过的Ynoi大分块!!同时也是个人生涯中通过的第十道Ynoi系列题目!!卡了好久结果加了个优化就过了/yunAC那一瞬间的场面好像56SecondsLater/ll感觉\(8.5\)的评分还是有点虚......
  • 12.6日记
    JFinal是一款基于Java语言的轻量级、高性能的MVC框架,它在功能上延续了传统的JavaWeb开发框架的优点,同时也具有简洁的设计和强大的扩展性。以下是JFinal框架的主要功能和特点:MVC架构:JFinal遵循经典的MVC(Model-View-Controller)设计模式,将应用程序分为模型(Model)、......
  • 将json数据导入到ES集群——解决方案对比&填坑日记
    需求将写好的json数据。导入到es集群数据说明文件JSON数据,一行一个JSON。{"id":"d2716ae8fba4e026c4bd9445c3f49e2c","lang":"zh","title":"吉美旅馆","content":"吉美..."}{"id":"d2716ae8fba4e026c4bd9445......
  • 12.5日记
    普通创建:hadoopfs-mkdir/xiaolin递归创建:hadoopfs-mkdir-p/xiaolin/xiaoyin2)从本地剪切文件粘贴到HDFS上(-moveFromLocal)mkdirxuan.txthadoopfs-moveFromLocalxuan.txt/xiaolin3)把本地文件复制到HDFS上(-copyFromLocal或者-put)hadoopfs-copyFromLocalxuan.txt......