首页 > 其他分享 >SQuirrel client UI 操作hbase 及 spark with phoenix 写hbase 遇到的一些问题总结

SQuirrel client UI 操作hbase 及 spark with phoenix 写hbase 遇到的一些问题总结

时间:2023-02-25 16:33:05浏览次数:51  
标签:SQuirrel phoenix 列族 创建 hbase spark schema

1:在SQuirrel里如果创建table的时候,不指定namespace,则表是创建在default 空间的,在UI上无法看到,但是在phoenix sqlline 命令行可以看到,如下表LOT7

 

 

2:phoenix sql里,如果用引号将表名或列族名或列名括起来,则创建的表保持原来的大小写状态,如果没有用引号括起来,则转为大写形式,在后续访问的时候需要特别注意大小写问题

3:通常先创建schema,然后在schema 上创建table,schema类似数据库:

 

 

4:创建表的时候,可以指定列族,也可以不指定列族,如果没有指定列族,则没有列族,只有列名,如上图所示是指定了列族的

5:在spark 应用成员里,通过phoenix 写hbase的时候,如果表没有列族,则可以使用dataframe sql 直接写如hbase,要注意列的大小写问题

 

 

但是如果表是有列族的,则需要将dataframe的列先转换成别名的方式,再写入hbase,要特别注意的是,在spark中,列族或列名会转成大写形式,要和hbase里的大小写保持一致,否则会写入失败

 

6:如果是从hbase shell里创建的表,那在phoenix里是无法看到的,需要做phoenix schema 到 hbase namespace的转换,那么需要先修改hbase-site.xml:

    <property>
        <name>phoenix.schema.isNamespaceMappingEnabled</name>
        <value>true</value>
    </property>
    <property>
        <name>phoenix.schema.mapSystemTablesToNamespace</name>
        <value>true</value>
    </property>

 

标签:SQuirrel,phoenix,列族,创建,hbase,spark,schema
From: https://www.cnblogs.com/benfly/p/16814498.html

相关文章

  • 【转】HBase最佳实践-内存规划
    [hbasefly]HBase最佳实践-内存规划HBase最佳实践-内存规划–有态度的HBase/Spark/BigData http://hbasefly.com/2016/06/18/hbase-practise-ram/线上HBase集群应该如何......
  • HBase--分布式列存储NOSQL数据库
        HBase本质上是一个数据模型,可以提供快速随机访问海量结构化数据。利用Hadoop的文件系统(HDFS)提供的容错能力。它是Hadoop的生态系统,使用HBase在HDFS......
  • Hive与HBase之间的区别和联系
    首先要知道Hive和HBase两者的区别,我们必须要知道两者的作用和在大数据中扮演的角色概念Hive1.Hive是hadoop数据仓库管理工具,严格来说,不是数据库,本身是不存储数据和处理数......
  • 轻松理解Hbase面向列的存储
    1.前言从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。1.1行式存储传统的数据库是关系型的,且是按行来存储的。如下图......
  • Codeforces Global Round 14, B. Phoenix and Puzzle
    problemB.PhoenixandPuzzletimelimitpertest2secondsmemorylimitpertest256megabytesinputstandardinputoutputstandardoutputPhoenixisplayingwitha......
  • Codeforces Global Round 14, C. Phoenix and Towers
    problemC.PhoenixandTowerstimelimitpertest2secondsmemorylimitpertest256megabytesinputstandardinputoutputstandardoutputPhoenixhasnblocksofh......
  • Codeforces Global Round 14, D. Phoenix and Socks
    problemD.PhoenixandSockstimelimitpertest2secondsmemorylimitpertest256megabytesinputstandardinputoutputstandardoutputTosatisfyhisloveofmat......
  • HBase初识之学生心得总结
    一、HBase简介1.1定义--1.HBase是什么?1.分布式2.可扩展3.支持海量数据的存储4.NoSQL的数据库。--2.说明:a、NoSQL:NotonlySQL,不仅仅是一个数......
  • Squirrel状态机-从原理探究到最佳实践
    作者:京东物流郑朋辉1简介Squirrel状态机是一种用来进行对象行为建模的工具,主要描述对象在它的生命周期内所经历的状态,以及如何响应来自外界的各种事件。比如订单的创建......
  • Squirrel状态机-从原理探究到最佳实践
    作者:京东物流郑朋辉1简介Squirrel状态机是一种用来进行对象行为建模的工具,主要描述对象在它的生命周期内所经历的状态,以及如何响应来自外界的各种事件。比如订单的创建、......