1.部署hbase
hbase是hadoop生态中的一员,最早搭建hbase,需要先安装hadoop,然后安装zookeeper,再安装hbase。现在通过docker可以直接安装hbase,而且容器中并不需要hadoop。安装很简单。直接拉取镜像,然后运行即可。
docker run -d --name hbase -p 2181:2181 -p 16010:16010 -p 16020:16020 -p 16030:16030 harisekhon/hbase
16010端口是hbase提供的webui界面暴露的端口
通过docker搭建hbase环境虽然简单,但是有个问题,就是它的主机映射直接使用的是容器ID,所以,我们外部java程序如果需要连接hbase,需要对容器ID添加到本机的hosts列表中。
192.168.61.150 docker dd13ff2dca8e
2.csv文件导入hbase
进入hbase容器
docker exec -it 容器id /bin/bash
进入hbase
hbase shell
创建命名空间
create_namespace 'avatar'
创建表
create 'data_500_y','attr'
csv文件导入
hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator=',' -Dimporttsv.columns=HBASE_ROW_KEY,attr:id,attr:y,attr:x1,attr:x2,attr:x3,attr:x4,attr:x5,attr:x6,attr:x7,attr:x8,attr:x9 data_500_y /data_500_y.csv
平台添加使用