数据仓库(十一)---hive使用小技巧积累(持续更新)

我们在本章节会持续更新关于hive使用过程中的一些实用的小技巧

HIVE 查询显示列名 及 行转列显示

hive shell;
set hive.cli.print.header=true; // 打印列名 
set hive.cli.print.row.to.vertical=true; // 开启行转列功能, 前提必须开启打印列名功能 
set hive.cli.print.row.to.vertical.num=1; // 设置每行显示的列数

Hive查看数据表信息的方法

方法1：查看表的字段信息

desc table_name;

方法2：查看表的字段信息及元数据存储路径

desc extended table_name;

方法3：查看表的字段信息及元数据存储路径

desc formatted table_name;

备注：查看表元数据存储路径时，推荐方法3，信息比较清晰。

Hive查看表容量大小

方法1-ls

查看普通表的容量
查看一个hive表文件总大小时(单位为Byte)，我们可以通过一行脚本快速实现，其命令如下：

$ hadoop fs -ls  /user/hive/warehouse/table_name|awk -F ' ' '{print $5}'|awk '{a+=$1}END{print a}'

列出该表的详细文件

$ hadoop fs -ls  /user/hive/warehouse/table_name

查看分区表的容量

$ hadoop fs -ls  /user/hive/warehouse/table_name/yyyymm=201802|awk -F ' ' '{print $5}'|awk '{a+=$1}END
{print a/(1024*1024*1024)}'

列出该表的详细文件列表

$ hadoop fs -ls  /user/hive/warehouse/table_name/yyyymm=201802

方法2-du

查看该表总容量大小，单位为G

$ hadoop fs -du /user/hive/warehouse/table_name|awk '{ SUM += $1 } END { print a/(1024*1024*1024)}'