标签:shell exec 分区 dynamic hadoop hive set sql
关于hadoop hive中使用hive分区功能
很多人习惯了使用第三方的工具
去连接hive或者hbase数据库,并且
使用其中的sql编辑器进行失去了语句
的使用来进行数据的分析等一系列的
操作,但是一些shell命令也可以在其中
运行例如:
1 2 3 4 |
1 . set hive.exec.dynamic.partition= true ;
2 . set hive.exec.dynamic.partition.mode=nonstrict;
3 . set hive.exec.max.dynamic.partitions.pernode= 1000 ;
4 . insert overwrite table dividends partition(`exchange`,`symbol`) select `ymd`,`dividend`,`exchange`,`symbol` from dividends_unpartitioned;
|
也可以在sql编辑器中运行,但是结果有时没有或者有偏差。
所以最好的解决办法是遇到sql+shell或者纯shell命令时回到
原本的设立了界面去运行,不要再用第三方工具。
标签:shell,
exec,
分区,
dynamic,
hadoop,
hive,
set,
sql
From: https://blog.51cto.com/u_16546059/9613180