首页 > 其他分享 >041.hive-hive输出所有表结构

041.hive-hive输出所有表结构

时间:2023-06-27 10:57:42浏览次数:34  
标签:输出 -- hive echo sed table tablesDDL01 041

-- hive 输出库中表结构
-- 输出所有表名 
hive -e "use xx;show tables;" > tables.txt

vim  echo_table.sh 
-- 输出所有表结构
#!/bin/bash
echo  'use xx;' >> tablesDDL.sql

cat tables.txt |while read eachline
do
hive -e "use xx;show create table $eachline" >>tablesDDL.sql
echo ';' >> tablesDDL.sql
done
-- 修改执行权限
chmod 777 echo_table.sh 
nohup ./echo_table.sh  > myout.file 2>&1 &

-- 将文件的存储格式处理一下,防止产生序列化和压缩格式的问题 
-- 把phoenix 和hbase 以及view拿出来
-- 对hive表处理 删除行
 sed -i "/^  'org.apache./d" tablesDDL01
 sed -i "/^OUTPUTFORMAT/d" tablesDDL01
 sed -i "/^LOCATION/d" tablesDDL01
 sed -i "/^  'hdfs:/d" tablesDDL01
 sed -i "/^TBLPROPERTIES/d" tablesDDL01
 sed -i "/^  'transient_lastDdlTime/d" tablesDDL01
 -- 替换行
 sed -i "s/^STORED AS INPUTFORMAT.*/STORED AS ORC/" tablesDDL01

 

标签:输出,--,hive,echo,sed,table,tablesDDL01,041
From: https://www.cnblogs.com/star521/p/17508072.html

相关文章

  • 003.clickhouse-ck输出所有的表结构
    --clickhouse输出库中表结构--输出所有表名clickhouseclient--host1xx.xxx.xx.xx--userxx_xx--passwordxxxx--multiquery--query="usedefault;showtables;">default_table.txtvimecho_table_ck.sh--输出所有表结构#!/bin/bashecho'usedefault;&......
  • hive ddl
        普通建表 外部表代表会完全接管,内部表表示删除的时候不会删除HDFS的数据     三种建表语句第二种把查询语句作为建一个新表,新表里面就有数据第三种新建的表里面就没有数据 ......
  • Python如何将某文件夹下的文件名称输出到.txt文件中
    importos#os.listdir()方法获取文件夹名字,返回数组defgetAllFiles(targetDir):listFiles=os.listdir(targetDir)returnlistFilesfiles=getAllFiles(r"E:\UEtest\sla\精装\sla文件池\skp-10个")#写入list到txt文件中withopen(r"E:\UEtest\sla\精装\sla文件池\tes......
  • hive最小化部署 生产部署 hiveserver2 代理对象 和metastore服务
    自带的derbe的数据库,建表后就是在路径下新建了一个文件,映射成表的概念,同时在yarn会去执行,但是很多数据量很小的操作不会提交到yarn从stu表读数据的时候用的inputformat写数据的时候用的outputformat   metastore服务保存表名和文件路径之间的映射关系  嵌入......
  • hive 先生成抽象语法树,在进行逻辑优化,再到屋里计划生成,物理优化,最后再执行
    driver主要的任务是将一条sql语句翻译成物理执行计划,例如一个mapReduce任务       deiver驱动器,词法分析 select(token)from(token)和          语法分析 合并成抽象语法树 语义分析,分解成一个个的查询单元,类似于子查询......
  • python格式化输出
    py格式化输出━━━━━━━━━━━━━━━━━━━━━━━━━方式一:使用百分号(%)字符串格式化print("mynameis%s,andmyageis%d"%(name,age))方式二:使用format字符串格式化位置参数:print("mynameis{},andmyageis{}".format(age,name))关键字参数:print......
  • UEFI(统一的可扩展固件接口)是一种新一代的计算机固件接口标准,它取代了传统的基本输入/
    UEFI(统一的可扩展固件接口)是一种新一代的计算机固件接口标准,它取代了传统的基本输入/输出系统(BIOS)。UEFI提供了更强大、更灵活的功能,包括更好的系统启动支持、更高级的安全性、更强大的硬件兼容性和扩展性等方面的改进。下面是UEFI各个版本的功能更新:UEFI2.0:UEFI2.0是UEFI初始......
  • 格式化字符串输出
    在对字符串格式化进行输出时,最常见的方法就是使用%格式化字符串。这种方法虽然用法简单,但是在遇到需要有多个参数传入时就显得有些麻烦。其实还有以下几种格式化输出字符串的方法。str.format()str.format()对比之前最常用的方法,相当于用{}和:代替了%。str.format()在使用的时......
  • 前端ajax调用后端下载Excel模板流,解决输出乱码等问题
    functionimportTemplate(){$.ajax({url:"/importTemplate",type:"get",success:function(data){letdownloadUrl="../importTemplate"//创建a标签letlabel=$("......
  • 语音信号的哈夫曼编码压缩解压缩算法matlab仿真,输出编码后数据大小,编码树等指标
    1.算法仿真效果matlab2022a仿真结果如下:     2.算法涉及理论知识概要        利用哈夫曼编码进行信息通信可以较大提高信道利用率,缩短信息传输时间,降低传输成本。但是,这要求在发送端通过一个编码系统对待传数据预先编码;在接收端将传来的数据进行译码......