首页 > 其他分享 >CDH集群之间迁移hive数据脚本

CDH集群之间迁移hive数据脚本

时间:2023-04-09 17:32:07浏览次数:44  
标签:grep tem show CDH DB hive 集群 ret

#!/bin/bash
#set -x

DB=$1
#获取hive表定义
ret=$(hive -e 'use ${DB};show tables;'|grep -v _es|grep -v _hb|grep -v importinfo)

for tem in $ret;
do
    hive -e "use ${DB};show create table $tem" >> /tmp/secha.sh
    echo -e ';\c' >> /tmp/secha.sh
done


#迁移hive的表数据
ret=$(hive -e 'use ${DB};show tables;'|grep -v _es|grep -v _hb|grep -v importinfo)

for tem in $ret;
do
    hadoop distcp hdfs://hadoop-cdh-pro-001:8020/user/hive/warehouse/${DB}.db/$tem hdfs://hadoop-cdh-pro-010:8020/user/hive/warehouse/${DB}.db/$tem
done

标签:grep,tem,show,CDH,DB,hive,集群,ret
From: https://blog.51cto.com/wang/6178909

相关文章

  • 85-云原生操作系统-分层镜像构建并部署业务到Kubernetes集群生产案例
    在生产环境中业务迁移至Kubernetes环境都需要提前规划机房kubernetes集群部署基本步骤:机房环境搭建基础服务搭建系统迁移数据库迁移测试及联调使用服务及版本Pod地址规划端口使用统计业务迁移Nginx+Tomcat+NFS实现动静分离实现步骤:Centos基础环境镜像制作#准备安装包[root@K8s-a......
  • Hadoop与Hadoop集群介绍
    1、什么是Hadoop狭义上Hadoop指的是Apache软件基金会的一款开源软件。用java语言实现,开源。允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理广义上Hadoop指的是围绕Hadoop打造的大数据生态圈。 2、Hadoop核心组件HadoopHDFS(分布式文件存储系......
  • 生产环境CDH集群主机加内存导致系统无法启动,重装系统后CDH数据修复的过程
    原因:因为主机扩容内存重启以后发现有七台服务器无法进入系统,重启之前Centos7的启动项被修改过导致无法重启,只能重新安装操作系统,但是HDFS的数据是保存到data盘中.系统OS:CentOSLinuxrelease7.6.1810(Core)CDH版本:6.2.1重新安装操作系统的服务器10.170.12.43db-pro-da......
  • CentOS7/RHEL7 pacemaker+corosync高可用集群搭建
    CentOS7/RHEL7pacemaker+corosync高可用集群搭建一、集群信息二、集群搭建1、制作软件源2、主机基础配置3、集群基础环境准备4、集群资源准备5、资源配置6、constraint配置7、stonith配置8、集群功能验证三、集群常用命令及作用1、验证群集安装2、查看群集资源3、使......
  • 基于TiDB Binlog架构的主备集群部署及数据同步操作手册
    作者:Liuhaoao最近手头有个系统,有需要搭建灾备库的需求(rto要求4小时内,根据实际情况计算)。考虑到生产系统是5版本,TiCDC存在一些兼容性问题,且TiDBBinlog已经有实践案例及经验可供参考,故选择使用TiDBBinlog来实现主集群-->灾备集群的增量数据同步。数据全量初始化采用Dumpling+Ti......
  • Chaosd 模拟两地三中心集群的网络环境
    作者:pepezzzz环境准备集群名称和版本tidb集群:tidb-h版本:v6.6.0集群拓扑:单中心模拟部署两中心部署拓扑,延时要求如下:模拟场景源目标延时同城172.16.x.71,72172.16.x.73,741.5ms异地172.16.x.66~68,71~74,77172.16.x.67200ms软件版本:chaosdx86平台:curl-fsSL-ochaosd-v1.2......
  • Nginx 集群搭建
    Nginx集群搭建https://huaweicloud.csdn.net/63560e7dd3efff3090b591dc.html?spm=1001.2101.3001.6650.14&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Eactivity-14-117463438-blog-127292749.235%5Ev28%5Epc_relevant_default......
  • 使HIve字段注释、表注释、分区键、索引注解支持中文
    进入Hive元存储数据库,这里为MySQL修改字段注释字符集altertableCOLUMNS_V2modifycolumnCOMMENTvarchar(256)charactersetutf8;修改表注释字符集altertableTABLE_PARAMSmodifycolumnPARAM_VALUEvarchar(4000)charactersetutf8;修改分区表参数,以支持分区键......
  • 远程连接Hive
    0准备工作启动了Hadoop启动了Hive元存储数据库1开启Hive远程连接服务#前台开启hive--servicemetastorehive--servicehiveserver2#后台开启hive--servicemetastore&hive--servicehiveserver2&开启时可能会碰到问题:Error:Couldnotopenclienttrans......
  • centos7 mongodb4.4分片集群部署
    #创建mongo相应的目录mkdir-pv/data/app/mongodb/confmkdir-pv/data/app/mongodb/{configset,shared1,shared2,shared3}/logmkdir-pv/data/mongodb/{configset,shared1,shared2,shared3}/data #创建于用户,给权限useradd-s/sbin/nologin-Mmongodchown-Rmong......