首页 > 其他分享 >HIVE跨集群迁移

HIVE跨集群迁移

时间:2023-05-17 10:37:44浏览次数:42  
标签:hdfs hivebackup 1.1 hive 集群 HIVE mysql 迁移

查看mysql使用端口

ps -ef | grep mysql
ss -antp | grep [ps查出来的pid]

停止HIVE写入服务

  1. 创建备份路径
mkdir -p /root/hivebackup/
  1. 执行备份数据库命令:(在目标集群执行)
mysqldump -uroot -pPassword -h 1.1.1.1 -P 3306 --databases hive_prode > /root/jws/hivebackup/hive_prode.sql
  1. 将备份数据集拷贝至目标集群,数据包含mysqldump备份的数据和外联HDFS实际使用存储的目录
查询外部使用的路径:
mysql密码路径文件:cat /etc/ambari-server/conf/password.dat
[root@devtest1 hivebackup]# mysql -uroot -pPassword -h 1.1.1.1 -P 3306
mysql> show databases;
mysql> use hive_prode;
mysql> select t.tbl_name,s.location from TBLS t left join SDS s on t.sd_id = s.sd_id where tbl_type='EXTERNAL_TABLE';

HIVE数据目录:hdfs://mycluster/warehouse/tablespace/managed/hive
su hdfs nohup hadoop distcp -prugpb hdfs://1.1.1.1:8020/warehouse/tablespace/managed/hive/* hdfs://1.1.1.2:8020/warehouse/tablespace/managed/hive/ & 
  1. 恢复数据
mysql -h 1.1.1.2 -uroot -P3306 -pPassword < /root/jws/hivebackup/hive_prode.sql

标签:hdfs,hivebackup,1.1,hive,集群,HIVE,mysql,迁移
From: https://www.cnblogs.com/yizhipanghu/p/17407728.html

相关文章

  • impala jdbc导出hive数据字典
    业务需求太多了,给完整导出为html文件,以及之前搞的publicstaticvoidmain(String[]args)throwsException{kerberos();}publicstaticvoidkerberos(){URLresource=Thread.currentThread().getContextClassLoader().getResource("");......
  • Docker目录整体迁移操作
    前言:docker之前的安装磁盘过小,占用空间已经不足,现已新增一块大容量磁盘,在不影响现有docker下服务情况下,将docker整体迁移至其他磁盘。1、精简不需要的docker操作命令:dockersystemprunedockersystemprune-a注意:命令会把暂停的docker、暂未用的镜像清理掉,请自行检查!2、关......
  • Oracle数据迁移MySQL
    https://blog.csdn.net/sinat_36757755/article/details/127284725Oracle数据迁移MySQL 前言:现今,Oracle数据迁移MySQL的需求已经越来越普遍,主要的迁移场景大致可以分为三类,第一类是涉及小表以及少量表的一次性迁移,无需进行增量同步,第二类是涉及大表以及多表的一次性迁移,第三......
  • Kafka 集群安装 docker-compose安装
    目录Kafka集群安装docker-compose安装docker-compose.yml安装Kafka集群安装docker-compose安装docker-compose.ymlversion:"2"services:zookeeper:image:docker.io/bitnami/zookeepercontainer_name:zookeeperports:-"2181:2181"......
  • 一、搭建k8s集群前置准备工作
    1、VM虚拟机配置网卡2、准备机器操作系统IP角色CPU核心数运行内存HostnameCentOS7.6192.168.1.2Master122Gk8s-master1CentOS7.6192.168.1.3Master222Gk8s-master2CentOS7.6192.168.1.4Master322Gk8s-master3CentOS7.6192.168.1.......
  • 树莓派安装docker,并在PC端监控,启动swarm集群
    0.前期准备硬件及OS:  路由器,  笔记本wifi ,  虚拟机Centos7,  6个树莓派3B:OS为RaspberryPi,node1是64位的aarch64,剩下都是32位armv7l,使用wifi。软件:  docker:v23.0.6、  portainer-ce1.虚拟机和主机同网段  首先在控制面板->网络和Internet->网络......
  • kafka 磁盘迁移
    磁盘迁移背景介绍:Kafka搭建时,配置的磁盘过大,成本过高,所以需要迁移到小容量磁盘原kakfa配置:log.dirs=/data1/kafka/var/kafka-logs/1,/data2/kafka/var/kafka-logs/1(kafka磁盘可以支持多磁盘配置,提高吞吐量)log.retention.hours=168修改后的kafka配置:log.dirs=/data3/k......
  • 四、SpringCloud Alibaba搭建Nacos集群
    Nacos定义为一个IDC内部应用组件,并非面向公网环境的产品,建议在内部隔离网络环境中部署,强烈不建议部署在公共网络环境。Nacos支持三种部署模式单机模式-用于测试和单机试用。集群模式-用于生产环境,确保高可用。多集群模式-用于多数据中心场景。单机模式下运行NacosLi......
  • 9、hadoop高可用HA集群部署及三种方式验证
    目录Hadoop系列文章目录一、HA集群规划1、三节点2、四节点3、七节点二、集群部署1、上传安装包、配置环境变量1)、上传解压Hadoop安装包2)、配置Hadoop环境变量3)、修改Hadoop配置文件hadoop-env.sh4)、修改Hadoop配置文件core-site.xml5)、修改Hadoop配置文件hdfs-site.xml6)、修改Had......
  • 1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现(二)
    文章目录9、分别在hive和impala中查询验证结果(比較HDFS存儲三種格式文件的查詢性能textfile、orc、parquet)1)、查詢總條數2)、隨便找一條信息,按照name查詢3)、按照多条件查询4)、按照時間區間查詢5)、兩張表join6)、總結1、文件存儲2、hive查詢與impala查詢速度3、不同查詢類型的查詢......