首页 > 其他分享 >技术实践｜Hive数据迁移干货分享

技术实践｜Hive数据迁移干货分享

时间：2023-08-28 16:36:48浏览次数：35  
标签：data Hive 干货 hive table home 迁移 backup

导语

Hive是基于Hadoop构建的一套数据仓库分析系统，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能。它的优点是可以通过类SQL语句快速实现简单的MapReduce统计，不用再开发专门的MapReduce应用程序，从而降低学习成本，十分适合对数据仓库进行统计分析。

 

近几年，随着行业内数据体量的不断增大，再加上国产化的趋势下，很多企业都开始着手对自己已有的大数据平台进行扩容、升级、产品更换等一系列操作，以期可以赶上潮流。因此，就会有很多项目需要进行数据库迁移，本文主要总结了一些在项目上遇到Hive迁移时，可以使用的方式方法，供大家参考借鉴。

 

目录

●　1. Hive迁移类型

●　2. Hive迁移步骤

●　3. Hive迁移实施步骤

●　4. 结语

 

1. Hive迁移类型

■　表和数据整体迁移

一般在企业进行大数据平台产品的升级更换（如国产化）、机房搬迁、物理机转向云平台等情况下，会进行整库迁移，那么此时Hive迁移建议使用表和数据整体迁移的方式进行迁移。

■　表和数据分步迁移

一般在企业进行数据库改造、历史数据库区域创建、业务条线改造等，或是数据库出现瓶颈的情况下，会进行部分数据迁移，那么此时Hive迁移建议使用表和数据分步迁移的方式进行迁移。

 

2. Hive迁移步骤

 

（1）将表和数据从老集群Hive导出到老集群HDFS

（2）将表和数据从老集群HDFS导出到老集群本地磁盘或共享磁盘

（3）将表和数据从老集群本地磁盘复制到新集群本地磁盘（如共享磁盘此步骤省略）

（4）将表和数据从新集群本地磁盘或共享磁盘上传到新集群HDFS

（5）修复新集群Hive数据库元数据

 

如果老集群HDFS和新集群HDFS连通，可使用DistCp工具跨集群复制，跳过中间步骤，直接执行第5步。

 

 

图片

 

 

3. Hive迁移实施步骤

 

■　新集群和服务器检查

#查看本地空间使用情况是否足够

df -h

#查看HDFS集群使用情况是否满足  

hadoop dfsadmin -report

#查找Hive库存储位置

hadoop fs -find / -name warehouse

#查看Hive库占用情况

hadoop fs -du -h /user/hive/warehouse

■　表和数据整体迁移

一般Hive整体迁移时使用HDFS文件迁移，然后再进行数据表与数据文件关联即可，新老集群Hive版本即使不一致的情况下也支持该步骤，详细操作步骤如下：

​

老集群备份

# 罗列迁移表清单

cat <<EOF > /home/data/backup/hive_sel_tables.hql
use <db_name>;
show tables;
EOF

# 清洗迁移表清单

beeline -f  /home/data/backup/hive_sel_tables.hql \
| grep -e "^|" \
| grep -v "tab_name" \
| sed "s/|//g" \
| sed "s/ //g" \
> /home/data/backup/hive_table_list.txt

# 拼接建表语句命令及清洗无用字符

cat /home/data/backup/hive_table_list.txt \
| awk '{printf "show create table <db_name>.%s;\n",$1,$1}' \
| sed "s/|//g" \
| sed "s/+/'/g" \
| grep -v "tab_name" \
> /home/data/backup/hive_show_create_table.hql

# 导出建表语句

beeline -e /home/data/backup/hive_show_create_table.hql>/home/data/backup/hive_table_ddl.sql

# 清洗建表语句

sed -i 's/^|//g' /home/data/backup/hive_table_ddl.sql
sed -i 's/|$//g' /home/data/backup/hive_table_ddl.sql
sed -i 's/-//g' /home/data/backup/hive_table_ddl.sql
sed -i 's/+//g' /home/data/backup/hive_table_ddl.sql
sed -i 's/createtab_stmt//g' /home/data/backup/hive_table_ddl.sql
sed -i 's/.*0: jdbc:hive2:.*/;/' /home/data/backup/hive_table_ddl.sql
sed -i '/^$/d'  /home/data/backup/hive_table_ddl.sql

# 拼接修复Hive元数据语句

cat /home/data/backup/hive_table_list.txt \
| awk '{printf "msck repair table archive.%s;\n",$1,$1}' \
| sed "s/|//g" \
| sed "s/+/'/g" \
| grep -v "tab_name" \
> /home/data/backup/hive_repair_table.hql

# 将Hive在HDFS中的文件导出到HDFS临时目录

hadoop fs -get /user/hive/warehouse/<db_name> /tmp

# HDFS集群连通时使用DistCp进行拷贝

hadoop distcp hdfs://scrNameNode/tmp/<db_name> hdfs://user/hive/warehouse/<db_name>

# HDFS集群不连通，导出HDFS文件到本地磁盘或者共享NAS

hadoop fs -get /tmp/<db_name> /home/data/backup/

# 如果是共享磁盘忽略此步 

scp -r /home/data/backup/ root@targetAP:/home/data/backup/

 

新集群恢复

# 登录生产环境Hive并创建表

beeline -f /home/data/backup/hive_table_ddl.sql>>/home/data/backup/hive_table_ddl.log

# 检查新集群数据库新表是否创建成功

beeline 
use <db_name>
show tables;

# 将数据文件上传到HDFS的Hive存储路径下

hadoop fs -put /home/data/backup/<db_name> /user/hive/warehouse/<db_name>

# 关联Hive表和数据

beeline -f /home/data/backup/hive_repair_table.hql

# 查看HDFS所有目录检查是否都导入成功

hadoop fs -lsr /home

# 查看所有表大小，验证新旧表大小是否一致

hadoop fs -du -h /user/hive/warehouse/<db_name>

 

■　表和数据分步迁移

 

一般Hive分步迁移时使用Import和Export，新老集群Hive版本不一致的情况下也支持该步骤。

Export工具导出时会同时导出元数据和数据；

Import工具会根据元数据自行创建表并导入数据。

 

老集群备份

# 罗列迁移表清单

cat <<EOF > /home/data/backup/hive_sel_tables.hql
use <db_name>;
show tables;
EOF

# 罗列要迁移的表清单

beeline -f /home/data/backup/hive_sel_tables.hql\
| grep -e "^|" \
| grep -v "tab_name" \
| sed "s/|//g" \
| sed "s/ //g" \
> /home/data/backup/hive_table_list.txt

# 生成导出脚本

cat /home/data/backup/hive_table_list.txt \
| awk '{printf "export table <db_name>.%s to |/tmp/<db_name>/%s|;\n",$1,$1}' \
| sed "s/|//g" \
| grep -v "tab_name" \
> /home/data/backup/hive_export_table.hql

# 生成导入脚本

cat /home/data/backup/hive_table_list.txt \
| awk '{printf "import table <db_name>.%s from |/tmp/<db_name>/%s|;\n",$1,$1}' \
| sed "s/|//g" \
| grep -v "tab_name" \
> /home/data/backup/hive_import_table.hql

# 创建HDFS导出目录

hadoop fs -mkdir -p /tmp/<db_name>/

# 导出表结构到数据到HDFS

beeline -f /home/data/backup/hive_export_table.hql

#HDFS集群连通时使用DistCp进行拷贝

hadoop distcp hdfs://scrNmaeNode/tmp/<db_name> hdfs://targetNmaeNode/tmp

# HDFS集群不连通，导出HDFS文件到本地磁盘或者共享NAS

hadoop fs -get /tmp/<db_name> /home/data/backup/

# 如果是共享磁盘忽略此步 

scp -r /home/data/backup/ root@targetAP:/home/data/backup/

 

新集群恢复

# 创建HDFS导出目录

hadoop fs -mkdir -p /tmp/<db_name>/

#上传到目标HDFS

hadoop fs -put /home/data/backup/<db_name> /tmp

# 导入到目标Hive

beeline -f /home/data/backup/hive_import_table.hql

# 查看HDFS所有目录检查是否都导入成功

hadoop fs -lsr /home

# 查看所有表大小，验证新旧表大小是否一致

hadoop fs -du -h /user/hive/warehouse/<db_name>

 

4. 总结

Hive的数据迁移其实有多种方式，根据需求不同采用的迁移方式也不尽相同，每种迁移的优势也是不同的，其中数据量是影响迁移的重要因素之一。

在数据量不大的情况下，Hive迁移一般常用的方式是使用Export、Import进行数据和元数据的导出导入，Export会将数据和元数据写到一起，并且元数据在恢复时是直接关联数据的，不需要再做其他的操作。同时还直接关联分区，不需要再使用MSCK进行分区修复。需要注意的一点的是，Import和Export在进行数据恢复的时候，只会关注到表层的文件夹，不用和旧集群的文件路径一摸一样。

在数据量比较大的情况下，建议使用整体迁移的方式，这样Hive迁移的速度较快，但是注意要保证新旧集群数据目录的一致性。

标签：data,Hive,干货,hive,table,home,迁移,backup
From： https://www.cnblogs.com/zhongdianjinxin/p/17662676.html

相关文章

  • Spring Boot集成Mybatis-plus+hive
    运行环境jdk1.8springboot：2.7.151.在pom.xml文件中加入<dependency><groupId>com.baomidou</groupId><artifactId>mybatis-plus-boot-starter</artifactId><version>3.5.3.1</version>......
  • hive SQL案例
    上个月用户连续n天登录天数用户登录记录表user_login，包括用户id（user_id）、日期（login_date）user_idlogin_date123332562021-01-03842729162021-01-03940382712021-01-022019340122021-01-03过滤出当月数据：wherelogin_date>''转换成date：to_date函......
  • 【MySQL 8.0】通过pt-archiver实现表的历史数据归档
    (root@node02)>setgloballocal_infile=on;QueryOK,0rowsaffected(0.00sec)(root@node02)>createtablecustomer_jplikecustomer;QueryOK,0rowsaffected(0.20sec)(root@node01)>setgloballocal_infile=on;QueryOK,0rowsaffected......
  • MegEngine 开发者说｜SAM 带来的思考与未来，实习宝典，精彩课程干货满满
    你是否需要AI初学者入门级的开源教程？你是否期待和顶尖开发者一起学习，向深度学习领域的大佬看齐？你是否希望通过课程讲解，了解项目实践，掌握深度学习、大模型相关的前沿AI技术？如果你的答案是肯定的，那么「MegEngine开发者说」系列课程正是你想要的！「MegEngine开发者说」是由旷视......
  • # yyds干货盘点 # 有大佬知道Pandas这个上面的如何改别名吗？
    大家好，我是皮皮。一、前言前几天在Python青铜群【9527】问了一个pandas列名处理的问题，一起来看看吧。二、实现过程这里【袁学东】大佬给了一个答案，如下图所示：如此顺利地解决了粉丝的问题。三、总结大家好，我是皮皮。这篇文章主要盘点了一个Python递归的基础问题，文中针对该问题，给出了......
  • # yyds干货盘点 # 盘点一个dataframe读取csv文件失败的问题
    大家好，我是皮皮。一、前言前几天在Python钻石群【心田有垢生荒草】问了一个Pandas数据处理的问题，一起来看看吧。大佬们求教个方法 现在有个数据量很大的dataframe 要吐csv格式 但结果总是串行 加了encoding='utf-8'还是没解决 还有其他方法么？下图是他提供的图片：二、实现......
  • 迁移学习：实现快速训练和泛化的新方法
    在机器学习和深度学习领域，训练一个高性能的模型通常需要大量的数据和计算资源。然而，现实中很多情况下，我们可能没有足够的数据或计算资源来训练一个复杂的模型。这时，迁移学习（TransferLearning）作为一种强大的技术手段，可以帮助我们在一个任务上训练好的模型，迁移到另一个相关任务上，从......
  • .net6 下 SqlSugar迁移创建表以及生成实体类
    一、下载安装包 二、创建类  三、链接数据库 四创建MyContext类   五、创建控制器，写创建表的方法   六、运行后，返回true就OK了   ......
  • 【MySQL 8.0】通过mysqldump与mysqlimport迁移表
    [mysql@node01~]$mysql-uroot-pabcd.1234-hnode01-Dtpcc10(root@node01)>selectcount(*)fromcustomer;+----------+|count(*)|+----------+|300000|+----------+1rowinset(0.06sec)(root@node01)>select@@global.secure_file_priv;......
  • 不拼花哨，只拼实用：unittest指南，干货为王！
    “Python为开发者提供了内置的单元测试框架unittest，它是一种强大的工具，能够有效地编写和执行单元测试。unittest提供了完整的测试结构，支持自动化测试的执行，能够对测试用例进行组织，并且提供了丰富的断言方法。最终，unittest会生成详细的测试报告，这个框架非常简单且易于使用。”......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99