首页 > 其他分享 >使用AWS DMS迁移数据,大概核对数据是否相同

使用AWS DMS迁移数据,大概核对数据是否相同

时间:2024-08-27 16:29:31浏览次数:12  
标签:grep AWS db echo Source DMS table null 数据

#!/bin/bash
echo "script start...."
Source='/data/dba/mysql8/bin/mysql -uadmin_dba -ppassword -h xxx '
Target='/data/dba/mysql8/bin/mysql -uadmin_dba -ppassword  -h xxxxx '

# show databases 过滤出数据库名
echo $Source
dbs=`$Source -e  "show databases \G" 2> /dev/null | grep "Database:"|grep -Ev " (awsdms_control|information_schema|mysql|sys|performance_schema)"| awk '{print $2}'`
echo $dbs
for db in $dbs
do
    #echo $db;
    # 过滤出有表名那一行
    tables=`$Source  -e "use $db;show tables \G" 2> /dev/null |grep "Tables_in_$db:"| awk '{print $2}'`
    for table in $tables
    do
        # 过滤表名
        num1=`$Source -e "select count(*) from $db.$table;" 2> /dev/null | grep [0-9]`
        num2=`$Target -e "select count(*) from $db.$table;" 2> /dev/null | grep [0-9]`
        echo $db.$table
        if [ $num1 != $num2 ]
        then
            echo "error===============================error"
        else
            echo "source: $num1 target: $num2:::OK!!!"
        fi
    done
done

标签:grep,AWS,db,echo,Source,DMS,table,null,数据
From: https://www.cnblogs.com/tyhA-nobody/p/18382947

相关文章

  • 一起搭WPF之列表数据绑定
    一起搭WPF之列表数据绑定1前言2数据绑定2.1前端2.2后端实现2.2.1界面后台2.2.2模型与逻辑3问题3.2解决总结1前言之前已经简单介绍了列表的大致设计,在设计完列表界面后,我们可以开展列表的数据绑定,在前端显示我们的数据,对列表进行数据输入。那么让我们开......
  • 基于python的保险业务数据可视化分析系统【python-爬虫-大数据定制】
    精彩专栏推荐订阅:在下方专栏......
  • vue ant-design上传文件,暂存后在其他页面提交数据(file格式转base64后保存数据,其他页面
    longlongtimenoupdate,huuuuu~最近做一个看起来简单但是功能有点繁琐的东西就是再A页面上传文件,然后B页面确定上传后调用接口,我不知道我这个逻辑对不对哈,有毛病求指教首先用的ant-design框架上传文件<a-uploadlist-type="text":multiple="false":file-list="fileList"......
  • 分布式搜索引擎 数据聚合详解
    1.数据聚合**聚合(aggregations)**可以让我们极其方便的实现对数据的统计、分析、运算。例如:什么品牌的手机最受欢迎?这些手机的平均价格、最高价格、最低价格?这些手机每月的销售情况如何?实现这些统计功能的比数据库的sql要方便的多,而且查询速度非常快,可以实现近实时搜索效......
  • 算法与数据结构——哈希表
    哈希表哈希表(hashtable),又称散列表,它通过建立键key与值value之间的映射,实现高效的元素查询。具体而言,我们向哈希表中输入一个键key,则可以在O(1)时间内获取对应的值value。除哈希表外,数组和链表也可以实现查询功能,他们的效率对比如下表:添加元素:仅需将元素添加至数组(链表)的尾部......
  • ETL学习之SQL Server数据库常用SQL语句
    在数据仓库和ETL(提取、转换、加载)过程中,SQLServer数据库是一个广泛使用的平台。ETL工程师需要熟练掌握SQL语句,以便有效地从源系统中提取数据,进行转换,并将其加载到目标数据库中。本文将介绍一些ETL工程师常用的SQLServer数据库SQL语句。1.数据提取(Extract)查询特定列SELEC......
  • 爬虫使用代理IP池:提高数据抓取效率的绝佳实践
    爬虫使用代理IP池的最佳实践在进行网络爬虫和数据抓取时,使用代理IP池是一个有效的策略,可以提高抓取效率,避免IP封禁。本文将详细介绍如何在爬虫中使用代理IP池,并提供一些最佳实践。一、什么是代理IP池?代理IP池是指一组可用的代理IP地址集合。通过轮换使用这些代理IP,爬虫可以......
  • 爬虫使用优质代理:确保高效稳定的数据采集之道
    爬虫使用优质代理的最佳实践在进行网络爬虫时,使用优质代理就像是为你的爬虫装上了强劲的发动机,能够大幅提升数据抓取的效率和成功率。然而,选择和使用优质代理并非易事,今天我们就来探讨如何在爬虫中有效使用优质代理。1.什么是优质代理?优质代理通常指的是那些速度快、稳定性......
  • 爬虫使用代理IP:提升数据抓取效率的实践
    爬虫使用代理IP的技巧和方法在进行网络爬虫时,使用代理IP可以帮助你提高数据抓取效率和保护隐私。本文将介绍爬虫使用代理IP的技巧和方法,帮助你更好地进行数据抓取。为什么爬虫需要使用代理IP在进行大规模数据抓取时,目标网站可能会检测到你的爬虫行为,并对你的IP地址进行封锁......
  • SwiftData 如何在 Widgets 和 App 的界面之间同步数据变化?
    概述从iOS17(watchOS11)开始,苹果推出了可交互小组件(InteractiveWidgets),使用它我们终于能在Widgets中添加按钮或Toggle来直接驱动数据的变化了。但是被Widgets修改的数据如何及时的同步到对应App的界面中呢?在本篇博文中,您将学到如下内容:概述1.打造Widg......