首页 > 其他分享 >批量数据迁移

批量数据迁移

时间:2024-11-04 16:18:00浏览次数:5  
标签:批量 数据库 校验 点击 迁移 数据 页面

数据迁移

        数据迁移绝对是一个让人头疼的问题,很有幸前段时间我遇到了.一个很古老的系统使用SqlServer数据库由外包人员开发,你们也都懂得,现在需要进行系统重构,旧系统只提供了通过获取100条数据的接口,可是针对表里上千万的数据,简直是闹着玩,特意整理了阿里云的rds数据迁移功能.        

  1. 使用分配的阿里云账号登录阿里云系统,找到“数据库实例列表”,列表如下

  1. 点击校管家数据库进入下级页面,找到“数据迁移及同步”

  1. 点击“数据迁移及同步”,进入下一级页面,找到“创建迁移任务”按钮

  1. 点击“创建迁移任务”进入到下一级页面,共分为四个步骤,依次进行配置

分别根据实际情况,选择源库信息中的“RDS实例Id”,输入“数据库账号”,输入“数据库密码”,在目标库信息中,根据实际情况选择“数据库类型”,“实例地区”,“RDS实例Id”,“数据库账号”,“数据库密码”

  1. 点击“测试连接以进行下一步”,这时会对已填写的信息进行校验,如果校验失败会给出错误信息提示,按着提示进行修改即可。校验通过后进入到下一级页面

根据实际情况选择合适的“迁移类型”,在“源库和目标库结构映射模式”中选择合适模式,在源库对象列表下选择需要同步的对象

  1. 点击下一步高级配置,主要是对“是否限制全量迁移速率”,根据实际情况进行设置,需确保在不影响实际业务功能运行的情况下进行数据迁移。

  1. 下一步页面中需要设置“全量校验”,这部操作是必须的,用于校验源表与目标表迁移后的实际数量是否一致,点击“下一步保存任务并预检查”

  1. 进入到预检查页面,检查完成之后点击“下一步购买”

  1. 进入到购买页面,根据实际情况选择“资源组配置”,选择合适的“链路规则”,点击“购买并启动”按钮。

  1. 点击后跳转到迁移任务列表,找到刚刚创建的任务,点击“任务详情”

  1.  选择“任务管理”,可看到运行步骤

“结构迁移1”中可能会因为SQLServer 数据库中的index命名过长导致,校验失败,此时可点击“忽略”,不进行错误索引的创建,回到迁移任务列表中,找到之前的任务,进行重启即可。等待任务执行完成。

  1.  任务执行完成后可能会在“全量校验”页面出现数据不一致的警告信息。

出现这种情况的原因大概率是在数据同步过程中,对源库中的数据进行了修改,从而导致数据不一致,此时点击“下载订正SQL”,对sql语句进行执行,已达到数据一致的目的。

标签:批量,数据库,校验,点击,迁移,数据,页面
From: https://blog.csdn.net/baby901019/article/details/143485409

相关文章

  • S7-1500PLC通过存储卡清除项目数据的具体方法演示
    S7-1500PLC通过存储卡清除项目数据的具体方法演示存储卡的功能S7-1500使用SIMATIC存储卡作为程序存储器。SIMATIC存储卡主要有以下功能:1、作为CPU的装载存储区,离开存储卡CPU就无法运行。2、可以用于更新S7-1500CPU及集中式IO模块的固件版本。3、读取服务数据......
  • GBase与梧桐数据库窗口函数使用的比较
    一、前言  窗口函数可以进行复杂的数据分析,使数据处理变得更加灵活和强大。通过这些函数,用户可以在不同的窗口范围内对数据进行汇总、平均、计数等操作,以下介绍一些常用的窗口函数分别在梧桐数据库和GBase数据库中的使用。二、创建测试用例  为更好的体现函数的使用,现创......
  • 华为云开源时序数据库openGemini:使用列存引擎解决时序高基数问题
    本文来源:《华为云DTSE》第五期开源专刊,作者:向宇,华为云数据库高级研发工程师、黄飞腾,博士,openGemini存储引擎架构师在时序数据场景中,大部分的解决方案是以时间线为粒度对时序数据进行管理,这类解决方案在时间线数量不断增长的情形下,面临着诸多困难,包括内存膨胀、读写性能下降等,华为......
  • @DS注解方式springboot多数据源配置及失效场景解决
    1.使用教程导入依赖<!--多数据源--> <dependency> <groupId>com.baomidou</groupId> <artifactId>dynamic-datasource-spring-boot-starter</artifactId> <version>3.5.0</version> </dependency>123456配置数据源......
  • 足球大小球、亚盘及角球数据分析预测推荐软件
    介绍几款足球大小球预测,让球预测,亚盘预测,足球角球预测软件:款一:乐彩数据分析软件链接:http://lcsjfx.com/web/sjfxpt.html款二:AiAutoPrediction足球预测软件http://lcsjfx.com/AiAutoPrediction/款三:AiScorePredictor足球预测软件http://lcsjfx.com/AiScorePredic......
  • 大数据导论及分布式存储HadoopHDFS入门
    思维导图数据导论数据是什么?进入21世纪,我们的生活就迈入了"数据时代"作为21世纪的新青年,"数据"一词经常出现。数据无时无刻的在影响着我们的现实生活什么是数据?数据又如何影响现实生活?数据:一种可以被鉴别的对客观事件进行记录的符号。简单来说就是:对人类的行为......
  • Data+AI━━数据安全的警钟:智能化分类分级治理
    Data+AI━━数据安全的警钟:智能化分类分级治理前言数据的分类体系数据分级与智能化实践深度案例解析与未来展望前言OpenAI数据泄露事件让数据安全再次成为科技圈的热门话题。2024年3月,一名研究员发现OpenAI的API存在安全漏洞,导致部分用户的对话记录泄露。这一事......
  • 《Python内置模块006:json:处理JSON数据》
    JSON是一种轻量级的数据交换格式,易于人和机器读写。Python的json模块提供了简单的方法来编码和解码JSON数据一、常用方法json.dumps():将Python对象编码为JSON字符串json.loads():将JSON字符串解码为Python对象json.dump():将Python对象编码为JSON格式,并写入文件json.load()......
  • 强噪声下基于mscnn-bigru-attention深度学习模型CWRU(凯斯西储大学)轴承故障诊断(Pytho
     1.效果视频(以0HP数据集为例,在-30DB下的测试准确率效果)强噪声下基于mscnn-bigru-attention深度学习模型CWRU(凯斯西储大学)轴承故障诊断_哔哩哔哩_bilibili对原始信号分别添加不同强度的高斯白噪声,以模拟实验数据遇到的实际环境中干扰噪声。原始信号(以0HP数据为例进行展示,可......
  • 带界面下的基于mscnn-bigru-attention深度学习模型江南大学轴承故障诊断(Python代码,很
     1。效果视频:基于mscnn-bigru-attention深度学习模型江南大学轴承故障诊断带界面_哔哩哔哩_bilibili 2.江南大学轴承数据集介绍采样频率:50khz,采样时间:10s转速:6008001000/rpm内圈故障:ib外圈故障:ob滚动体故障:tb正常:N 以600转速下的内圈故障数据为例展示:开始数据......