首页 > 其他分享 >DTS能力与阿里云架构

DTS能力与阿里云架构

时间:2023-03-13 20:46:00浏览次数:39  
标签:架构 实例 数据库 目标 阿里 DTS 迁移 数据

迁移流程

使用DTS,进行数据库不停服迁移的大致流程分为如下几个阶段:

准备工作,包括目标数据库、源数据库及目标数据库的迁移账号
结构迁移,DTS将源数据库的结构对象迁移到目标数据库
全量数据迁移,DTS将源数据库的历史数据迁移到目标数据库
增量数据迁移,DTS将源数据库的增量数据迁移至目标数据库。增量数据迁移分为两步:增量数据拉取,增量数据同步。为保证迁移数据完整性,在结构迁移启动时,DTS同时启动增量数据拉取,实时捕获源实例在结构及全量数据迁移过程中产生的增量数据 。
数据校验,用户对源数据库及目标数据库进行迁移数据的一致性校验
业务切换,选择业务低峰期,当DTS增量迁移无延迟时,将业务指向目标数据库
整个数据迁移期间,源数据库正常提供服务,只是在业务切换阶段,将业务指向目标数据库。

 

各个迁移阶段的基本技术原理。

结构迁移

在结构迁移阶段,DTS根据源实例的结构定义(例如表、视图等)在目标实例生成schema。如果是源实例跟目标实例是异构数据源,DTS需要根据目标实例的schema语法,进行数据类型及SQL语法的转换。对于部分目标数据源不兼容的对象,可以在DTS控制台-迁移详情中进行人工修正后同步至目标实例。

 

 

 

全量数据迁移

全量数据迁移阶段,DTS将源数据库中的历史数据迁移至目标实例。基于表切片技术,实现表内并发,最大程度提升迁移速度。
同时,DTS还支持断点续传,当网络、源实例或目标实例出现异常导致迁移中断时,异常恢复后,DTS可从断点恢复进行数据续传,极大程度降低迁移工作量。

 

 

 

增量数据迁移

增量数据迁移阶段DTS会实时捕获源数据库的变更数据,并实时同步到目标数据库。
基于事务冲突算法,DTS可实现基于事务级别的并发写入策略, 保证事务顺序性的情况下,有效提升同步性能。

 

 

标签:架构,实例,数据库,目标,阿里,DTS,迁移,数据
From: https://www.cnblogs.com/muzinan110/p/17212794.html

相关文章

  • Kubernetes 核心概念与架构介绍
    masterapiserver:是k8scluster的前端接口,提供restfulapi各种客户端工具以及k8s其他组件可以通过它管理cluster中的各种资源Scheduler:负责决定将pod放在哪个no......
  • 知识蒸馏、轻量化模型架构、剪枝…几种深度学习模型压缩方法
    摘要:模型压缩算法旨在将一个大模型转化为一个精简的小模型。工业界的模型压缩方法有:知识蒸馏、轻量化模型架构、剪枝、量化。本文分享自华为云社区《深度学习模型压缩方法......
  • iOS 给静态库.a添加x86_64架构支持
    三方提供的sdk只支持arm64的,这样我就没法用模拟器调试了,于是找到三方sdk供应商要到x86_64架构的支持,手动通过lipo的方式将这两个文件合并在一起1、查看当前文件支持的架......
  • 微服务架构分层和前后端分离
    本文依旧主要参考沈剑大佬的微服务设计相关的五篇博文及其精彩评论,文末是完整参考。程序就是:数据的传输、数据的转换、数据的存储。1、分层架构1.1典型的互联网分层......
  • 接口获取阿里日志服务
    接口获取日志服务的nginx日志周一的时候,领导给了个任务我:说怎么把nginx的访问日志做成api。更准确地说,就是用接口的方式拿到nginx日志指定几个字段(日期、时间、IP、访......
  • 大型电商网站系统架构分层设计
    DevOps人员需要了解公司的网站架构设计,如果牵涉了具体的高流量高并发的场景,那么,此时也需要提供实际的解决方案,所以了解网站的分层系统架构设计是非常有必要的。网站架构一般......
  • 架构EBI、DDD、端口适配、洋葱、整洁
    领域驱动架构及其演变史(EBI、DDD、端口适配、洋葱、整洁)一、引子聊架构总离不开“领域驱动架构”,大多能聊到DDD(Domain-DrivenDesign),实际上早期思想EBI架构1992年就诞......
  • mvc架构
    dao层dao层主要做数据持久层的工作,负责与数据库进行联络的一些任务都封装在此dao层的设计设计dao层的接口在Spring的配置文件中定义此接口的实现类在模块中调用此接口来进......
  • AI编译器及TVM整体架构
    虽然之前也依据tvm官方文档写过一篇关于TVM架构的博客,但总感觉属于一种身在此山中的感觉(偏向于TVM实现的各个模块),并没有一览众山小的即视感(对框架的整体理解)。因此,今......
  • 网站架构总结图
     网站的高性能架构        ......