首页 > 数据库 >【数据库】生产问题(数据迁移)

【数据库】生产问题(数据迁移)

时间:2024-09-26 10:50:11浏览次数:5  
标签:方案 场景 预约 数据库 停机 迁移 数据 双写

MySQL 亿级数据平滑迁移实战(来自vivo)

https://www.cnblogs.com/vivotech/p/18373623

 

1、方案选型

常见的迁移方案大致可以分为以下几类:

image

而预约业务有以下特点:

  • 读写场景多,频率高,在用户预约/取消预约/福利发放等场景均涉及到大量的读写。
  • 不可接受停机,停机不可避免的会造成经济损失,在有其他方案的情况下不适合选择此方案。
  • 大部分的场景能接受秒级的数据不一致,少部分不能。

结合这些特点,我们再评估下上面的方案:

image

停机迁移方案需要停机,不适用于预约场景。

预约场景存在不活跃的用户数据,如果用渐进式迁移方案的话很难迁移干净,可能还需要再写一个迁移任务来辅助完成迁移。

双写方案最大的优势在于每一步操作都可向上回滚,能尽可能的保证业务不出问题。

因此,最终选择的是双写方案。预约业务涉及到的读写场景多,每一个场景单独进行改造的成本大,采用 Mybatis 插件来实现迁移所需的双写等功能,可以有效降低改造成本。

2、前期准备

 // 全量同步基于 MySQLDump 实现;增量同步基于 binlog 实现;一致性校验通过在新老库各选一个分块,然后聚合列数据计算并对比其特征值实现。  

 

标签:方案,场景,预约,数据库,停机,迁移,数据,双写
From: https://www.cnblogs.com/clarino/p/18433018

相关文章

  • 算法与数据结构——简单排序算法(选择、冒泡、插入)
    简单排序算法时间复杂度均为O(n2)选择排序选择排序(selectionsort)的工作原理非常简单:开启一个循环,每轮从未排序区间选择最小的元素,将其放到已排序的区间的末尾。算法流程设数组长度为n,选择排序的算法流程如下。初识状态下,所有元素未排序,即未排序(索引)区间为[1,n-1]。选取......
  • JavaScript有哪些数据类型?
    JavaScript共有八种数据类型,分别是Undefined、Null、Boolean、Number、String、Object、Symbol、BigInt。Symbol和BigInt其中Symbol和BigInt是ES6+(ECMAScript2015+)中新增的数据类型:Symbol可以理解为一个独特的标识符。想象一下,你有一把独一无二的钥匙,这把钥匙就是S......
  • TPS549B22RVFR线性稳压器原装现货PDF数据手册引脚图功能框图参数
    TPS549B22的说明TPS549B22器件是一款紧凑型单通道降压转换器,具有自适应导通时间D-CAP3模式控制。该器件专为高精度、高效率、快速瞬态响应、易于使用、外部元件较少且空间受限的电源系统而设计。该器件采用全差分感应和TI集成FET,高侧导通电阻为4.1mΩ,低侧导通电阻为......
  • TS5A3166DBVR模拟开关IC芯片原装现货PDF数据手册引脚图功能框图
    TS5A3166的说明TS5A3166器件是一款单刀单掷(SPST)模拟开关,工作电压范围为1.65V至5.5V。此器件具有较低的导通状态电阻。该器件具有出色的总谐波失真(THD)性能和极低的功耗。这些特性使得这款器件适合于便携式音频应用中对于高效率、高电源密度和稳健性的需求。TS......
  • 基本数据类型怎么转化
    在编程语言中,基本数据类型的转换通常可以分为自动类型转换(隐式类型转换)和强制类型转换(显式类型转换)。一、自动类型转换自动类型转换是在满足一定条件下,由编程语言自动进行的类型转换,无需程序员显式地指定。转换规则:转换通常是从低精度数据类型向高精度数据类型进行。例如,从较......
  • 飞驰云联亮相”电子半导体数智化年会” 获”数据交换领域最佳厂商奖”
    2024年9月20日,“2024第二届电子半导体/智能制造数智化年会暨品牌出海论坛”于上海隆重开幕,Ftrans飞驰云联作为国内领先的数据安全交换厂商,应邀携半导体全场景产品和解决方案亮相此次峰会。会上进行了“智象奖”评选,Ftrans飞驰云联凭借创新的技术以及优质的服务,荣获“2024年度半导......
  • 通过ossfs fsspec 扩展访问oss 数据
    尽管oss对于s3客户端具有兼容性,直接通过s3fs是可以直接访问oss的,但是有不少缺陷(比如ls的支持就有问题)ossfs是基于ossclient实现的标准fsspec扩展,使用上很不错,对于文件系统常见操作支持的很好,以下是一个简单使用说明参考使用安装pipinstallossfs......
  • java基本数据类型
    1、整数数据类型byte:1个字节,8位,256种状态,取值范围为【-128,127】short:2个字节,16位,65536种状态,取值范围为【-32768,32767】int:4个字节,32位,整数类型默认是int类型,取值范围约21亿long:8个字节,64位,long类型表示long类型常量,要加L或者l,建议加L2、小数数据类型float:4个字节,32位,单......
  • ELK中日志数据采集器Filebeat的安装和使用、Filebeat结合Logstash进行日志处理入Elast
    一、ELK中日志数据采集器Filebeat的安装和使用    Beats是数据采集的得力工具,Beats能够将数据转发至Logstash进行转换和解析。Filebeat是Beats中的一种,Filebeat是本地文件的日志数据采集器,可监控日志目录或特定日志文件(tailfile),并将它们转发给Elasticsearch或Logstats......
  • 基于单片机与 PC 机通信的数据采集控制系统设计
    摘要:设计出基于单片机与PC机通信的数据采集控制系统方法。被控对象经传感器、电压变换电路、A/D转换芯片与单片机相连,可将现场参数信息传送至单片机;单片机经继电器驱动控制被控对象运行。单片机与PC机经电平转换芯片相连,实现远程通信功能。该系......