首页 > 其他分享 >现在有一个未分库分表的系统,未来要分库分表,如何设计才可以让系统从未分库分表动态切换到分库分 表上?

现在有一个未分库分表的系统,未来要分库分表,如何设计才可以让系统从未分库分表动态切换到分库分 表上?

时间:2023-07-04 22:45:35浏览次数:40  
标签:方案 分库 系统 表上 老库 分表 数据

面试官心理分析

你看看,你现在已经明白为啥要分库分表了,你也知道常用的分库分表中间件了,你也设计好你们如何分库分表的方案了(水平拆分、垂直拆分、分表),那问题来了,你接下来该怎么把你那个单库单表的系统给迁移到分库分表上去?

所以这都是一环扣一环的,就是看你有没有全流程经历过这个过程。


面试题剖析

这个其实从 low 到高大上有好几种方案,我们都玩儿过,我都给你说一下


停机迁移方案

我先给你说一个最 low 的方案,就是很简单,大家伙儿凌晨 12 点开始运维,网站或者 app 挂个公告,说 0 点到早上 6 点进行运维,无法访问。接着到 0 点停机,系统停掉,没有流量写入了,此时老的单库单表数据库静止了。然后你之前得写好一个导数的一次性工具,此时直接跑起来,然后将单库单表的数据哗哗哗读出来,写到分库分表里面去。导数完了之后,就 ok 了,修改系统的数据库连接配置啥的,包括可能代码和 SQL 也许有修改,那你就用最新的代码,然后直接启动连到新的分库分表上去。验证一下,ok 了,完美,大家伸个懒腰,看看看凌晨 4 点钟的北京夜景,打个滴滴回家吧。这个方案比较 low,谁都能干,我们来看看高大上一点的方案。

   

双写迁移方案

这个是我们常用的一种迁移方案,比较靠谱一些,不用停机,不用看北京凌晨 4 点的风景。

简单来说,就是在线上系统里面,之前所有写库的地方,增删改操作,除了对老库增删改,都加上对新库的增删改,这就是所谓的双写,同时写俩库,老库和新库。

然后系统部署之后,新库数据差太远,用之前说的导数工具,跑起来读老库数据写新库,写的时候要根据gmt_modified 这类字段判断这条数据最后修改的时间,除非是读出来的数据在新库里没有,或者是比新库的数据新才会写。简单来说,就是不允许用老数据覆盖新数据。

导完一轮之后,有可能数据还是存在不一致,那么就程序自动做一轮校验,比对新老库每个表的每条数据,接着如果有不一样的,就针对那些不一样的,从老库读数据再次写。反复循环,直到两个库每个表的数据都完全一致为止。

接着当数据完全一致了,就 ok 了,基于仅仅使用分库分表的最新代码,重新部署一次,不就仅仅基于分库分表在操作了么,还没有几个小时的停机时间,很稳。所以现在基本玩儿数据迁移之类的,都是这么干的。

标签:方案,分库,系统,表上,老库,分表,数据
From: https://www.cnblogs.com/xmsz118/p/17527261.html

相关文章

  • 你分库分表的姿势对么?——详谈水平分库分表
    一、背景提起分库分表,对于大部分服务器开发来说,其实并不是一个新鲜的名词。随着业务的发展,我们表中的数据量会变的越来越大,字段也可能随着业务复杂度的升高而逐渐增多,我们为了解决单表的查询性能问题,一般会进行分表操作。同时我们业务的用户活跃度也会越来越高,并发量级不断加大......
  • 日志、主从复制、分库分表
    日志错误日志--查看后50条记录tail-50错误日志路径--查看实时追加内容tail-f错误日志路径二进制日志 查询日志 慢查询日志主从复制mysql有bin日志(二进制日志),会记录下所有修改过数据库的sql语句。主从复制的原理就是多台服务器都开启bin日志,然......
  • 你没见过的分库分表原理解析和解决方案(二)
    你没见过的分库分表原理解析和解决方案(二)高并发三驾马车:分库分表、MQ、缓存。今天给大家带来的就是分库分表的干货解决方案,哪怕你不用我的框架也可以从中听到不一样的结局方案和实现。一款支持自动分表分库的orm框架easy-query帮助您解脱跨库带来的复杂业务代码,并且提供多......
  • SpringBoot 2 种方式快速实现分库分表,轻松拿捏!
    大家好,我是小富~(一)好好的系统,为什么要分库分表?(二)分库分表的21条法则,hold住!本文是《分库分表ShardingSphere5.x原理与实战》系列的第三篇文章,本文将为您介绍ShardingSphere的一些基础特性和架构组成,以及在Springboot环境下通过JAVA编码和Yml配置两种方式快速实现分库......
  • mycat分库分表
     master:主节点,replicas:从节点       readBalanceType:负载均衡策略    分片值是:具体字段的值(比如用于分库的type的值) 1个docker容器里面可以放两个mysql数据库(master和slave) ......
  • 转载 分库分表流量倾斜问题的排查与解决
    一、背景2022年11.10号晚8点,月黑风高各大电商公司正在等待着即将到来的大促...而作为交易订单组的我们也不例外,此时我们在紧盯监控大盘,试图找到系统蛛丝马迹的问题,以便及时应对,如果这时候出了问题,那就关乎着团队的面子,关乎着今年的绩效,当然还关乎着今年的年终奖……,秃然,奇怪的......
  • 分库分表 21 招
    (一)好好的系统,为什么要分库分表?咱们先介绍下在分库分表架构实施过程中,会接触到的一些通用概念,了解这些概念能够帮助理解市面上其他的分库分表工具,尽管它们的实现方法可能存在差异,但整体思路基本一致。因此,在开始实际操作之前,我们有必要先掌握这些通用概念,以便更好地理解和应用分......
  • 研报模块的表 垂直拆分表
       ......
  • mycat分库分表和读写分离
    1.mycat分库分表和读写分离目录1.mycat分库分表和读写分离1.1.分库分表实现1.1.1.Mycat安装与配置详解1.1.1.1.下载地址1.1.1.2.解压安装包1.1.2.修改mycat内存配置1.1.3.配置实例1.1.4.环境准备1.1.4.1.分库分表规则1.1.4.2.创建数据库和表结构1.1.4.3.配置conf文件......
  • mycat分库分表的分片方案
    1.mycat分库分表的分片方案目录1.mycat分库分表的分片方案1.1.一.配置规则1.1.1.分片方式1.1.2.配置规则1.2.二.连续分片1.2.1.自定义数字范围分片1.2.2.按日期分片1.2.3.按单月小时分片1.2.4.按自然月分片1.3.三.离散分片1.3.1.枚举分片1.3.2.程序指定分区的分......