• 2024-11-15python从旧库中导出csv并导入新库
    在线的游戏,迁移数据库,数据比较大,游戏不能停很久,先使用sqldump导入不变的表,再使用python导出可变的表到csv文件,导入到新库.找出各表中csv中最大的id,然后停服, 然后根据各表的id,从id位置开始再导出新增数据,再导入到新库.export.py"""导出msql表格"""impo
  • 2024-08-23MySQL 亿级数据平滑迁移实战
    本文介绍了一次MySQL数据迁移的流程,通过方案选型、业务改造、双写迁移最终实现了亿级数据的迁移。一、背景预约业务是vivo游戏中心的重要业务之一。由于历史原因,预约业务数据表与其他业务数据表存储在同一个数据库中。当其他业务出现慢SQL等异常情况时,可能会直接影响
  • 2024-08-22MySQL 亿级数据平滑迁移实战
    作者:来自vivo互联网服务器团队-LiGang本文介绍了一次MySQL数据迁移的流程,通过方案选型、业务改造、双写迁移最终实现了亿级数据的迁移。一、背景预约业务是vivo游戏中心的重要业务之一。由于历史原因,预约业务数据表与其他业务数据表存储在同一个数据库中。当其他业务
  • 2024-07-03分享一次海量数据平滑迁移实战
    背景采购系统(BIP)在经历多年演进后,系统整体复杂度和数据量俨然已经极具规模,本文着重讨论海量数据的治理存储现状:工程端实时订单库采用MySQL5.5集群,其中主库配置为32C/48G/6000G,无法归档的订单热数据占磁盘空间85%(5.1T)痛点:6T磁盘已经单容器最大,无法继续扩容,剩余磁盘余量过小,难适
  • 2023-10-30git:清除所有历史提交记录,保留文件为新库(不建议)
    #清理前查看gitloggitrev-list--objects--all
  • 2023-09-20oracle数据库迁移
    一、原始信息记录及复制1.记录欲迁移库的sid,是否为归档模式(查看方法:以sys用户登入sqlplus后运行archiveloglist,建库时默认为非归档模式)以及如下文件的存放位置:参数文件,密码文件,控制文件,日志文件,数据文件参数文件存放在C:\oracle\product\10.2.0\db_1\dbs目录下,名为SPFILE<sid>
  • 2023-06-19备份 - 复制 新表 新库 和 改库名和表名
    1.复制一个表SELECTvale1,value2intoTable2fromTable1SELECT*intoact_flowcategory_1011_initfromact_flowcategory;2.复制一个库pg_dump--dbname="postgresql://127.0.0.1:5432/tenant_1011080?user=postgres&password=po##@#es"-Fc-b-v-f"$b
  • 2023-05-14数据库什么时候分库分表
         分库分表实操-=====================容易造成读写都在最新的范围区间内的表,并未起到均分 ------哈希切分 双写,新旧数据库都要同步数据 重点,不会每个写操作都加代码,而是通过aop的方式还需要全量数据迁移 验证新库数据  分库分表工具,使用方无
  • 2023-05-11Git 同步到新库
    进行git初始化 gitinit将本地代码添加到仓库 gitadd./注意有空格 gitcommit-m“上传仓库时的说明”关联上远程仓库 gitremoteaddoriginhttps://github.com/DavidCuii/react-ts-app.git最后将你的代码上传到Git库
  • 2023-04-27数据在线迁移思考
    背景数据需要从一个库迁移到另外一个库,比如客户新买一个软件,使用的旧服务数据需要迁移到新软件内。或者数据压力较大,需要分库分表,数据需要迁移到新的库方案1双写开启双写可以在服务内增加配置,是否写新库、旧库。迁移期间,开启配置当天的数据同时写入新库和旧库。历史数