首页 > 其他分享 >TiDB 数据迁移

TiDB 数据迁移

时间:2024-01-17 16:45:23浏览次数:32  
标签:-- TiDB 导出 Dumpling lightning tidb 迁移 数据

数据迁移思路:先备份导出原数据库数据,再导入到新的 TiDB

使用 Dumpling 导出数据

https://docs.pingcap.com/zh/tidb/stable/dumpling-overview

#安装 Tiup
curl --proto '=https' --tlsv1.2 -sSf https://tiup-mirrors.pingcap.com/install.sh | sh

#安装 dumpling
tiup install dumpling

导出为 SQL 文件

本文假设在 127.0.0.1:4000 有一个 TiDB 实例,并且这个 TiDB 实例中有无密码的 root 用户。

Dumpling 默认导出数据格式为 SQL 文件。也可以通过设置 --filetype sql 导出数据到 SQL 文件:

tiup dumpling -u root -P 4000 -h 127.0.0.1 --filetype sql -t 8 -o /home/cl/ubuntu/export_sql_data -r 200000 -F256MiB --database xxxDatabase

以上命令中:

-h、-P、-u 分别代表地址、端口、用户。如果需要密码验证,可以使用 -p $YOUR_SECRET_PASSWORD 将密码传给 Dumpling。
-o(或 --output)用于选择存储导出文件的目录,支持本地文件的绝对路径或外部存储服务的 URI 格式。
-t 用于指定导出的线程数。增加线程数会增加 Dumpling 并发度提高导出速度,但也会加大数据库内存消耗,因此不宜设置过大。一般不超过 64。
-r 用于开启表内并发加速导出。默认值是 0,表示不开启。取值大于 0 表示开启,取值是 INT 类型。当数据源为 TiDB 时,设置 -r 参数大于 0 表示使用 TiDB region 信息划分区间,同时减少内存使用。具体取值不影响划分算法。对数据源为 MySQL 且表的主键是 INT 的场景,该参数也有表内并发效果。
-F 选项用于指定单个文件的最大大小,单位为 MiB,可接受类似 5GiB 或 8KB 的输入。如果你想使用 TiDB Lightning 将该文件加载到 TiDB 实例中,建议将 -F 选项的值保持在 256 MiB 或以下。

使用 Dumpling 导入数据

https://docs.pingcap.com/zh/tidb/stable/migrate-from-sql-files-to-tidb

#使用 TiUP 安装 TiDB Lightning
tiup install tidb-lightning

touch tidb-lightning.toml

nohup tiup tidb-lightning -config tidb-lightning.toml > nohup.out 2>&1 &

tail -f tidb-lightning.log

tidb-lightning.toml 文件:

[lightning]
level = "info"
file = "tidb-lightning.log"

[tikv-importer]
backend = "tidb"

[mydumper]
# 源数据目录
data-source-dir = "/home/cl/ubuntu/export_sql_data"

[tidb]
host = "192.168.2.36"
port = 4000
user = "root"
password = "u_92*AK13y5E-r^RG6"

标签:--,TiDB,导出,Dumpling,lightning,tidb,迁移,数据
From: https://www.cnblogs.com/manastudent/p/17970374

相关文章

  • SpringBoot+MybatisPlus+dynamic-datasources实现连接Postgresql和mysql多数据源
    场景dynamic-datasource-spring-boot-starter实现动态数据源Mysql和Sqlserver:https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/117356693SpringBoot中整合MybatisPlus快速实现Mysql增删改查和条件构造器:https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/detail......
  • flowable兼容国产金仓数据库
    转自:https://blog.csdn.net/qq_42505088/article/details/108196487flowable兼容国产金仓数据库1、新增jar包的sql脚本2、修改源码3、修改liquibase相关4、配置文件 1、新增jar包的sql脚本(flowable框架不支持金仓数据库,需要手动插入sql脚本)需要修改的几个jar包脚本......
  • 智能反截屏控制:数据安全防护新利器
    在现代数字化企业中,数据安全已成为关键业务需求。尽管企业在数据保护方面投入了大量资源,但截图泄露敏感信息仍然是难以防范的风险。智能反截屏控制技术为企业提供了全新的数据保护解决方案,通过实时保护敏感内容,大大降低了截图泄露的风险。智能反截屏控制技术通过以下方式实现:智......
  • docker安装CDH[单机单节点]---大数据
    https://www.cnblogs.com/51record/p/16378663.html 第一步:拉取cdh镜像dockerpullcloudera/quickstart第二步:启动容器dockerrun--namecdh-d--hostname=quickstart.cloudera--privileged=true-t-i-p8888:8888-p8020:8020-p8022:8022-p7180:7180-p21050:......
  • 测试!芝麻代理效果怎么样?数据采集成功率?
    芝麻代理的风评有点两级分化了,有人说垃圾,也有人认为贵有贵的道理。别整这些有的没有的,我们今天就来测试一下,看看真相具体怎么样。HTTP代理的稳定性、匿名程度、响应速度、IP池可用率以及带宽这几个点,是保证我们的数据采集业务成功率,所以我们主要也是测试这些。1.配置我用 python ......
  • 变电站电力设备数据采集联网对接API转发存储数据库服务器技术方案
    DL_FileData_CJDC文件上海致达智能科技windows/linux/arm解析本地txt和xls文件DL_ABB_API_OLE 网络 ABBDCS windows ABBDCSOLE采集,本地采集DL_KRS_TCP 网络 台山核电 windows/linux/arm 台山核电KRS系统数据采集DL_Xinhua_ASDPU_UDP 网络 新华ASDPU协议 windows/linux/arm ......
  • vxe-column 表头顺序:数据中改变后,但视图位置不更新
    问题在左树右表的页面中,左侧点击不同的节点,右侧表头会改变。但在某些情况下,数据中表头顺序改变了,但视图中表头位置却没变。如下图所示:尝试数据变了但视图未更新,猜测是vue更新机制导致的,于是把表头数组的赋值改为$set,无效;猜测是右侧表格组件复用导致数据未更新,(但其实vue-de......
  • 几行Python代码,轻松搞定Excel表格数据去重
    转载说明:如果您喜欢这篇文章并打算转载它,请私信作者取得授权。感谢您喜爱本文,请文明转载,谢谢。众所周知,Python在处理Excel数据文档时非常强大。最近也尝试了一下使用Python处理Excel数据,几行代码就能实现一个非常有用的功能,非常棒!这次实验的是,使用Python给Excel数据去重。创建......
  • 数据同步工具Rsync+Inotify
    Rsync可以镜像保存整个目录树和文件系统可以很容易做到保持原来文件的权限、时间、软硬链接等等无须特殊权限即可安装快速:第一次同步时rsync会复制全部内容,但在下一次只传输修改过的文件。rsync在传输数据的过程中可以实行压缩及解压缩操作,因此可以使用更少的带宽安全:可以使用scp、......
  • 容器漂移,数据丢失 如何解决
    容器漂移在容器编排技术的上下文中,如DockerSwarm或Kubernetes(k8s)中,“容器漂移”通常指的是容器实例从一个节点(服务器)迁移到另一个节点的情况。这种迁移可以是由于集群管理系统的自动调度策略导致的,比如当原宿主机资源不足、出现故障或者为了实现负载均衡而将容器调度到资源更充......