如何将数据从MySQL/MongoDB中迁移至云开发数据库

本篇文章从 MySQL、MongoDB 迁移到云开发数据库，其他数据库迁移也都大同小异~

迁移大致分为以下几步?：

• 从 MySQL、MongoDB 将数据库导出为 JSON 或 CSV 格式
• 创建一个云开发环境
• 到云开发数据库新建一个集合
• 在集合内导入 JSON 或 CSV 格式文件

Mysql迁移到云开发数据库

为了方便，我们使用 Navicat for MySQL进行导出。

导出为 CSV 格式

选中表后进行导出

类型中选择 csv 格式

注：在第4步时，我们需要勾选包含列的标题

导出后的 csv 文件内容 第一行为所有键名，余下的每一行则是与首行键名相对应的键值记录。类似这样?

导出为 JSON 格式

同样的我们将选中的表进行导出为 json 格式：

剩余步骤全部选择默认即可。

导出后的样子?

我们将数组去除，最后是这样?

MongoDB迁移到云开发数据库

首先我们先启动 mongod 服务：

启动后此终端不要关闭。

导出为 CSV 格式

新打开一个终端，输入以下命令

mongoexport -d

复制

数据库 -c 集合名称 --csv -f 导出的列名以,分割 -o 输出路径\输出名字.csv

注：导出 csv 格式时需要指定导出的列 否则会报错：

csv mode requires a field list

导出后的样子：

导出为 JSON 格式

新打开一个终端，输入以下命令：

mongoexport -d 数据库 -c 集合名称 -o 输出路径\输出名字.json

复制

参数说明：

导出后的样子：

导入

当我们导出工作准备好之后，就可以进行进行导入啦！

新建云环境

如果已有云环境，可直接跳过这一步打开云开发控制台新建云环境：

新建环境后耐心等待2分钟环境初始化过程。

数据库导入

我们进入云环境后，找到数据库选项，默认有一个 tcb_hello_world 集合，可以把他删掉。

点击添加集合来创建一个集合：

新建之后我们点进去，并进行导入操作：

选择我们之前导出的 CSV 或 JSON 格式文件。

注：这里有两种冲突处理模式：Insert 和 Upsert \\Insert：Insert 模式会在导入时总是插入新记录，同一文件不能存在重复的 _id 字段，或与数据库已有记录相同的 _id 字段。\\Upsert：Upsert 模式会判断有无该条记录，如果有则更新该条记录，否则就插入一条新记录。

简单的说，有时我们并不希望产生冗余重复的数据，那么我们可以使用 Upsert 模式。当然如果希望之间的数据不被覆盖掉，可以选择 Insert 模式。

这里我们选择 Upsert 模式：

点击导入之后就会发现有内容啦~

数据库测试

最后我们来测试一下是否可用。

安装 cloudbase/cli

cloudbase/cli 是一个开源的命令行界面交互工具，用于帮助用户快速、方便的部署项目，管理云开发资源。

npm i -g @cloudbase/cli

复制

云开发项目初始化

安装完成后进行云开发项目初始化tcb init.

$ tcb init
√ 选择关联环境 · 环境名称 - [环境ID:空]
√ 请输入项目名称 · cloudbase-demo
√ 创建项目 cloudbase-demo 成功！

复制

默认会有一个名为 app 的云函数，我们只是测试，所以修改 functions/app/index.js 即可

编写测试数据库代码

将以下代码拷入：

const tcb = require('tcb-admin-node')

tcb.init({
   env: tcb.getCurrentEnv()
})
const db = tcb.database()

exports.main = async (event) => {
   return db.collection('db_remove').get()
}

复制

这里我们用到了 tcb-admin-node ,使用 npm 安装一下即可

npm i --save tcb-admin-node@latest

复制

本地运行云函数

本地运行云函数执行命令：

tcb functions:run --name app

复制

可以看到成功返回我们导入的数据，具体云函数的写法可以参照云开发文档。

可能发生的问题

1.secure_file_priv 的 Value 为 Null；

如果MySQL采用 into outfile 命令导出可能报错：

[Code: 1290, SQL State: HY000] The MySQL server is running with the –secure-file-priv option so it cannot execute this statement

复制

这是因为我们 secure_file_pri 参数给的权限不足以使我们对数据进行导入导出。

解决办法：打开 MySQL 的配置文件(mysqld.cnf),在其中加入或修改 secure_file_pri="/"，表示可以对任何路径进行导入导出操作。

2.JSON 数据不是数组，而是类似 JSON Lines，即各个记录对象之间使用 \n 分隔，而非逗号；

例如，应该写成

{
 "user":"aaa",
 "pwd":43
}
{
 "user":"root",
 "pwd":8
}

复制

而非（注意逗号的区别）

{
 "user":"aaa",
 "pwd":43
},
{
 "user":"root",
 "pwd":8
}

复制

注：像上面例子这样的没有 json 嵌套可以直接采用替换的方式进行将每条数据之间逗号去除，将 },换行{ 替换为 }换行{ 。如果有 json 嵌套可以采用正则的方式进行去除。 我们可以将 json 用数组 ([ ]) 包起来，遍历这个数组，对于每一项使用正则 },$ 匹配到每一项最后的逗号，将其替换为 }。这样就解决了 }, => } 在有 json 嵌套的去掉每条数据之间逗号。

有其他的问题可以参考数据库导入。