首页 > 数据库 >DataX-在Windows上实现postgresql同步数据到mysql

DataX-在Windows上实现postgresql同步数据到mysql

时间:2023-04-27 16:57:45浏览次数:56  
标签:同步 postgresql Windows postgresqlreader DataX mysql mysqlwriter

场景

DataX-阿里开源离线同步工具在Windows上实现Sqlserver到Mysql全量同步和增量同步:

https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/130330353

在上面实现sqlserver到mysql的数据同步之后,如果要实现postgresql到mysql数据同步流程一样。

以PostGis中的OGC元数据表中的保存坐标系统信息的spatial_ref_sys表为例。

 

在mysql中新建同样结构的表,将postgresql中这个表的数据同步到mysql的表中。

注:

博客:
https://blog.csdn.net/badao_liumang_qizhi

实现

1、获取postgresqlreader到mysqlwriter的模板

python datax.py -r postgresqlreader -w mysqlwriter

 

2、复制json模板到postgresql2mysql.json文件

参考配置项说明文档

https://github.com/alibaba/DataX/blob/master/postgresqlreader/doc/postgresqlreader.md

https://github.com/alibaba/DataX/blob/master/mysqlwriter/doc/mysqlwriter.md

修改json文件为自己对应的url和列等信息。

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "postgresqlreader",
                    "parameter": {
                        "connection": [
                            {
                                "jdbcUrl": [
        "jdbc:postgresql://127.0.0.1:5432/数据库名"
        ],
                                "table": [
        "spatial_ref_sys"
        ]
                            }
                        ],
                        "password": "密码",
                        "username": "postgres",
      "column": [
      "srid",
      "auth_name",
      "auth_srid",
      "srtext",
      "proj4text",
      ]
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "column": [
      "srid",
      "auth_name",
      "auth_srid",
      "srtext",
      "proj4text",
      ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://127.0.0.1:3306/数据库名?useUnicode=true&characterEncoding=gbk",
                                "table": [
        "spatial_ref_sys"
        ]
                            }
                        ],
                        "password": "密码",
                        "preSql": [
      "delete from spatial_ref_sys"
      ],
                        "session": [],
                        "username": "root",
                        "writeMode": "insert"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": "5"
            }
        }
    }
}

 

执行同步命令

python datax.py ./postgresql2mysql.json

同步成功

 

标签:同步,postgresql,Windows,postgresqlreader,DataX,mysql,mysqlwriter
From: https://www.cnblogs.com/badaoliumangqizhi/p/17359389.html

相关文章

  • Windows 11安装跳过联网
    方案1在选择WIFI联网的界面,不要连接网络。Shift+F10(或者Fn+Shift+F10),打开cmd窗口,输入命令:oobe\BypassNRO.cmd重启后会有一个我没有互联网的选项。如果是台式,记得先拔出网线。方案2改注册表在选择WIFI联网的界面,不要连接网络。Shift+F10(或者Fn+Shift+F10),打开cmd窗口,输入......
  • 【经验分享】Windows快捷键Win+G无法使用,提示需要新应用打开链接
    环境:系统版本:Windows10家庭中文版问题描述:描述:按下Win+G后弹出提示框,需要使用新应用以打开此ms-gamingoverlay链接问题解释:误将Xboxgamebar应用程序删除了,无法找到启动的程序。这个程序我当时以为就是个打游戏的,我就删除了,没想到录屏会需要到。解决方法:1.查......
  • 安装多个NodeJS windows上安装多个Nodejs版本 解决vue2/vue3同时运行
    第一步下载nvm-windowsnvm-windows下载地址:Github最新下载地址进入之后直接下载第二步安装NVM注意路径一定不要包含空格中文否则会报错注意安装路径一定不要包含空格中文否则会报错 点击安装之后如果之前安装了nodejs的话会提示希望nvm管理已安装node版本吗点击是......
  • 使用Windows API获取文件,或者文件夹的大小
    获取一个文件的大小:通过使用GetFileSizeEx获取文件的大小,LONGLONGFileSize(CStringfile)constnoexcept{HANDLEfp=CreateFile(file.GetBuffer(),GENERIC_READ,0,NULL,OPEN_EXISTING,FILE_ATTRIBUTE_NORMAL,NULL);LARGE_INTEGERinfo;memset(&info,......
  • 创建Windows锁定桌面快捷方式并固定到任务栏
    1.创建快速锁定计算机的快捷方式1.首先,右击桌面,选择新建,选择快捷方式,新建一个快捷方式2.在出现的对话框中键入如下值%windir%/system32/rundll32.exeuser32.dll,LockWorkStation3.(注区分大小写))然后为快捷方式启个名称即可4.右键点击创建好的桌面快捷方式选择固定到任......
  • Windows服务的启动类型
    SERVICE_BOOT_START 0x00000000 只适用于驱动SERVICE_SYSTEM_START 0x00000001 只适用于驱动,在IoInitSystem中启动SERVICE_AUTO_START0x00000002 由服务控制管理器在系统启动阶段启动SERVICE_DEMAND_START0x00000003按需启动,PnP管理器(针对设备驱动程序)或服务......
  • windows忘记登录密码处理方法
    1.重新启动电脑,连续按F8键,选择命令提示的安全模式2.选择Administrator3,打开管理员命令窗口4.输入命令:netuser查找用户帐户:显示结果如下:-------------------------------------------------------------------------------AdministratorDefaultAccount......
  • windows安装mariaDB失败,服务不能启动
    (lay旧文章整理)于2019-02-0620:17:59发布过年了,在老家闲余时间想敲敲代码,发现在安装mariaDb的时候一直报错错误信息:Service‘MySQL’(MySQL)Faildtostart,Verifythatyouhavesuffcientprivilegestostartsystemservices.服务的MySQL(MySQL)启动错误,确认你有权限启......
  • windows驱动开发环境搭建
    下载WDK,我是在http://www.microsoft.com/en-us/download/details.aspx?id=11800下载的,版本7.1.0。下载VisualDDK,下载地址:http://visualddk.sysprogs.org/download/先安装WDK,然后安装VisualDDK,都直接点下一步就可以了,没有特别设置。安装好后,打开VS2010,会出现VisualDDK的项目类型,新......
  • windows下mysql5.7安装,及python操作mysql
    windows下mysql5.7安装mysql5.7官方下载:https://www.mysql.com/可参考教程:https://blog.csdn.net/qq_39715000/article/details/123534326?注意:一:my.ini配置文件:如果保存目录以t开头,默认会将t转义为空格(解决方法加这个\\):[mysqld]#端口号port=3306#mysql-5.7.27-winx6......