首页 > 数据库 >OGG-Postgres同步到MySQL

OGG-Postgres同步到MySQL

时间:2023-09-11 18:11:06浏览次数:39  
标签:Postgres ext1 -- MySQL 进程 OGG data ogg

(一)数据库信息

名称

源端数据库

目标端数据库

数据库类型

Postgresql 12.4

MySQL 5.7

IP地址

20.2.127.23

20.2.127.24

端口

5432

3306

数据库

testpdb

test

用户

ogguser

root

密码

ogguserP2021

Root@1234

 

postgreSQL:

vi postgresql.conf

wal_level = logical     # minimal, replica, or logical

                        # (change requires restart)

 

max_wal_senders = 10    # max number of walsender processes

                        # (change requires restart)

 

max_replication_slots = 10  # max number of replication slots

                            # (change requires restart)

 

(二)OGG安装信息

名称

源端OGG

目标端OGG

OGG版本

213000_ggs_Linux_x64_PostgreSQL_64bit.zip

213000_ggs_Linux_x64_MySQL_64bit.zip

安装服务器IP

20.2.127.24

20.2.127.24

OGG_HOME

/data/ogg_pg/

/data/ogg_mysql/

MGR进程

mgr

mgr

EXTRACT进程

ext1

PUMP进程

pump1

REPLICAT进程

rep1

 

编辑变量:

vi  /etc/profile

export LD_LIBRARY_PATH=/data/ogg_pg/lib:/data/ogg_mysql/lib:$LD_LIBRARY_PATH

alias pg_ggsci='cd /data/ogg_pg; ./ggsci'

alias mysql_ggsci='cd /data/ogg_mysql; ./ggsci'

source  /etc/profile

(三)OGG源端配置

1.启动PG的ggsci

pg_ggsci

 

2.PG 创建目录

create subdirs

 

3.配置并启动MGR

--编辑MGR

edit  param  mgr

 

port 2031

dynamicportlist 2032-2040

purgeoldextracts ./dirdat/*, usecheckpoints,minkeephours 24

AUTORESTART ER *, RETRIES 3, WAITMINUTES 2,RESETMINUTES 10

 

--启动MGR

start  mgr

 

--查看MGR状态

Info  mgr

 

4.登录PG数据库

编辑 odbc.ini

[ODBC Data Sources]

PGDSN=DataDirect 12.4 PostgreSQL Wire Protocol

postgres=DataDirect 12.4 PostgreSQL Wire Protocol

scott=DataDirect 12.4 PostgreSQL Wire Protocol

[ODBC]

IANAAppCodePage=106

InstallDir=/data/ogg_pg

 

[TESTPDB]

Driver=/data/ogg_pg/lib/GGpsql25.so

Description=DataDirect 12.4 PostgreSQL Wire Protocol

Database=testpdb

HostName=20.2.127.23

PortNumber=5432

LogonID=ogguser

Password=ogguserP2021

TransactionErrorBehavior=2

 

--登录

dblogin sourcedb testpdb, userid ogguser, password ogguserP2021

 

5.配置抽取进程

 

--注册抽取

register extract ext1

 

--增加抽取进程日志

add ext ext1, tranlog , begin now

add exttrail ./dirdat/e1, ext ext1

 

--编辑抽取参数

edit param ext1

 

extract ext1

setenv(PGCLIENTENCODING = "UTF8")

setenv(ODBCINI="/data/ogg_pg/odbc.ini" )

sourcedb testpdb, userid ogguser, password ogguserP2021

exttrail ./dirdat/e1

discardfile ./dirrpt/ext1.dsc

cachemgr  cachesize 1G

container  mem_limit  8G

table public.*;

 

 

--启动抽取进程

start  ext1

 

 

--查看进程状态

info  ext1  

 

--查看统计信息

stats ext1, total

 

 

6.配置投递进程

--编辑投递参数

edit  param  pump1

 

extract pump1

rmthost 20.2.127.24, mgrport 7809

rmttrail ./dirdat/e1

passthru

cachemgr  cachesize 1G

container  mem_limit 8G

table public.*;

 

--添加投递进程日志

add extract pump1, exttrailsource ./dirdat/e1

add rmttrail  ./dirdat/e1, extract  pump1

 

--启动投递进程

start  pump1  

 

--查看投递进程状态

Info  pump1

 

7.配置源端OGG异构mapping文件

edit params defgen1

 

defsfile ./dirdef/defgen1.def  

sourcedb testpdb, userid ogguser, password ogguserP2021

table public.*;

 

--将默认生成的文件保存到OGG目录的dirdef目录下

shell ./defgen  paramfile  dirprm/defgen1.prm

 

将生成的def传输到目标端  

shell  scp  ./dirdef/defgen1.def   [email protected]:/data/ogg_mysql/dirdef/

 

如果出现提示:说明/data/ogg_mysql/dirdef/这个目录不存在,需要在OGG目标端创建目录后才能会自动生成。

 

 

(四)OGG目标端配置

1.启动MySQL的ggsci

mysql_ggsci

 

 

2.MySQL 创建目录

create subdirs

 

3.配置并启动MGR

edit  param  mgr

 

PORT 7809

DYNAMICPORTLIST 7810-7909

AUTORESTART EXTRACT *,RETRIES 5,WAITMINUTES 3

PURGEOLDEXTRACTS ./dirdat/*,USECHECKPOINTS, MINKEEPDAYS 3

 

--启动MGR

start  mgr  

 

--查看MGR状态

Info  mgr

4.目标端检查日志表(checkpoint)配置

--登录数据库

dblogin sourcedb [email protected]:3306 userid root password Root@1234

 

--添加检查日志表

add  checkpointtable  test.ggs_checkpoint

5.回放(Replicat)进程配置

--添加一个回放进程并与源端pump进程传输过来的trail文件关联,并使用checkpoint表确保数据不丢失

add  replicat rep1, exttrail  ./dirdat/e1, checkpointtable test.ggs_checkpoint

 

--添加/编辑回放进程配置文件

edit  param  rep1

 

replicat rep1

targetdb [email protected]:3306,userid root,password Root@1234

sourcedefs  ./dirdef/defgen1.def

discardfile ./dirrpt/rep1.dsc,append,megabytes 1024

handlecollisions

cachemgr  cachesize  1G

container  mem_limit  8G

map public.*, target test.*;

 

--启动回放进程

start  rep1

 

--查看进程状态

info  rep1

 

 

(五)常用命令总结

--查看所有OGG进程

info  all

 

--查看某个OGG进程

info  进程名

info  进程名  detail

 

--管理OGG进程

start/stop/delete  进程名

 

 

--查看进程日志报告

view  report  进程名

 

--修改进程参数

edit  params  进程名  

 

--修改全局参数

edit  params  ./GLOBAL

 

--查看统计信息,列出处理的所有记录数

stats  进程名,total  

 

--查看详细处理过的事务记录

info  进程名 showch

 

--查看进程中最长的10个交易

send  extract  进程名 ,showtrans  thread 1 count 10

 

--查看当前GoldenGate环境信息

show

 

--历史命令

history

 

--执行本地shell

shell  ls  

 

--查看告警日志信息

view  ggsevt

 

--查看延时,以及文件抽取应用情况

lag  进程名

标签:Postgres,ext1,--,MySQL,进程,OGG,data,ogg
From: https://www.cnblogs.com/yeyuzhuanjia/p/17694179.html

相关文章

  • 基于PHP vue2+element+ laravel8+ mysql开发的不良事件管理系统源码
    技术架构:PHP vue2+element+laravel8+mysql5.7+vscode不良事件上报系统通过“事前的人员知识培训管理和制度落地促进”、“事中的事件上报和跟进处理”、以及“事后的原因分析和工作持续优化”,结合预存上百套已正在使用的模板,帮助医院从对护理事件、药品事件、医疗器械事件、......
  • Postgresq l 数据库查询格式为jsonp的列,怎么查询其值属性 | ->> 操作符
    要查询PostgreSQL数据库表中的JSONP列(假设列名为props)中是否包含特定条件的记录,可以使用JSONB函数和操作符进行查询。JSONP列通常存储为JSONB类型。假设表结构如下:CREATETABLEyour_table(idserialPRIMARYKEY,propsjsonb);在这个表中,props列存储......
  • 【笔记】Mysql常用操作
     linux上安装客户端 下载地址:https://dev.mysql.com/downloads/mysql/ 操作系统版本选择redhat,  在下载列表中选择ClientUtitiles  安装rpm-ivhmysql-community-client-5.7.36-1.el7.x86_64.rpm--nodeps--force ......
  • mysql 体系结构
     mysql数据库的体系结构如下图:1.连接器:主要负责客户端与数据库的连接a.连接后没有任何动作,那么连接就处于空闲状态,showfullprocesslist进行查看b.客户端连接数据库后会在一定时间范围内断开连接,具体时间可以进行查看showvariableslike'%timeout%'interactive_timeout:服务器......
  • MySQL篇:第一章_软件安装和基本操作
    本篇安装软件NavicatePremium16破解版和phpstudy_prophpstudy_pro安装教程phpstudy官网:https://www.xp.cn/download.html下载等待下载完成后,双击可执行文件开始安装,选择自定义安装;等待安装完成即可拥有MySQL环境NavicatePremium16破解版安装教程官网地址:https://ww......
  • 【验】Postfix+Dovecot+MySQL搭建邮件服务器
    网上有很多使用Postfix搭建邮件服务器的文章,但目前貌似没有看到较为完整的一篇。本例将尝试在Ubuntu系统中使用Postfix+Dovecot+MySQL搭建邮件服务器。说到邮件服务器,网上有许多不同解决方案。Window操作系统下常见的邮件服务器有hMailServer、MailEnable、EVOMailServer、ApacheJ......
  • es与mysql的概念对比
        ......
  • linux服务器上的nginx服务、mysql服务和docker里面的php服务配合使用
    之前有个老项目是nginx1.22.0+mysql5.7+php5.6的环境在跑,也就是常说的lnmp环境。但是最近出了一个新的需求,这台服务器上要跑一个php7.3的项目,mysql5.7还可以用,nginx1.22.0也可以用,主要是php的环境要升级到7.3,那么方案应该怎么实施呢,大概有下面几个思路:1、再独立安装一个php7.3的......
  • JDBC 连接 MySQL 报错 Unknown system variable ‘query_cache_size‘
    官方说法:ThequerycacheisdeprecatedasofMySQL5.7.20,andisremovedinMySQL8.0.Deprecationincludesquery_cache_size.querycache在MySQL5.7.20已经过时了,并且在MySQL8.0版本中被移除了。所以要更新mysql驱动版本<dependency><groupId>mysql</groupId......
  • windows docker desktop安装mysql
    原文:https://www.jianshu.com/p/fd5d388dbf7d1.拉去mysql镜像dockerpullmysql:5.72.查看并启动镜像#列出已下载的镜像dockerimages#启动容器,挂载配置文件和数据dockerrun--namemysql-vD:/docker/mysql/conf/my.cnf:/etc/mysql/my.cnf-vD:/docker/mysql/logs......