首页 > 其他分享 >DataX数据同步- 不同时间Where条件

DataX数据同步- 不同时间Where条件

时间:2023-08-29 18:33:25浏览次数:35  
标签:同步 timestamp REPLACE where DataX lastTime Where

DataX数据同步工具 一、介绍:DataX是用来数据同步得第三方工具,能够进行分片,高效得数据同步 二、时间自增,根据时间进行数据同步: 1. 相关截图: 

 2. where 条件处理:主要分为三个数据库的数据同步,不同的处理

1. postgresqlreader: ic_shopee_shopperformance
 "where": "customer_id = 1 AND ((lastmodificationtime < REPLACE (${currentTime},'%',' ')::timestamp AND lastmodificationtime >= REPLACE (${lastTime},'%',' ')::timestamp - interval '1 day') OR (creationtime < REPLACE (${currentTime},'%',' ') ::timestamp  AND creationtime >= REPLACE (${lastTime},'%',' ')::timestamp - interval '1 day' ) )",
2. mysqlreader:t_mercadolibre_product_publish_execute
"where": "customer_id = 1 AND ((update_time<replace(${currentTime},'%',' ') AND update_time>= DATE_ADD(replace(${lastTime},'%',' '), INTERVAL 1 DAY)) or (create_time<replace(${currentTime},'%',' ') AND create_time>= DATE_ADD(replace(${lastTime},'%',' '),INTERVAL 1 DAY)))",
3. sql server :pp_phoenixplan_ebay_autooff_queue
 "where": "CustomerId = 1 AND LastModificationTime<replace(${currentTime},'%',' ') AND LastModificationTime>= DATE_SUB(replace(${lastTime},'%',' '), interval 24 HOUR)",
解析:
currentTime:是增量开始时间
lastTime: 也是系统自定义事件

谢谢学习



 

 

标签:同步,timestamp,REPLACE,where,DataX,lastTime,Where
From: https://www.cnblogs.com/wangjinya/p/17665601.html

相关文章

  • list 转 where in
    一、拼stringstrSql=@"SELECTt1.TABLE_NAMETableName,t1.TABLE_COMMENTRemark,t1.TABLE_ROWSTableCount,t2.CONSTRAINT_NAMETableKeyName,t2.column_nameTableKeyFROMinformation_schema.TABLESast1......
  • nginx同步脚本
    检测nginx进程是否存在异常`#!/bin/bash收集nginx进程pidpid=$(ps-ef|grepnginx|grepworker|awk'{print$2}')收集第一个nginx进程的pid,打上时间戳pid0=$(ps-ef|grepnginx|grepworker|awk'{print$2}'|head-n1)starttime0=$(ps-olstart=-p$pid0)startti......
  • 数据库同步
    刚开始使用分页的方式同步数据,idasc到2000多万条之后,效率慢了。总结:分页到最后,会越来越慢通过请教大石头大佬,进行了优化大数据同步,一般不用分页的方式,XCode里面是把分页抽取器放在最后的。每次抽取后,下一次用whereid>lastMaxId。你可以参考XCode里面的集中抽取器,最好用的......
  • 解决datax输出文件随机数后缀问题
    原版的datax将数据库数据输出到指定文件时,会在该文件名后面加上一个随机数,不方便使用。这是datax源码中的问题,需要去https://github.com/alibaba/DataX下载源码并重新编译datax。参考datax源代码编译安装_程序员_IT序号网(itno.cn)修改./datax-master/txtfilewriter/src/main......
  • 深入探究Java中的多线程并发与同步
    在后端开发中,多线程编程是一项关键技术,能够充分利用多核处理器,提高系统性能和响应能力。然而,多线程编程涉及到并发与同步问题,可能引发复杂的线程安全难题。本篇博客将深入探讨Java中的多线程编程,重点关注并发问题和同步机制。并发与多线程并发是指多个任务在同一时间段内执行,而多线......
  • 多线程同步、异步
    1、首先明确一点,对于单核CPU,任意一个时刻只有一个线程在运行。那么既然这样,多线程还有什么意义呢?举例来说,现在只有一个人,要做好几个任务。单线程就是,任务一个一个地做,必须做完一个任务后,再去做另一个任务。多线程就是一会做这个任务,一会做那个任务,每个任务做一会,不停的切换。显然,......
  • 阿里云DataX-KuduReader插件
    1.插件介绍1.1需求背景项目中需要从另一个Kudu集群定时同步数据,尝试好几个同步方案都不顺手。Datax上也只有KuduWriter插件,就简单实现了一个KuduReader插件。插件已同步至Github,有需要的小伙伴可以参考。插件支持Kudu作为源来读取数据,利用Datax丰富的插件库,可以满足不同的写......
  • 金蝶云星空更换数据中心同步应用数据
    背景:金蝶云星空,企业版8.1,协同开发模式,同一应用多个数据中心。 数据中心:开发环境(本地),测试环境(test),生产环境(pro)。 现状:1、测试环境,创建了应用,二开了业务对象和插件。2、切换到开发环境进行代码调试。  具体操作:1、登录开发环境BOS,登录后打开应用,出现如下  2、......
  • git_同步两个分支的代码
    写下这篇blog的原因是,在今天的工作中因为疏忽,忘记切换到dev分支,直接就在master分支上大刀阔斧地干了起来,然后切换文件的时候发现昨天写的代码不见了,才突兀地发觉分支没有切换.发现问题如下:如果想要切换到dev分支继续开发,这需要同步master与dev分支的代码在master......
  • vue3探索——组件通信之v-model父子组件数据同步
    背景再很多场景中,我们可能想在子组件中修改父组件的数据,但事实上,vue不推荐我们这么做,因为数据的修改不容易溯源。Vue2写法在vue2中,我们使用.sync修饰符+自定义事件'update:xxx',来使父子组件数据同步。//父组件<template><div><h2>我是父组件,我有{{money}}¥......