首页 > 其他分享 >logstash采用了增量同步后想做全新的同步的方法

logstash采用了增量同步后想做全新的同步的方法

时间:2023-11-01 15:37:02浏览次数:35  
标签:jdbc run sincedb 同步 增量 path logstash

 

1.文件同步到es
No sincedb_path set, generating one based on the "path" setting {:sincedb_path=>"/opt/logstash-6.8.5/data/plugins/inputs/file/.sincedb_f019a9f5e77dadb5d6981e37ca0b16f6", :path=>["/tmp/myfile/*.log"]}
将.sincedb文件删除掉

 

2.数据库jdbc同步到es
[root@host135 config]# find / -name *logstash_jdbc_last_run*
/root/.logstash_jdbc_last_run
删除该文件重新同步

标签:jdbc,run,sincedb,同步,增量,path,logstash
From: https://www.cnblogs.com/hxlasky/p/17803241.html

相关文章

  • 使用logstash同步mysql到ES
    环境:OS:Centos7es:6.8.5logstash:6.8.5mysql:5.7 1.mysql创建表createtabletb_es(idbigint(20)unsignedNOTNULLAUTO_INCREMENTCOMMENT'主键id',namevarchar(32)notnull,f_intint,f_doudouble(10,2),f_flofloat(9,2),create_timet......
  • obsidian实现安卓、windowl同步(Remotely Save+腾讯云对象存储)
    1obsidian安卓端下载https://mobile.softpedia.com/apk/obsidian/2同步思路本文的同步方案并不是以下方案,个人没有采用以下方案。2.1方案1:坚果云网盘方案(没采用此方案)相当于把坚果云作为一个网盘。只需要在电脑端和手机端,同时安装坚果云软件,就可以实现文件在电脑端和手机端同步......
  • Linux时间校准、时间同步(ntpdate及C代码NTP客户端代码校准示例)
    背景机器每次机启后时间就会出现异常,因为机器无法访问外网,只能访问局域网的ntp服务,所以需要保证局域网内部有ntp服务,如何安装ntp服务,参考Ubuntu20.04Ntp服务安装及验证。网络时间协议NetworkTimeProtocol(NTP)是一种确保时钟保持准确的方法。如果可以访问互联网,只需安装ntp......
  • Flink消费kafka数据同步问题排查
    Flink消费kafka数据同步问题排查https://mp.weixin.qq.com/s/EZbCKHBI_JrsF0yJndhe8QFlink消费kafka数据同步问题排查原创 任天兵 哈啰技术 2023-10-3117:31 发表于上海 我们有一个flink任务,消费的kafka的数据,写入到es,非常简单的逻辑,但是出现了数据丢失的情况,之前没遇......
  • [个人记录] datax同步Oracle数据到MSSQL - 报错提示插入重复主键
    之前试着把Oracle的数据同步到MSSQL,表到表的操作,结果提示插入重复主键,在Oracle使用的是rowid插入到MSSQL表的id主键中去,该id设置了主键约束。一开始很纳闷,怎么会重复插入主键呢?rowid不是唯一的吗?因为搞了很久没搞定,换了其他生成主键的方法也没成功,sys_guid()之类的。......
  • React学习笔记15-13-setState同步异步问题
    先说结论:setState处在同步的逻辑中会异步更新状态,更新真实dom。连续调用setState不会连续进行虚拟dom的对比和页面的更新setState处在异步的逻辑中,同步更新状态,更新真实dom。 1.同步状态先看同步状态/*eslint-disablereact/no-direct-mutation-state*/importRea......
  • 文件同步软件选择准则
    随着科技的飞速发展,文件同步软件已成为我们日常工作中不可或缺的一部分。它可以帮助我们轻松地实现文件在不同设备、不同服务器之间的同步,确保数据的安全性和一致性。然而,市场上的文件同步软件种类繁多,如何选择适合自己的软件呢?本文将为您介绍文件同步软件选择准则。一、需求分......
  • 在C#中能用异步来包装同步调用吗?
    我应该为同步方法公开异步包装器吗?对于这样的问题,我的简短回答是“不”。例如,考虑一个同步方法Sleep,它在N毫秒内不返回:publicvoidSleep(intmillisecondsTimeout){Thread.Sleep(millisecondsTimeout);}现在,考虑创建异步版本的需求,这样返回的Task在N毫秒内不会完成......
  • 2023QDEZ男人八题线上同步赛 赛时代码和思路
    2023QDEZ男人八题线上同步赛赛时代码和思路比赛链接;赛时答疑;洛谷博客\(\texttt{A-std}\);\(\texttt{B-std}\);\(\texttt{C-std}\);\(\texttt{D-std}\);\(\texttt{E-std}\);\(\texttt{F-std}\);\(\texttt{G-std}\);\(\texttt{H-std}\);\(\texttt{Ex-std}\)我:\(50+50+20+5......
  • [转]SqlServer大量更新引起同步链延时问题
    前言:   在SQLServer数据库中,当我们对一个位于同步链上的表进行更新时,如果更新的记录数也非常多,几百或是几千万,那么批量更新该表会造成同步链的大量延时(甚至有可能崩溃掉,即使同步链不崩溃,等的人也要崩溃了)。  原因:  一般情况下,Replication是根据我们更改的......