首页 > 数据库 >mysql 同步至es logstash 每隔10秒执行一次增量同步

mysql 同步至es logstash 每隔10秒执行一次增量同步

时间:2023-07-16 16:45:36浏览次数:42  
标签:10 jdbc 同步 mysql 每隔 es

 

 . 在Logstash的config目录下创建mysql-es.conf配置文件,Logstash会根据该配置文件从MySQL中读 取数据并同步到ES库中。

 

input {
jdbc {
jdbc_connection_string => "jdbc:mysql://localhost:3306/p2p_transaction_0?
useUnicode=true&characterEncoding=utf-8&useSSL=false"
jdbc_user => "root"
jdbc_password => "123"
jdbc_driver_library => "e:/mysql-connector-java-8.0.11.jar"
jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
jdbc_paging_enabled => true
jdbc_page_size => "50000"
#时区设置
jdbc_default_timezone =>"Asia/Shanghai"
#要执行的sql
statement_filepath => "e:/wanxinp2p-project_0.sql"
#每隔10秒执行

 

 跟最后一次运行的时间做比较

 

 

 

标签:10,jdbc,同步,mysql,每隔,es
From: https://www.cnblogs.com/ZhangZiXue/p/17558067.html

相关文章

  • linux MySQL数据库索引
    索引在数据库中占有重要地位,当高并发时,一条一条的查找数据是很慢的,但是索引可以分流,可以快速定位,解决高并发。目录一、索引概念二、索引作用三、索引的应用四、索引分类五、索引的创建六、索引的管理七、总结    一、索引概念1.索引概念数据库索......
  • 考勤打卡mysql表
    如何实现考勤打卡MySQL表1.整体流程为了实现考勤打卡功能,我们需要创建一个MySQL表来存储每个员工的打卡记录。下面是整个过程的步骤概述:步骤描述1.创建数据库和表首先创建一个数据库,并在该数据库中创建一个表来存储员工的打卡记录。2.连接数据库使用代码连......
  • MySQL 的全局锁、表锁和行锁
    在前一篇文章我讲了下MySQL的全局锁、表记锁和行级别锁,其中行级锁只提了概念,并没有具体说。因为行级锁加锁规则比较复杂,不同的场景,加锁的形式还不同,所以这次就来好好介绍下行级锁。对记录加锁时,加锁的基本单位是next-keylock,它是由记录锁和间隙锁组合而成的,next-keylock......
  • 用python爬去电影评分保存进mysql
    用Python爬取电影评分保存进MySQL在今天的数字化时代,电影评分是人们选择观看电影的重要参考因素之一。那么,如何通过Python爬取电影评分数据,并保存到MySQL数据库中呢?本文将为你提供一种简单的方法来实现这个目标。准备工作在开始之前,我们需要确保已经安装了Python和MySQL,并且已经......
  • MySQL为什么不建议使用delete删除数据?
    这篇文章我会从InnoDB存储空间分布,delete对性能的影响,以及优化建议方面解释为什么不建议delete删除数据。InnoDB存储架构从这张图可以看到,InnoDB存储结构主要包括两部分:逻辑存储结构和物理存储结构。逻辑上是由表空间tablespace—> 段segment或者inode—>区Extent——>......
  • win10绕过通过microsoft登录
    win10在安装win10时会出现下图中需要通过Microsoft的账户才能登陆系统,假设现在我没有微软的注册账户是不是就意味着我不能使用win10系统,答案是否定的,可以使用本地的用户来使用win10系统方法1改为域加入跳过Microsoft登录方法2断网跳过Microsoft登录直接拔掉网线,安装部......
  • AtCoder Beginner Contest 310
    (AtCoderBeginnerContest310) A-OrderSomethingElse思路:比较下打折和不打折的情况#include<bits/stdc++.h>usingnamespacestd;#defineintlonglongtypedefpair<int,int>PII;typedefpair<string,int>PSI;typedefpair<string,string>PSS;c......
  • MySQL锁
    全局锁对数据库加锁,典型使用场景是全库备份。加全局读锁,整库只读:Flushtableswithreadlock(FTWRL)。针对全库只读,不使用setglobalreadonly=true,使用FTWRL的原因:1.readonly的值可能用来做逻辑判断,例如判断是主库还是备库。2.FTWRL在客户端异常断开连接后自动释放全局锁,re......
  • MySQL主备
    MySQL主备同步原理1备库io_thread通过长连接获取主库的binlog2备库sql_thread执行binlog节点A和B之间互为主备关系,都认为对方是主,切换时不用再修改主备关系。解决双Mbinlog循环同步问题1A更新的事务,binlog记的是A的serverid2B同步后生成的binlog的serverid也是A的serveri......
  • mysql安装
    安装方式选择:二进制、源码、yum安装(生产选择二进制安装)参考链接:https://www.cnblogs.com/yyxianren/p/11319544.html1.卸载默认安装的mariadb:  yumremovemariadb*-y2.添加mysql用户:  useradd-s/sbin/nologin-Mmysql3.解压tar文件并移动到指定目录,并赋权: ......