首页 > 数据库 >mysql 数据同步到ES

mysql 数据同步到ES

时间:2022-12-21 17:00:11浏览次数:31  
标签:同步 插入 mysql go 数据 ES

mysql 数据同步到ES

# mysql 同步数据到ES的开源工具   go编写
  https://www.github.com/siddontang/go-mysql-elasticsearch
        
                
# 需求:如何实现mysql插入一条数据,就往ES中同步
    -1 使用上面的工具   # 为了方便使用,因此自学了一下go,后续发现麻烦就自己写
    
    -2 自己写
    初级阶段:
      -在视图函数中,orm的create后,就手动插入到ES中  # 需要修改的地方很多,且是说同步操作
    
    稍微高级:
      -中间件  # 比较麻烦
      -利用django的信号  每插入数据,就触发一个信号函数的执行,函数中写手动插入到ES  # 同步操作
        
    进阶高级:
      -利用django的信号 + celery异步

标签:同步,插入,mysql,go,数据,ES
From: https://www.cnblogs.com/Edmondhui/p/16996636.html

相关文章

  • [Codeforces Round #836 (Div. 2)C
    C这一次呢,题目要求让a[1]=x,a[n]=1,我们需要找到一个最小的序列使得每一个a[i]都可以被它的下标整除,没找到就是输出-1我第一次是想着先让a[1]=x,a[n]=1,然后在中间一个一......
  • mysql分组后限制条数和排序
    废话少数直接上需求和解决方案需求:分组查询指定条数 这是我的表表名news,查询class_id为1和2的数据各三条这是sql:selectn1.*fromnewsn1wheren1.`class_id`in......
  • KingbaseES Clusterware 高可用案例之---构建iSCSI共享存储
    案例说明:在KingbaseESClusterware高可用的架构中,集群节点需要访问共享的存储设备,可以使用FCSAN、iscsiSAN、NAS等存储设备。本案例详细描述了,在Linux系统下构建iscsi......
  • 分布式数据库库数据表导入mysql之后数据量增加问题
    1、背景:新疆分布式数据库crm数据导入,表做分片,导入之后表数据量比原表数据量多。导入方式:load2、排查过程以表tf_bhb_ocs_batdeal_2016测试排查:1)表结构:CREATETABLE`......
  • VMware ESXi系统
    esxi全称“VMwareESXi”,是可直接安装在物理服务器上的强大的裸机管理系统,是一款虚拟软件,不需安装其他操作系统,是VMware服务器虚拟化的基础。通过直接访问并控制底层资源,VM......
  • 151-docker 安装mysql 区分大小写
    拉镜像:dockerpullmysql:latest启动容器:dockerrun-p3306:3306--namemysql-case\-v/mydata/mysql/log:/var/log/mysql\-v/mydata/mysql/data:/var/lib/mysql......
  • mysql federated引擎构建MySQL分布式数据库
    使用mysql federated 引擎构建 MySQL 分布式数据库访问层前言:随着应用复杂度的增加,数据库不断细化切分,导致应用程序中数据库应用就得复杂,凌乱。绝大部分程序人员可能......
  • ESX与ESXi区别
    VMwareESXi 与ESX 产品之比较VMwarevSphere5.0 以后版本,所有底层虚拟化产品都改为ESXi产品,本文主要比较了ESXi与ESX的各自特点,以便对大家是否要把现有的ESX升级......
  • KingbaseES 实现 MYSQL 的 delete limit 写法
    使用MySQL的用户可能会比较熟悉这样的用法,更新或删除时可以指定限制更新或删除多少条记录。updatetlsetxxx=xxxwherexxxlimit10;deletefromtlwherexxxlimit......
  • KingbaseES 基于SQL的函数过程
    什么是SQL函数?SQL函数包体是一些可执行的SQL语言。同时包含1条以上的查询,但是函数只返回最后一个查询(必须是SELECT)的结果。除非SQL函数声明为返回void,否则最后一条语......