首页 > 其他分享 >数据从A集群,使用logstash迁移到B集群,如何保持_Id一致

数据从A集群,使用logstash迁移到B集群,如何保持_Id一致

时间:2024-01-03 11:33:11浏览次数:41  
标签:index logstash doc Id 索引 集群 query id metadata


有时候,我们在跨集群数据同步的时候,需要保持_id一致。这里给出一个案例。

这里直接给出一个配置文件

input {
      elasticsearch {
        hosts => "es.production.mysite.org"
        index => "mydata-2018.09.*"
        query => '{ "query": { "query_string": { "query": "*" } } }'
        size => 500
        scroll => "5m"
        # 默认为false,代表了是否获取元信息,包含索引名称_index,索引类型_type,和索引id _id
        docinfo => true
        docinfo_target => "[@metadata][doc]"
      }
    }
    output {
      elasticsearch {
        # 这里可以修改索引名称,可以取到原来的索引名称
        #index => "copy-of-production.%{[@metadata][doc][_index]}"
        # 索引名称保持一致
        index => "%{[@metadata][doc][_index]}"
        document_type => "%{[@metadata][doc][_type]}"
        document_id => "%{[@metadata][doc][_id]}"
      }
    }

标签:index,logstash,doc,Id,索引,集群,query,id,metadata
From: https://blog.51cto.com/u_15812686/9080840

相关文章

  • Android头像列表重叠最简实现
    手把手教程,针对初学者(老家伙请跳过),先看效果,能用得上的再继续往下看……针对上图重叠头像的展示实现方式,最简单的就是使用RecyclerView,利用其装饰器。平常使用RecyclerView都是每个item之间有间距,而这里不仅没间距还重叠了一部分,其实本质上也可以看成是有间距,只不过间距是负值。直接......
  • IDEA 开发环境配置
    做JAVA开发,现在比做.NET开发更麻烦,光配置一堆环境,几乎就要了亲命。以下是一些常用的操作和工具使用,以及必要配置和查询。现在流行什么前后分离,各种前端框架不停的卷,其实干的事情没有什么差别,反是种种问题越来越多,越做越性能越低。 一.nodejs的安装与配置【下载地址:https......
  • ThreadLocal:你不知道的优化技巧,Android开发者都在用
    引言在Android开发中,多线程是一个常见的话题。为了有效地处理多线程的并发问题,Android提供了一些工具和机制。其中,ThreadLocal是一个强大的工具,它可以使得每个线程都拥有自己独立的变量副本,从而避免了线程安全问题。本文将深入探讨Android中的ThreadLocal原理及其使用技巧,帮助你更......
  • 为什么Android系统开发工程师这么稀缺?
    前言今日得闲,思考了一个问题。为什么Android系统开发工程师各个公司都在招聘,而且是每天都在招,工资待遇也很客观,但结果却找不到人?首先,我们来看下Android系统开发工程师的主要职责是什么,以下是招聘网的要求。根据以上要求,我们来分析一下:本科学历,这个要求目前基本上都可以满足,再高一点......
  • Invalid constant value.问题
    Invalidconstantvalue.问题在你的_RecordDay类中,你定义了一个const构造函数:const_RecordDay(this.orientation);但是在build方法中,你使用了这个构造函数:RecordDay(orientation==Orientation.portrait),这里的问题是,你在构造函数中使用了const,但是在实际调用构造函数时,......
  • 超好用的IDEA插件!免费
    IDEA是一款功能强大的集成开发环境(IDE),它可以帮助开发人员更加高效地编写、调试和部署软件应用程序。我们在编写完接口代码后需要进行接口调试等操作,一般需要打开额外的调试工具。今天给大家介绍一款IDEA插件:Apipost-Helper-2.0。代码写完直接编辑器内调试、还支持生成接口文档、接......
  • 在Android设备上设置和使用隧道代理HTTP
    随着互联网的深入发展,网络信息的传递已经成为人们日常生活中不可或缺的一部分。对于我们中国人来说,由于某些特殊的原因,访问国外网站时常常会遇到限制。为了解决这个问题,使用代理服务器成为了许多人的选择。而在Android设备上设置和使用隧道代理HTTP,可以更好地保护用户的隐私,同时提......
  • 安卓期末大作业(AndroidStudio开发),垃圾分类app,代码有注释,能正常运行
    1 项目基本信息1.1 项目名称垃圾分类助手APP的设计与实现1.2开发运行环境开发语言:Java开发工具:AndroidStudio模拟器:雷电模拟器9数据库:SQLite  1.3使用的核心类及组件Activity:作为实现界面的窗体类BaseAdapter:适配器类SqliteOpenHelper:数据库类Intent:页面跳转传值Fragmen......
  • 安卓期末大作业(AndroidStudio开发),日记本app,代码注释详细,能正常运行
    安卓期末大作业-日记本app(附下载链接)压缩包内包含源代码,运行各个界面截图,一条日记可以记录2000字符以下的文本、最多8张配图和最多8个视频。每条日记都可以以评论的形式或转发引用的形式追更,评论的最大长度也是2000字符。日记还可以同时记录所处位置和当时的天气情况(当然,现在并......
  • Android期末大作业:使用AndroidStudio开发图书管理系统APP(使用sqlite数据库)
    AndroidStudio开发项目图书管理系统项目视频展示:引言现在是一个信息高度发达的时代,伴随着科技的进步,文化的汲取,人们对于图书信息的了解与掌握也达到了一定的高度。尤其是学生对于知识的渴求更是与日俱增。图书馆作为学生学习知识的重要场所,作为信息资源的集散地,图书和用户借阅资......