首页 > 其他分享 >如何在使用logstash导出的时候,包含索引名称和_id

如何在使用logstash导出的时候,包含索引名称和_id

时间:2024-01-03 11:33:47浏览次数:25  
标签:配置文件 logstash 索引 json file query docinfo id


这里,我的需求是,把es中的数据导出到本地文件中,一行一个json。

我还需要把原来数据中的_id保存下来,在新的集群中导入的时候,指定_id。

这里有一个配置文件!

logstash配置文件如下

# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.

input {
  elasticsearch {
    hosts => ["http://192.168.10.10:9200"]
    index => "my_index-000001"
    query => '{ "query": { "query_string": { "query": "*" } } }'
    scroll => "3m"
    size => 100
    # 默认为false 不包含索引元数据。
    docinfo => true
    docinfo_target => "[@metadata][doc]"
  }
}

filter {
    mutate {
        # 把字段添加进去。
        add_field => { "_id" => "%{[@metadata][doc][_id]}" }
    }
}
output {
   file {
    path => "D:\data\file.json"
    # json 每行一条数据。
    codec => json_lines
  }
}

 

标签:配置文件,logstash,索引,json,file,query,docinfo,id
From: https://blog.51cto.com/u_15812686/9080819

相关文章

  • windows下logstash从文件中读数据写入es报错 Error: No such file or directory - :/d
    [2023-12-22T17:26:50,327][ERROR][logstash.javapipeline][main][897a6c7006446c97daa2ee44df7541701882ceece289ce428fcfac8aa982a0c5]Apluginhadanunrecoverableerror.Willrestartthisplugin.Pipeline_id:mainPlugin:<LogStash::Inputs::Filestar......
  • 数据从A集群,使用logstash迁移到B集群,如何保持_Id一致
    有时候,我们在跨集群数据同步的时候,需要保持_id一致。这里给出一个案例。这里直接给出一个配置文件input{elasticsearch{hosts=>"es.production.mysite.org"index=>"mydata-2018.09.*"query=>'{"query":{"query_string&qu......
  • Android头像列表重叠最简实现
    手把手教程,针对初学者(老家伙请跳过),先看效果,能用得上的再继续往下看……针对上图重叠头像的展示实现方式,最简单的就是使用RecyclerView,利用其装饰器。平常使用RecyclerView都是每个item之间有间距,而这里不仅没间距还重叠了一部分,其实本质上也可以看成是有间距,只不过间距是负值。直接......
  • IDEA 开发环境配置
    做JAVA开发,现在比做.NET开发更麻烦,光配置一堆环境,几乎就要了亲命。以下是一些常用的操作和工具使用,以及必要配置和查询。现在流行什么前后分离,各种前端框架不停的卷,其实干的事情没有什么差别,反是种种问题越来越多,越做越性能越低。 一.nodejs的安装与配置【下载地址:https......
  • ThreadLocal:你不知道的优化技巧,Android开发者都在用
    引言在Android开发中,多线程是一个常见的话题。为了有效地处理多线程的并发问题,Android提供了一些工具和机制。其中,ThreadLocal是一个强大的工具,它可以使得每个线程都拥有自己独立的变量副本,从而避免了线程安全问题。本文将深入探讨Android中的ThreadLocal原理及其使用技巧,帮助你更......
  • 为什么Android系统开发工程师这么稀缺?
    前言今日得闲,思考了一个问题。为什么Android系统开发工程师各个公司都在招聘,而且是每天都在招,工资待遇也很客观,但结果却找不到人?首先,我们来看下Android系统开发工程师的主要职责是什么,以下是招聘网的要求。根据以上要求,我们来分析一下:本科学历,这个要求目前基本上都可以满足,再高一点......
  • Invalid constant value.问题
    Invalidconstantvalue.问题在你的_RecordDay类中,你定义了一个const构造函数:const_RecordDay(this.orientation);但是在build方法中,你使用了这个构造函数:RecordDay(orientation==Orientation.portrait),这里的问题是,你在构造函数中使用了const,但是在实际调用构造函数时,......
  • 超好用的IDEA插件!免费
    IDEA是一款功能强大的集成开发环境(IDE),它可以帮助开发人员更加高效地编写、调试和部署软件应用程序。我们在编写完接口代码后需要进行接口调试等操作,一般需要打开额外的调试工具。今天给大家介绍一款IDEA插件:Apipost-Helper-2.0。代码写完直接编辑器内调试、还支持生成接口文档、接......
  • 在Android设备上设置和使用隧道代理HTTP
    随着互联网的深入发展,网络信息的传递已经成为人们日常生活中不可或缺的一部分。对于我们中国人来说,由于某些特殊的原因,访问国外网站时常常会遇到限制。为了解决这个问题,使用代理服务器成为了许多人的选择。而在Android设备上设置和使用隧道代理HTTP,可以更好地保护用户的隐私,同时提......
  • 安卓期末大作业(AndroidStudio开发),垃圾分类app,代码有注释,能正常运行
    1 项目基本信息1.1 项目名称垃圾分类助手APP的设计与实现1.2开发运行环境开发语言:Java开发工具:AndroidStudio模拟器:雷电模拟器9数据库:SQLite  1.3使用的核心类及组件Activity:作为实现界面的窗体类BaseAdapter:适配器类SqliteOpenHelper:数据库类Intent:页面跳转传值Fragmen......