首页 > 其他分享 >logstash 收集 http POST请求中的json日志时,字段冲突问题

logstash 收集 http POST请求中的json日志时,字段冲突问题

时间:2024-07-02 18:41:47浏览次数:14  
标签:www http message field json POST logstash

https://www.elastic.co/guide/en/logstash/current/plugins-inputs-http.html

修改

vim /etc/logstash/logstash.yml


pipeline.ecs_compatibility: disabled

不关闭的话,会自动添加这几个字段
可能会与json中的同名字段冲突

{
    "@version" => "1",
    "user_agent" => {
        "original" => "curl/7.64.1"
    },
    "http" => {
        "method" => "PUT",
        "request" => {
            "mime_type" => "application/x-www-form-urlencoded",
            "body" => {
                "bytes" => "5"
            }
        },
        "version" => "HTTP/1.1"
    },
    "url" => {
          "port" => "8080",
        "domain" => "snmp1",
          "path" => "/twitter/tweet/1"
    },
    "@timestamp" => 2021-05-28T23:32:38.222Z,
    "host" => {
        "ip" => "127.0.0.1"
    },
    "message" => "hello",
}

会有类似的报错

JSON parse error, original data now in message field {:message=>"Could not set field 'domain' on object 'https://www.example.com/.gif' to value 'localhost'.This is probably due to trying to set a field like [foo][bar] = someValuewhen [foo] is not either a map or a string", :

标签:www,http,message,field,json,POST,logstash
From: https://www.cnblogs.com/66li/p/18280367

相关文章

  • .Net Core 链接postgresql 数据库
    安装依赖包Npgsql.EntityFrameworkCore.PostgreSQL必须Npgsql.EntityFrameworkCore.PostgreSQL.Design数据迁移相关新建数据库上下文类AppDbContext.cs注意当前文件,所在的项目,必须安装上面的依赖包//命名空间namespaceService{///<summary>///继承......
  • postman使用笔记
    Postman是一个广泛使用的API开发工具,它提供了一个用户友好的图形界面来发送HTTP请求、查看响应、组织测试用例和创建自动化测试。以下是一些基本的Postman使用教程,结合了搜索结果中的信息:安装Postman访问Postman官方网站下载适用于Windows、MacOS和Linux的......
  • Windows服务器下配置Gogs HTTP自动跳转HTTPS
    在前面的文章中,介绍了如何在Windows服务器下搭建自己的git服务器,在文末介绍了开启HTTPS的方法。https://www.cnblogs.com/zhaotianff/p/17887191.html 但是开启https后,无法使用http访问了,所以需要urlrewrite,找了一圈,发现网上的教程都是Linux下基于Nginx的。 通过尝试,找到......
  • POST和GET请求乱码问题
    简介:在很多情况下我们使用get或者post请求时会出现乱码问题。本文的目标是教会读者解决该问题。1.get请求乱码问题使用get请求提交数据时,数据会回显在uri上,例如:/springmvc/login?username=张三&password=123(注意:这不是一个很好的示范username和password这种敏感信息不应该使用......
  • fastjson低版本反序列化bug/设计缺陷记录
    1.问题场景 _id正常的赋值相同的代码我们继续跑 _id的值被反序列化到id上了???相同的代码,跑出不一样的反序列化结果,amazing2.问题探究2.1List<FieldInfo>反序列化时会先创建一个List<FieldInfo>每一个FieldInfoList<FieldInfo>的填充方式:遍历Methods[],取出所有的set......
  • 如何在Oracle、MySQL、PostgreSQL中改变SQL提示格式
    HowtoChangeinSQLPromptformatinOracle,MySQL,PostgreSQL像UNIX的PS1环境变量可以改变shell操作提示符,在日常工作环境中可以提升一些效率可以防止一些误操作,很多年前在看tom关于在练习oracle操作前的一些环境配置像login.sql,比起”SQL>”还可以显示当前的用......
  • 如何在Oracle、MySQL、Postgresql中查找全表扫描SQL
    HowtofindfulltablescanSQLinOracle,MySQL,Postgresql?Queriesthatdo“fulltablescan”aretheonesthatdon’tuseindexes.However,itismoresuitabletouseafulltablescanforsmalltables,anditwillnotcauseperformanceproblems.Or......
  • 更加优雅的下载文件 --- http header Content-Disposition 学习
    更加优雅的下载文件---httpheaderContent-Disposition学习在响应头中在请求头中a标签的download属性小结Content-Disposition在响应头中,告诉浏览器如何处理返回的内容,在表单提交中,说明表单字段信息。在响应头中用在响应头中,告诉浏览器如何处理返回的内容......
  • C# HttpWebRequest 各种请求方式汇总
    GET//直接返回字符串publicstaticstringGets(stringurl,JObjectheaders){stringresult="";HttpWebRequestreq=(HttpWebRequest)WebRequest.Create(url);req.Method="Get";if(headers!=null){IEnumerable&......
  • 原生js实现http请求--模拟jquery的ajax函数
     有时页面用到请求,但又不想引入jquery或者其他网络请求,增加代码冗余,增加对代码简便化,那不使用ajax情况下,可以直接使用原生js进行封装函数。原生的js通过XMLHttpRequest 对象进行的的。具体可查阅W3school的XMLHttpRequest 对象。1、封装可供请求调用的函数 functionht......