首页 > 其他分享 >使用logstash迁移遇到的错误(es同步到es)

使用logstash迁移遇到的错误(es同步到es)

时间:2023-10-25 13:56:55浏览次数:36  
标签:同步 failed elasticsearch 迁移 execution logstash es

环境:

OS:Centos 7

ES:6.8.5

 

问题1:

[2023-10-25T09:29:53,892][INFO ][logstash.outputs.elasticsearch] retrying failed action with response code: 429 ({"type"=>"es_rejected_execution_exception", "reason"=>"rejected execution of processing of [1303][indices:data/write/bulk[s][p]]: request: BulkShardRequest [[.monitoring-kibana-6-2023.10.22][0]] containing [195] requests, target allocation id: 3gB-75SDS0O61UaXT0cllg, primary term: 1 on EsThreadPoolExecutor[name = bIBMAMR/write, queue capacity = 200, org.elasticsearch.common.util.concurrent.EsThreadPoolExecutor@1ac7124d[Running, pool size = 2, active threads = 2, queued tasks = 200, completed tasks = 558]]"})

解决办法:
修改logstash.yml文件
pipeline.workers: 2 (原来是4)
pipeline.batch.delay: 5
pipeline.batch.size: 2000 (原来是10000)

 

问题2:
[ERROR][logstash.outputs.elasticsearch] Encountered a retryable error

原因是同步了.security-6这个index后,密码不一样了

[2023-10-25T10:34:12,373][INFO ][o.e.x.s.a.AuthenticationService] [2xatSTH] Authentication of [elastic] was terminated by realm [reserved] - failed to authenticate user [elastic]

 

解决办法:

使用index模糊匹配的方式不同步.security-6

标签:同步,failed,elasticsearch,迁移,execution,logstash,es
From: https://www.cnblogs.com/hxlasky/p/17787046.html

相关文章

  • eslint识别不了别名解决方法
    第一步npmieslint-import-resolver-alias-D第二步:在eslintrc.js配置module.exports={settings:{'import/resolver':{alias:{map:[//这里参照webpack的别名配置映射['@','./src']],......
  • Disconnected from the target VM, address: '127.0.0.1:56577', transport: 'socket'
    DisconnectedfromthetargetVM,address:'127.0.0.1:56577',transport:'socket'端口占用DisconnectedfromthetargetVM,address:'127.0.0.1:56577',transport:'socket'DisconnectedfromthetargetVM=与目标虚拟机断开连接。PS:......
  • Serverless = FaaS + BaaS
    Serverless架构是采用FaaS(函数即服务)和BaaS(后端服务)服务来解决问题的一种设计。到底什么是Serverless?无服务器硬件+虚拟机+操作系统+数据库+中间件/运行库+应用+函数全包,用户只交集在业务代码上,更加减少发布运维的工作laaS-->PaaS-->SaaS-->FaasFaaS就是Functionasaservice(函......
  • java spring,springmvc,spring boot,spring data,RESTful api设计风格,HTTP协议的四种传
    一.基本技术1.Springmvc=手动接电线(配置xml),提供了一种友好的方式来开发Web应用程序。通过使用诸如DispatcherServlet,ModelAndView和ViewResolver,可以轻松开发Web应用程序。2.SpringBoot=标准插座(第3方开源类库想接入,就按照标准做一个starter的适配),实现了免xml配置和提供......
  • AddressSanitizer 的shadow bytes理解
     可以访问的内存是00,一个00的shadowbyte代表实际可访问的8个字节。因为一个字节有8位,每一位代表对应实际内存的一个字节。部分可访问的内存是01020304050607 我分配了十个字节,那么这段内存的shadowbytes就是  00[02] ......
  • Kubernetes常见面试题
    说明:以下问题只做简单总结,详细内容请参考链接:https://github.com/bregman-arie/devops-exercises/blob/master/topics/kubernetes/README.md#kubernetes-1011、k8s是什么,为什么企业选择使用它     k8s是一个开源应用,给用户提供了管理、部署、扩展容器的能力。将容器运......
  • 界面控件开发包DevExpress v23.1.6全新发布|附高速下载
    DevExpressUniversal拥有.NET开发需要的所有平台控件,包含600多个UI控件、报表平台、DevExpressDashboardeXpressApp框架、适用于VisualStudio的CodeRush等一系列辅助工具。屡获大奖的软件开发平台DevExpress今年第一个重要版本v23.1正式发布,该版本拥有众多新产品和数十个具......
  • pytest运行警告问题解决:DeprecationWarning: pkg_resources is deprecated as an API
    前言最近在运行pytest的时候,经常出现这个警告DeprecationWarning:pkg_resourcesisdeprecatedasanAPISeehttps://setuptools.pypa.io/en/latest/pkg_resources.htmlfrompkg_resourcesimportiter_entry_points从警告上看是方法被弃用,肯定是因为新版弃用了旧版的语法。遇......
  • Charles 抓取百度指数及微信指数
    一、百度指数  filter:/api/SearchApi/index//搜索指数 filter:/api/SearchApi/index//搜索指数 找到uniqid,继续filter,获取data(用于解密)  filter: api/SearchApi/index,获取对应指数数据用于解密,页面控制台解密: 解密代码functiondecrypt(t,e......
  • CF1854E Games Bundles 题解
    乱搞题设个\(dp[i]\)表示和为\(i\)的子序列个数,那么转移是容易的,\(dp[j]+=dp[j-i]\),然后就判下\(dp[60]+dp[60-i]\)是否大于\(m\),发现这样子搞对于比较大的数可能达不到\(m\)的限制,因为这样子转移,默认的是一个数只选一次,但是我们可以重复选,这启发我们需要设定一个值......