前言
经常会有人吐槽,Elasticsearch为什么写着写着突然就慢了?
笔者总结了常见的一些导致写入慢的场景,以供大家排查。
Elasticsearch写入慢问题排查思路
Elasticsearch的写入场景相对比较简单,绝大部分场景下我们都是使用bulk API进行写入操作,列举了下面一些场景可能会导致写入慢的问题。
场景1 内存参数配置不合理。
是否给Elasticsearch实例足够的内存,如果内存足够的话,建议配置30GB每个Elasticsearch数据实例节点。
场景2 bulk提交量过大,导致内存被堆满。
一次提交的bulk数量不宜过大,实践证明5-10MB左右大小合适。
场景3 客户端IP,端口配置问题。
因为Elasticsearch的客户端采用的是轮询的方式,所以尽量配置所有节点的IP、端口,或者开启嗅探功能。
场景4 写入时指定DOC ID,导致读IO高。
写入时指定DOC ID,意味着首先需要判断ID是否重复,如果在大数据量的场景下,可能会需要从磁盘进行一次读操作,从而占用大量的磁盘IO,导致写入速度慢。
场景5 bulk队列积压,请求线程被拒绝。
大量的bulk队列被等待或者积压,导致线程被拒绝,这时候需要适当降低业务请求的并发量。
场景6 热分片问题。
单个索引的分片集中分布在某几个机器节点上,导致写入压力无法均匀地分布到各个机器节点上,形成阻塞的问题。
场景7 集群不稳定,大量分片迁移和恢复。
如果你的集群处于不稳定的状态,比如有大量的分片在做均衡迁移或者恢复,都会占用大量的资源,导致写入资源被占用。
场景8 部分实例长时间不断的full gc,导致实例处于假死状态。
部分场景下,数据实例处于长时间不断的full gc,但此时并没有完全脱离集群,写入请求仍然往这个节点发送,此时节点已经无法处理了。快速解决办法:重启问题实例。
场景9 磁盘IO瓶颈。
当磁盘出现IO瓶颈,能怎么办呢,换更好的盘??,或者扩容吧。
场景10 查询业务占用大量的资源。
高并发的查询或者大数据的查询可能会占用大量的资源,此时需要衡量你的系统侧重点了,实在不行,扩容吧。
场景11 索引段合并占用大量的IO资源。
索引段合并太频繁同样会占用大量的IO资源,如果不是SSD盘,将索引段合并线程设置为1。
场景12 分词器设计不合理。
不同的分词对写入影响很大,分词器设计不合理,可能会存在大量的CPU计算和过度分词等问题。
https://blog.csdn.net/wudingmei1023/article/details/103896595
标签:场景,占用,写入,bulk,排查,Elasticsearch,IO,es From: https://www.cnblogs.com/eternityz/p/17051676.html