首页 > 其他分享 >es查询慢原因排查

es查询慢原因排查

时间:2023-01-14 14:13:28浏览次数:56  
标签:场景 索引 查询 排查 Elasticsearch 内存 分片 es

前言

经常会有人吐槽,Elasticsearch为什么查着查着突然就慢了?
笔者总结了常见的一些导致查询慢的场景,供大家排查。

Elasticsearch查询慢问题排查思路

Elasticsearch的查询慢的问题往往是由多种因素造成的,同时我们也需要遵循Elasticsearch的查询准则:ES适合top N的查询,不适合大数据量返回的查询。

场景1 内存参数配置不合理,文件系统缓存不足。

记得给你的Elasticsearch预留一定的内存给Lucene文件缓存使用哦。

场景2 查询范围过大,一次查询过多的分片,如全表扫描查询。

一次查询过多的分片,容易把内存撑爆,so,最好分批次查询,温柔点嘛。

场景3 进行深度翻页查询,如查询10000之后的结果。

进行深度翻页查询,如查询10000-10010的结果,这时候需要使用scroll查询了。

场景4 查询返回的结果集过大,如10w。

同样,这种查询太暴力了,建议使用scroll查询分批次返回,Elasticsearch没你想象的坚强。

场景5 查询语句不是最优,如过滤查询可以使用filter。

根据具体的业务场景去优化查询语句,过滤查询使用filter,不需要评分,减少很多计算。

场景6 使用模糊匹配查询造成内存溢出的问题。

千万不要尝试使用*等通配符的暴力做法,内存很脆弱的。

场景7 聚合查询返回的结果集过大,聚合的范围过大。

聚合更加是耗费内存的操作了,所以你懂的。

场景8 聚合查询N多唯一值引起的高内存使用率。

同上,慎重。

场景9 用text字段进行排序,造成fielddata占用大量的内存。

排序请用keyword字段,谢谢。

场景10 索引段文件过多,需要定时的进行索引段合并。

查询的底层文件是lucene段文件,减少段文件个数一定程度上可以减少并发查询的段文件个数。

场景11 分片分布不均衡,未能充分利用机器资源。

尽量让分片均匀分片,查询的时候才能充分发挥分布式的优势。

场景12 磁盘IO瓶颈。

没办法,加钱吧?

场景13 索引数据结构mapping设计不合理,如不需要分词的keyword。

mapping设置超关键的,建立索引之前慎之又慎,切记。。。

场景14 分词器设计不合理,如存在过度分词的问题。

是的,如果你的字段分的越多,需要遍历的term就更多,查询肯定就更慢了呀。

场景15 索引分片过大,如单个分片达到100GB+。

单个分片这么大,你考虑过机器的感受吗,建议单个分片20-50GB大小。

https://blog.csdn.net/wudingmei1023/article/details/103897080

标签:场景,索引,查询,排查,Elasticsearch,内存,分片,es
From: https://www.cnblogs.com/eternityz/p/17051675.html

相关文章