首页 > 其他分享 >es优化配置

es优化配置

时间:2022-10-26 18:36:57浏览次数:44  
标签:配置 shard 查询 线程 es 设置 优化 cpu ES

  • ES负载不合理,热点问题严重。ES主集群一共有几十个节点,有的节点上部署的shard数偏多,有的节点部署的shard数很少,导致某些服务器的负载很高,每到流量高峰期,就经常预警。

    • ES线程池的大小设置得太高,导致cpu飙高。我们知道,设置ES的threadpool,一般将线程数设置为服务器的cpu核数,即使ES的查询压力很大,需要增加线程数,那最好也不要超过“cpu core * 3 / 2 + 1”。如果设置的线程数过多,会导致cpu在多个线程上下文之间频繁来回切换,浪费大量cpu资源。

    • shard分配的内存太大,100g,导致查询变慢。我们知道,ES的索引要合理分配shard数,要控制一个shard的内存大小在50g以内。如果一个shard分配的内存过大,会导致查询变慢,耗时增加,严重拖累性能。

    • string类型的字段设置了双字段,既是text,又是keyword,导致存储容量增大了一倍。会员信息的查询不需要关联度打分,直接根据keyword查询就行,所以完全可以将text字段去掉,这样就能节省很大一部分存储空间,提升性能。

    • ES查询,使用filter,不使用query。因为query会对搜索结果进行相关度算分,比较耗cpu,而会员信息的查询是不需要算分的,这部分的性能损耗完全可以避免。

    • 节约ES算力,将ES的搜索结果排序放在会员系统的jvm内存中进行。

  • 增加routing key。我们知道,一次ES查询,会将请求分发给所有shard,等所有shard返回结果后再聚合数据,最后将结果返回给调用方。如果我们事先已经知道数据分布在哪些shard上,那么就可以减少大量不必要的请求,提升查询性能。

标签:配置,shard,查询,线程,es,设置,优化,cpu,ES
From: https://www.cnblogs.com/jingwei129/p/16829546.html

相关文章

  • ubuntu系统下postgresql数据库中postgre用户密码的修改
    ubuntu系统下postgresql数据库中postgre用户密码的修改1、打开终端,在终端输入:sudopasswd-dpostgres回车后输入系统密码说明:该命令用来删除postgres用户的密码(即删除......
  • Codeforces Round #830 (Div. 2) A-D
    比赛链接A题解知识点:贪心,数论。先求出序列最大公约数\(d\),如果为\(1\)直接输出\(0\)。否则,尝试用最后一个数操作,\(gcd(d,n)=1\)则可以,花费为\(1\)。否则......
  • 实验7:基于REST API的SDN北向应用实践
    实验目的能够编写程序调用OpenDaylightRESTAPI实现特定网络功能;能够编写程序调用RyuRESTAPI实现特定网络功能。实验环境下载虚拟机软件OracleVisualBox或VMwar......
  • pytest-setup和teardown方法
    setup_module()    teardown_module()        模块级别(py文件)setup_class()      teardown_class()          ......
  • pytest-fixture配置运行时(conftest.py)
    conftest.py通过yield分隔执行前和执行后运行session:整个用例执行前后                module:py文件执行前后       ......
  • 实验7:基于REST API的SDN北向应用实践
    实验7:基于RESTAPI的SDN北向应用实践一、基本要求编写Python程序,调用OpenDaylight的北向接口实现以下功能(1)利用Mininet平台搭建下图所示网络拓扑,并连接OpenDaylight ......
  • postgresql迁移表空间
    环境:OS:Centos7DB:13.8 1.创建新表空间自定义目录su-postgres[postgres@host134pg13]$mkdir-p/opt/pg13/mytps012.创建表空间postgres=#createtablespaceh......
  • 视频融合平台EasyCVR如何优化web页面卡顿情况?
    EasyCVR具备强大的视频接入、汇聚与管理、视频分发等视频能力,可实现的视频功能包括:视频监控直播、云端录像、云存储、录像检索与回看、智能告警、平台级联、服务器集群、智......
  • freeswitch-1.10.7 on centos7编译安装
      概述最近由于项目需求,老版本的fs已经不适用,特此升级了freeswitch的版本,使用当前最新的1.10.7版本编译安装。环境centos:CentOS release7.0(Final)或以上版本......
  • 实验7:基于REST API的SDN北向应用实践
    (一)基本要求1.编写Python程序,调用OpenDaylight的北向接口实现以下功能(1)利用Mininet平台搭建下图所示网络拓扑,并连接;(2)下发指令删除s1上的流表数据。delete.py的代码#......