首页 > 其他分享 >ES 调优手段总结

ES 调优手段总结

时间:2024-03-17 21:33:43浏览次数:27  
标签:总结 doc 写入 value 索引 调优 文档 ES

ES调优手段

1.设置dynamic为strice(严格模式,put任何新字段都会提示异常),避免ES集群因新增字段导致性能下降。

因此常见的处理方案都是通过建立别名prod_product_xx索引,上线前先将新索引数据初始化新数据,然后在修改索引别名

2._source禁用后可以进行搜索,但无法返回字段内容。

3.index决定该字段是否加入倒排索引(默认为true),开启后是无法对字段内容进行分词的,也就无法进行分词搜索。

4.enabled类似index与doc_value的总开关(默认为true),会存储在_source。但index和doc_value不会被存储。所以关闭后则不可以进行搜索和排序,但可以拿到原值。

5.doc_value是一个列式存储,所有很适合排序。

6.fielddata与doc_value类似,但会加载到内存进行排序。_id是默认开启的,这里要慎用。

 

写入流程优化

bulk方式写入相比单条写入效率更高,网络IO也更好。

_ID在分片级别是唯一的,并不是在集群唯一

 

文档落盘过程:

文档写入时,会先写Index buffer然后记录translog到OS Cache
文档从每秒刷新到OS Cache中生龙segment,并定时将translog落盘
OS Cache中的segment会定期被刑新到磁盘上,同时删除translog

 

架构设计:

读写分离集群

 

自定义_id,避免读取原文档的会多一次IO行为

标签:总结,doc,写入,value,索引,调优,文档,ES
From: https://www.cnblogs.com/jichenghui/p/18079230

相关文章

  • Finetuning中的超参数调优
    1.背景介绍1.1机器学习与深度学习机器学习是一种让计算机系统通过经验自我改进的技术。深度学习是机器学习的一个子领域,它关注使用神经网络模型来解决复杂的问题。神经网络是一种模仿人脑工作原理的计算模型,由多个层次的节点组成,每个节点都可以处理一部分输入数据并将结......
  • 爬取汽车之家:基于selenium和request自动获取汽车信息并保存到CSV文件matplotlib和seab
    在网络时代,信息获取变得越来越重要,而Python作为一门强大的编程语言,其爬虫技术可以帮助我们自动获取互联网上的各种信息。今天,我们将学习如何使用Python编写爬虫程序,自动获取汽车信息,并将这些信息保存到CSV文件中。1.引入必要的库首先,我们需要引入一些必要的库,包括csv用于......
  • ESP32学习笔记-读取SD卡并显示到屏幕上
    硬件FireBeetle2ESP32-E开发板1.54"240x240 IPS 广视角TFT显示屏硬件接线测试代码//加载库#include"Arduino.h"#include"FS.h"#include"SD.h"#include"SPI.h"#include"DFRobot_GDL.h"//定义显示屏针脚#defineTFT_DCD2#......
  • echarts实践总结(常用一):柱状图(特点:渐变色、点击缩放、左右滑动、悬浮展示样式)
    目录第一章echarts基本使用第二章echarts实践——柱状图效果展示第一章echarts基本使用Echarts常用配置项(详细入门)_echarts配置项手册-CSDN博客第二章echarts实践——柱状图最近接到这么一个需求,需要画页面,然后有这么几个echarts的图需要画,平常我们通过教程......
  • 消息队列知识点总结
    一.什么是中间件?中间件是一类提供系统软件和应用软件连接、便于软件各部分之间沟通的软件,应用软件可以借助中间件在不同技术架构之间共享信息与资源。常用的中间件包括Redis、消息队列、分布式存储等。以智能BI平台项目为例。现有的系统包括图表管理、用户管理等,随着系统应......
  • ant design vue动态显示隐藏表格列字段,支持记忆功能
    本文档内容下载:动态显示隐藏表格列字段,支持记忆功能.docx.zip:​​https://url37.ctfile.com/f/8850437-1036113839-678952?p=4760​​(访问密码:4760)链接:​​https://caiyun.139.com/m/i?135CdoJGCdpkg​​新版本以及新版本代码生成,会自动增加该功能,无需额外修改。仅......
  • 安装"DESeq2", "edgeR", "limma", "clusterProfiler"几个R包
    安装"DESeq2","edgeR","limma","clusterProfiler"bioPackages=c("DESeq2","edgeR","limma","clusterProfiler")#设置镜像local({r<-getOption("repos");r["......
  • Dances
    看这篇题解肯定是先做easyversion的没错,我就是写了那个巨难调的代码的人,然后一个多小时没调出来。。。所以以后再cf中,如果发现自己写的代码巨难调,可以先怀疑一下是否是有其他更简便的解法另外这里其实没有必要二分套二分,在第二次二分的时候,重新对\(a\)数组排个序,然后依次比较......
  • CSS3一些总结
    1.标准流2.浮动3.定位1.relative[相对定位]以当前相对定位的元素原有的位置作为参照物移动指定的距离相对定位的元素移动后,原有的位置仍然会被占用2.absolute[绝对定位]绝对定位的元素移动后,原有的位置不会被占用以其他定位的元素[默认值static不算]作为参照物移......
  • ST MotorControl Workbench 6.2.1 使用总结
    目录前言软件安装根据自己硬件配置参数生成代码开发板运行​ 总结前言好久没有玩ST的电机库了,已经更新到了MotorControlWorkbench6.2.1,6以上的版本比5的版本界面操作有很大的不同,核心算法有些增加。最近体验了一把使用自定义硬件配置生成代码运行,感受就是如果用官......