首页 > 其他分享 >Solr 缓存配置

Solr 缓存配置

时间:2023-03-22 22:38:09浏览次数:35  
标签:缓存 搜索器 配置 查询 文档 Solr 过滤器 solr


Solr缓存与Solr的索引搜索器(SolrIndexSearcher)息息相关的,而众所周知,索引的结构很难做出大的变动,效率也是板上钉钉的事情。因此提高索引搜索器的使用效率,使之在任何缓存都能够高效并可重用是目前需要我们去做的工作。在Solr中所提到的缓存和我们平常遇到的缓存不同。在Solr中的缓存对象将不会在一段时间之后过期,也就是说,只要索引搜索器是存在的,那么高速缓存对象也一定存在。

满足索引搜索器服务的要求,并在一个新的搜索器被打开,新的会自动后台预热,原来的那个搜索器仍然满足对外服务的要求。新的搜索器就绪时,它将作为当前搜索被注册,并将处理以后新的搜索请求。而旧的搜索器在把它当前所有搜索请求完成后,将会关闭。当前新的搜索器被做为自动预热的根源。在打开一个新的搜索者时其高速缓存可能会预先设定或者自动预热,并使用旧的搜索器的数据缓存。目前有两种缓存实现 — — solr.search.LRUCache (LRU = 最近最少使用内存中),和 solr.search.FastLRUCache。

 

常见的缓存配置参数

class

您想要使用、 可实现的 SolrCache 实现的 

solr.search.LRUCache 

solr.search.FastLRUCache 

size

最大高速缓存中的条目数。initialSize

 

autowarmCount

从旧的缓存中需要预热的缓存对象数量。在打开一个新的搜索器时其高速缓存可能会从缓存中旧的搜索器所属的缓存对象预设或者"autowarmed"。autowarmCount 是将新的搜索在重新生成的缓存条目数。现在可以将 autowarmCount 指定为百分比 (即: 90%) 可计算相对现有缓存中的项的数目。

 

Types of Caches and Example Configuration

FilterCache

 

过滤器缓存(filterCache)存储无序的文档编号列表。此缓存有三个不同的目的:

1、 过滤器缓存存储任何solr明确要求执行的过滤查询结果(fq参数)。每个过滤器和缓存分别执行。闲暇时用它来限制查询所返回结果的数量.)

2、 过滤器缓存是用于在某些情况下,小面。 (特别是,当TermEnum方法是使用一个filterCache项为每个测试项补充说。)

3、 过滤器缓存可能被用来进行排序,如果<useFilterForSortedQuery/>配置选项设置为true在solfconfig.xml。

如果使用fieldCache的方法,建议设置filterCache大小比例。

 

QueryResultCache

 

此缓存中存储的文档 id,是按某些条件查询结果排序的有序的集。

在 queryResultCache 的内存使用情况明显小于在 filterCache ,因为它只存储文档由查询返回给用户的 id。

DocumentCache

存储在documentCache是从磁盘中提取的Lucene的文档对象。越是字段存储在磁盘上,这种缓存的内存使用量将越高。

 

User/Generic Caches

用户/通用缓存,通过SolrIndexSearcher.getCache(),cacheLookup(),目的是使用户/应用程序级数据的简单缓存。参数应指定为实现solr.search.CacheRegenerator。

 

Lucene FieldCache

Lucene 具有一个低级别"字段 缓存",用于进行排序 (和在某些情况下 faceting)

 

 

================================================

 



缓存在 Solr 中充当了一个非常重要的角色,Solr 中主要有这三种缓存:



  • Filter cache(过滤器缓存),用于保存过滤器(fq 参数)和层面搜索的结果
  • Document cache(文档缓存),用于保存 lucene 文档存储的字段
  • Query result(查询缓存),用于保存查询的结果

还有第四种缓存,lucene 内部的缓存,不过该缓存外部无法控制到。

通过这 3 种缓存,可以对 solr 的搜索实例进行调优。调整这些缓存,需要根据索引库中文档的数量,每次查询结果的条数等。
在调整参数前,需要事先得到 solr 示例中的以下信息:

  • 索引中文档的数量
  • 每秒钟搜索的次数
  • 过滤器的数量
  • 一次查询返回最大的文档数量
  • 不同查询和不同排序的个数

这些数量可以在 solr admin 页面的日志模块找到。假设以上的值分别为:

  • 索引中文档的数量:1000000
  • 每秒钟搜索的次数:100
  • 过滤器的数量:200
  • 一次查询返回最大的文档数量:100
  • 不同查询和不同排序的个数:500

然后可以开始修改 solrconfig.xml 中缓存的配置了,第一个是过滤器缓存:

<filterCache class="solr.FastLRUCache" size="200" initialSize="200"  autowarmCount="100"/>



第二个是查询结果缓存:


<queryResultCache class="solr.FastLRUCache" size="500" initialSize="500" autowarmCount="250"/>



第三个是文档缓存:


<documentCache class="solr.FastLRUCache" size="11000" initialSize="11000" />



这几个配置是基于以上的几个假设的值进行调优的。

标签:缓存,搜索器,配置,查询,文档,Solr,过滤器,solr
From: https://blog.51cto.com/u_2650279/6143454

相关文章

  • solr q查询容错性
    当solr接收没q参数(或q参数值为空)请求时,会报错。对开发调试时才比较有用,但实际运行环境报错就不太好了,java异常可能有点性能消耗,那干脆就返回正常的结果好了(只是结果里没有找......
  • Twitter Storm安装配置(单机版)
    storm的官方安装说明(e文):https://github.com/nathanmarz/storm/wiki/Setting-up-a-Storm-cluster storm的安装分为单机版和集群版,只是配置稍微有点区别,大致一样。 要使用st......
  • solrcloud&zookeeper集群搭建
    solrcloud&zookeeper集群搭建zookeeper的配置解压tar–zxvfzookeeper.XXX.tar.gz配置dataDir:zookeeper的管理的节点信息需要记录在该路径下的data目录下默认启动端口218......
  • tensorrt的VS props配置
    版本:TensorRT-8.5.3.1.Windows10.x86_64.cuda-11.8.cudnn8.6cuda_11.8.0_522.06_windowscudnn-windows-x86_64-8.6.0.163_cuda11-archiveZlibOpenCV4.7.0安装参考......
  • nginx的location与proxy_pass配置超详细讲解及其有无斜杠( / )结尾的区别
    本文所使用的环境信息如下:windows11(主机系统)virtual-box-7.0环境下的ubuntu-18.04nginx-1.22.1(linux)斜杠结尾之争实践中,nginx里最常用的指令就是location和pr......
  • jdk的安装,以及配置和环境变量
    卸载JDK删除java的安装目录删除path中关于java的目录删除JAVA_HOMEjava-version安装JDK百度搜索JDK8,找到下载的地址同意协议双击安装JDK记住安装的路径......
  • Dbeaver22.0.3 连线配置mysql8版本
    编辑驱动新建连接,选则mysql库选中本地的jar文件点击编辑驱动后,选中库页签,添加文件,选中本地jar包参考https://www.cnblogs.com/jinci2022/p/16525548.html......
  • linux学习-配置redis密码以及主从配置
    配置redis密码查找redis.conf,搜索requirepass关键字,如下图:去掉注释,增加密码配置,重启服务器即可#重启服务systemctlrestartredis#测试连接redis-cli-h127.0.0.1-p......
  • Node.js安装与配置(详细步骤)
    前言本篇博文记录了Node.js安装与环境变量配置的详细步骤,旨在为将来再次配置Node.js时提供指导方法。另外:Node.js版本请根据自身系统选择,安装位置、全局模块存放位置和环......
  • 06alertmanager配置邮件触发告警
    配置前提:1.部署好prometheus,alertmanager2.配置好告警规则,alertmanager要先可以接收到告警 一.配置alertmanager 1.查看alertmanager.yml配置文件  2.添加......