首页 > 其他分享 >ElasticSearch之Index modules

ElasticSearch之Index modules

时间:2023-12-17 12:12:37浏览次数:27  
标签:Index pipeline index max modules shard 索引 ElasticSearch 默认值

索引的参数,分为两类:

  • 静态参数,仅支持在创建索引时指定,或者关闭索引后指定。
  • 动态参数,允许在索引工作期间指定或者修改。

静态参数

index.number_of_shards
默认值为1
本参数用于控制主分片的数量,仅支持在创建时指定,对于已关闭的索引,修改本参数不会生效。

es.index.max_number_of_shards
默认情况下,每个索引可以使用的分片的数量最大为1024
启动Elasticsearch进程时,可以在命令行中修改参数值,命令样例,如下:

export ES_JAVA_OPTS="-Des.index.max_number_of_shards=128"
./bin/elasticsearch

index.number_of_routing_shards
拆分索引的路由分片数量,和索引主分片index.number_of_shards的取值相关。
默认值位于2~1024之间。

index.codec
可选值为:

  • default,默认选项,使用LZ4算法对保存到盘上的数据执行压缩操作。
  • best_compression,使用DEFLATE算法对保存到盘上的数据执行压缩操作。

变更index.codec的取值后,对后续的segment合并操作生效,可以使用Force merge API强制触发合并操作。

index.routing_partition_size
仅允许在创建索引时指定,索引创建成功后,不支持修改。
默认值为1,参数值需要小于index.number_of_shards

index.soft_deletes.enabled
默认值为true
指示软件删除是否启用,仅在创建索引时允许指定。
可选项,如下:

  • true,默认值,支持软删除。
  • false,关闭软删除。

index.soft_deletes.retention_lease.period
默认值为12h
软删除的数据记录保持在shard中的时长。

index.load_fixed_bitset_filters_eagerly
默认值为true
可选项,如下:

  • true,默认值,启用预加载。
  • false,关闭预加载。

index.shard.check_on_startup
仅限专家使用,在调测问题时,在shard启动过程中增加一些重型的检查操作。
建议完成问题处理后,及时关闭本选项。

可选项,如下:

  • false,默认值,不启用额外的检查。
  • checksum,计算shard关联的所有文件的校验和,校验一致性,评估数据是否存在物理上的损坏。
  • true,执行checksum选项关联的检查操作,同时校验数据的逻辑上可能存在的损坏。

动态参数

index.number_of_replicas
默认值为1
索引的副本数量。

index.auto_expand_replicas
默认值为false
依据集群中节点的数量,自动扩展索引的副本的数量。
可选项,如下:

  • false,默认行为,即不自动扩展副本的数量。
  • 区间,比如0-5,或者0-all

index.search.idle.after
默认值为30s
shard的状态为空闲时,才能接收并处理检索请求。
本参数指定了等待shard进入空闲状态的时长。

index.refresh_interval
默认值为1s
对索引的变更,只有执行刷新操作之后,才能被外部检索到。
本参数指定了后台执行的刷新操作的定时任务运行的时间间隔。
可选项,如下:

  • 1s,默认值。
  • -1s,禁用后台的刷新操作。

当本参数没有显式指定时,有如下行为:

  • 处于空闲状态的shard不会响应刷新操作。
  • 当处于空闲状态的shard收到查询请求时,主动触发一次刷新操作,然后再执行查询操作。

index.max_result_window
默认值为10000
使用from + size方式检索数据时,本参数用于控制返回结果的记录的数量。
检索操作占用的JVM堆内存和消耗的时间,和from + size的值正相关,使用本参数可有效控制前述资源的占用量。
假如需要获取更多的检索结果,需要考虑使用scroll或者search-after

index.max_inner_result_window
默认值为100
使用from + size方式检索数据时,本参数用于限制检索操作占用的JVM堆内存和消耗的时间。

index.max_rescore_window
检索请求参数中window_size字段取值的上限,默认值与index.max_result_window的取值相同。
本参数用于限制检索操作占用的JVM堆内存和消耗的时间。

index.max_docvalue_fields_search
默认值为100
在查询请求中,docvalue_field个数的上限。

index.max_script_fields
默认值为32
在查询请求中,script_field个数的上限。

index.max_ngram_diff
默认值为1
对于NGramTokenizerNGramTokenFiltermin_grammax_gram之间差值的最大值。

index.max_shingle_diff
默认值为3
max_shingle_sizemin_shingle_size之间差值的最大值。

index.max_refresh_listeners
在索引的每个shard上允许指定的listener数量的上限。

index.analyze.max_token_count
默认值为10000
使用_analyzeAPI时支持的Token的最大数量。

index.highlight.max_analyzed_offset
默认值为1000000
highlight request时允许被分析的字符的最大数量。

index.max_terms_count
默认值为65536
使用Terms Query时,允许使用的条件的最大数量。

index.max_regex_length
默认值为1000
使用Regexp Query时,允许使用的正则表达式的最大长度。

index.query.default_field
控制如下类型的查询操作允许生效的字段。

index.routing.allocation.enable
指示是否启用shard的分配能力。
可选值,如下:

  • all,默认值,全部shard支持分配。
  • primaries,主shard支持分配。
  • new_primaries,仅有新创建的shard支持分配。
  • none,所有shard禁止分配。

index.routing.rebalance.enable
指示是否启用shard的再平衡能力。
可选值,如下:

  • all,默认值,全部shard启用再平衡能力。
  • primaries,只针对主shard启用再平衡能力。
  • replicas,只针对副本的shard启用再平衡能力。
  • none,关闭shard的再平衡能力。

index.gc_deletes
被删除的数据记录,其版本号仍然可用的时长。
默认值为60s

index.default_pipeline
默认的ingest pipeline对象。
_none是特殊的pipeline对象,表示空的pipeline对象。

index.final_pipeline
最后的ingest pipeline对象。
request pipelinedefault pipeline之后运行,本参数指定的pipeline必须可用,否则将导致索引相关的操作失败。
_none是特殊的pipeline对象,表示空的pipeline对象。

index.hidden
使用模糊匹配时,是否隐藏本索引对象的相关信息。
可选值,如下:

  • true,即开启模糊匹配时,本索引被隐藏。
  • false,默认值,即开启模糊匹配时,允许本索引被匹配到,并返回相关信息。

相关资料


标签:Index,pipeline,index,max,modules,shard,索引,ElasticSearch,默认值
From: https://www.cnblogs.com/jackieathome/p/17908914.html

相关文章

  • elasticsearch get查询方式
    api:(elasticsearch版本7.3)#通过id查询GET<index>/_doc/<_id>#判断是否存在HEAD<index>/_doc/<_id>#通过id查询GET<index>/_source/<_id>#判断是否存在HEAD<index>/_source/<_id>#查询指定index的多个文档GET/<index>/_mget#查询多个文......
  • elasticsearch 文档更新操作:update和update_by_query
    API:(elasticsearch版本7.3)POST/<index>/_update/<_id>POST/<index>/_update_by_query1.POST/<index>/_update/<_id>支持脚本,可以更新、删除或跳过修改文档。更新文档部分内容,传递部分文档,将其合并到现有文档中。#测试--post/update脚本修改文档POST/king_test_p......
  • elasticsearch 文档删除操作:delete和delete_by_query
    api:(elasticsearch版本7.3)#删除指定id的文档DELETE/<index>/_doc/<_id>#按查询条件删除POST/<index>/_delete_by_query1.DELETE/<index>/_doc/<_id>删除指定id的文档#测试--删除文档DELETE/king_test_person/_doc/223/2.POST/<index>/_dele......
  • 无涯教程-Java - int lastIndexOf(String str)函数
    如果string参数作为该对象中的子字符串出现一次或多次,则它返回最后出现的第一个字符的索引,如果没找到,则返回-1。intlastIndexOf-语法这是此方法的语法-publicintlastIndexOf(Stringstr)这是参数的详细信息-str   -  一个字符串。intlastIndexOf-返回值......
  • elasticsearch---修改文档
    修改有两种方式:全量修改:直接覆盖原来的文档增量修改:修改文档中的部分字段 全量修改是覆盖原来的文档,其本质是:根据指定的id删除文档新增一个相同id的文档注意:如果根据id删除时,id不存在,第二步的新增也会执行,也就从修改变成了新增操作了。 增量修改增量修改......
  • 无涯教程-Java - int lastIndexOf(String str, int fromIndex)函数
    此方法返回最后一次出现的指定子字符串在此字符串内的索引,从指定索引(fromIndex)开始向后搜索。intlastIndexOf-语法publicintlastIndexOf(Stringstr,intfromIndex)这是参数的详细信息-fromIndex - 从中开始搜索的索引。str        - 一个......
  • 无涯教程-Java - int lastIndexOf(int ch, int fromIndex)函数
    此方法返回此对象表示的字符序列中该字符最后一次出现的索引,该索引小于或等于fromIndex,如果没找到,则返回-1。intlastIndexOf-语法publicintlastIndexOf(intch,intfromIndex)这是参数的详细信息-ch         - 一个字符。fromIndex  - 从......
  • 无涯教程-Java - int lastIndexOf(int ch)函数
    此方法返回此对象表示的字符序列中该字符最后一次出现的索引,如果没找到,则返回-1。intlastIndexOf-语法这是此方法的语法-intlastIndexOf(intch)这是参数的详细信息-ch   - 一个字符。intlastIndexOf-返回值此方法返回索引位置。intlastIndexOf-示例im......
  • 无涯教程-Java - int indexOf(String str)函数
    此方法返回指定子字符串首次出现在该字符串中的索引。如果不存在,则返回-1。intindexOf(Stringstr)-语法intindexOf(Stringstr)这是参数的详细信息-str   - 一个字符串。intindexOf(Stringstr)-示例importjava.io.*;publicclassTest{publicsta......
  • 无涯教程-Java - int indexOf(int ch, int fromIndex)函数
    此方法返回指定字符首次出现在该字符串中的索引,如果没有出现该字符,则从指定索引fromIndex或-1开始搜索。intindexOf-语法publicinindexOf(charch,intfromIndex)这是参数的详细信息-ch        - 一个字符。fromIndex  - 从中开始搜索的索......