首页 > 其他分享 >ElasticSearch聚合之管道聚合(Pipeline Aggregation)

ElasticSearch聚合之管道聚合(Pipeline Aggregation)

时间:2022-09-07 18:44:18浏览次数:65  
标签:sort Pipeline 聚合 bucket 管道 ElasticSearch 排序 size

管道聚合

让上一步聚合的结果作为下一个聚合的输入,类似stream()流的操作,当不上终结操作时,每次操作的流都作为下次操作的输入
管道类型有很多种不同类型,每种类型都与其他聚合计算不同的信息,但是可以将这些类型分为两类

  • 父级 父级聚合的输出提供了一组管道聚合,它可以计算新的存储桶或新的聚合以添加到现有存储桶中
  • 兄弟 同级聚合的输出提供管道,并且能够计算与该同级聚合处于同一级别的新聚合

管道聚合可以通过使用bucket_path参数来指示到所需度量的路径,从而引用执行计算所需的聚合。定义这些路径的语法可以在下面的bucket_path语法部分中找到。
比如前置聚合为Bucket聚合,后置聚合为Metric聚合,它可以成为一类管道,进而出现了xxxbucket如Maxbucket,在我们使用中,管道聚合也不少数
大多数管道聚合需要另一个聚合作为其输入。输入聚合通过bucket_path参数定义,该参数遵循特定格式:

AGG_SEPARATOR       =  `>` ;
METRIC_SEPARATOR    =  `.` ;
AGG_NAME            =  <the name of the aggregation> ;
METRIC              =  <the name of the metric (in case of multi-value metrics aggregation)> ;
MULTIBUCKET_KEY     =  `[<KEY_NAME>]`
PATH                =  <AGG_NAME><MULTIBUCKET_KEY>? (<AGG_SEPARATOR>, <AGG_NAME> )* ( <METRIC_SEPARATOR>, <METRIC> ) ;

下面介绍使用次数最多的管道排序

Bucket sort聚合
语法

{
  "bucket_sort": {
    "sort": [
      { "sort_field_1": { "order": "asc" } },   
      { "sort_field_2": { "order": "desc" } },
      "sort_field_3"
    ],
    "from": 1,
    "size": 3
  }
}

父管道聚合,对其父多桶聚合的桶进行排序。可以指定零个或多个排序字段以及相应的排序顺序。
每个桶可以基于其_key、_count或其子聚合进行排序。此外,可以设置参数from和size,以截断结果桶。
我们发现桶排序terms聚合只能根据_key或者根据_count来进行排序,我们可以将聚合之后的桶作为Bucket sort的输入来实现桶之间的排序,也可以实现分页
例如下面查询每个帖子类型按照发帖人数聚合

也可以使用这种聚合来截断结果桶,而不进行任何排序。为此,只需使用from和/或size参数,而不指定排序。
参数介绍

sort 自定义排序
from 位于设定值之前位置的桶将被截断。
size 要返回的桶数。默认为父聚合的所有存储桶。

参考文档
elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-pipeline.html

标签:sort,Pipeline,聚合,bucket,管道,ElasticSearch,排序,size
From: https://www.cnblogs.com/LiuFqiang/p/16666861.html

相关文章

  • jmeter聚合报告
    请求样本平均值最大值最小值中位数错误率吞吐量发送字节接收字节 ......
  • ElasticSearch让的分布式系统架构设计
    注:本文摘自:https://mp.weixin.qq.com/s/dOTF9BVdySiwtkUrNg-gEA分布式系统类型多,涉及面非常广,不同类型的系统有不同的特点,批量计算和实时计算就差别非常大。这篇文章中,重......
  • 干货 | Elasticsearch Java 客户端演进历史和选型指南
    1、Elasticsearchjava客户端为什么要选型?Elasticsearch官方提供了很多版本的Java客户端,包含但不限于:Transport客户端JavaREST客户端LowLevelREST客户端Hi......
  • ElasticSearch进阶:各种ES查询在Java中的实现
    注:本文摘自:https://mp.weixin.qq.com/s/7vEy-vN8JV3o6sAh6HFohA   本文基于elasticsearch7.13.2版本,es从7.0以后,发生了很大的更新。7.3以后,已经不推荐使用Transpo......
  • 可容错安全聚合算法学习笔记
    目录参考文献安全聚合流程写在最前:在学习可容错安全聚合算法时,对其中的许多详细步骤不是特别清楚,遂将学习笔记记录下来,以作后期学习。若有不对请及时纠正。参考文献大......
  • 深入理解全文搜索引擎 Elasticsearch
    注:本文摘抄自:https://mp.weixin.qq.com/s/Q-QV86XntKniQlMohIaexQ生活中的数据搜索引擎是对数据的检索,所以我们先从生活中的数据说起。我们生活中的数据总体分为两种:结......
  • Elasticsearch和Solr的区别
    1、基于Lucene开发他们底层都是基于Lucene开发,使用了Lucene的倒排索引实现的2、解决IO阻塞性能solr在实时建立索引的时候产生的IO阻塞查询性能会比ES差一些3、是否......
  • Java开发学习(三十)----Maven聚合和继承解析
    一、聚合分模块开发后,需要将这四个项目都安装到本地仓库,目前我们只能通过项目Maven面板的install来安装,并且需要安装四个,如果我们的项目足够多,那么一个个安装起来还是......
  • 自定义聚合函数(统计每一个商品的四种行为出现次数)
    要求:统计每一个商品的四种行为出现次数案例packageSparkSQL.fun.projectimportorg.apache.spark.SparkConfimportorg.apache.spark.sql.expressions.{MutableAggre......
  • 自定义聚合函数(统计每种行为的触发次数排名前三的商品id)
    packageSparkSQL.fun.projectimportorg.apache.spark.SparkConfimportorg.apache.spark.sql.expressions.{MutableAggregationBuffer,UserDefinedAggregateFunction......