Elasticsearch使用terms聚合之后进行分页排序

引言

elasticsearch中实现聚合也非常常见，同时es的数据量一般比较大，因此聚合结果比较多，像terms聚合默认只返回10条聚合结果，所以聚合之后进行分页，也是非常常见的操作。
es的terms聚合只能传入需要聚合的field和需要聚合返回的条数size，可能一开始我们只能通过将size设置为较大一些，获取全部的聚合结果之后再进行代码手动分页，其实大可不必这样，es的管道聚合中就有bucket_sort针对聚合之后的桶进行分页排序
我们看官方的介绍：

父管道聚合，对其父多桶聚合之后的桶进行排序，可以指定零个或者多个排序字段以及相应的排序顺序，每个bucket可以根据_key或者_count对其子聚合进行排序，此外，可以设置from和size以截取存储的桶，也就算我们所需要的分页。

我们可能发现term聚合中包含参数sort，也可以对聚合之后的桶进行聚合，那么这个order与bucket_sort有什么区别了？官方的介绍：
与所有管道聚合一样，bucket_sort聚合在所有其他非管道聚合之后执行。这意味着排序仅适用于已从父聚合返回的任何bucket。例如，如果父聚合是terms，并且其大小设置为10，则bucket_sort将只对这10个返回的term bucket进行排序。
terms的order是对所有桶进行_key排序或者_count排序，bucket_sort只对terms的size范围内的数据进行_key排序或者_count排序。
参数如下：

sort排序字段

from截取桶起始位置，默认0

size 返回桶数（我们所需要的页数），默认值为父聚合的size

使用bucket_sort的DSL语句

{
  "from": 0,
  "size": 0,
  "query": {
    "bool": {
      "must": [
      ]
    }
  },
  "aggs": {
    "bucketAgg": {
      "terms": {
        "field": "extern.paragraph_id",
        "size": 1000
      },
      "aggs": {
        "toptop": {
          "top_hits": {
            "size": 1,
            "sort": []
          }
        },
        "bucketSort": {
          "bucket_sort": {
            "from": 0,
            "size": 10,
            "sort": []
          }
        }
      }
    }
  }
}

这里使用ElasticsearchRestTemplate作为第三方连接工具：
java代码使用如下，这里假设我们请求第一页page为2，每页10条size为10，所有from为 （2 - 1 ）*10 = 10，size为10

// 桶排序聚合
		BucketSortPipelineAggregationBuilder bucketSortAggregation = PipelineAggregatorBuilders.bucketSort(
				paragraphBucketSortAggName, Lists.emptyList()).from((page - 1) * size).size(size);

terms聚合，添加子聚合bucketSortAggregation，因为我们已经知道需要的页数和条数，所以这个地方的size我们不必设置为较大的默认值,而是当前页数的最后一条记录，为(page - 1) * size + size = page * size

TermsAggregationBuilder termsAggregationBuilder =
				terms(chapterTermsAggName).field("extern.paragraph_id").size(page * size).order(bucketOrders)
				.subAggregation(bucketSortAggregation)

最后需要分页的时候我们发现总条数即总的桶数没法获取呀，这时候我们可以使用指标聚合cardinality

因为cardinality可以统计query不同字段的值，我们只需要将cardinality的field与terms聚合的字段相同就可以得到所有的桶数，
因为一个桶聚合可以同时添加多个指标聚合，java代码实现如下：

CardinalityAggregationBuilder cardinalityAggregation = cardinality(paragraphCardinalityAggName)
				.field("extern.paragraph_id");

ArrayList<BucketOrder> bucketOrders = Lists.newArrayList(BucketOrder.count(false), BucketOrder.key(true));
		TermsAggregationBuilder termsAggregationBuilder =
				terms(chapterTermsAggName).field("extern.paragraph_id").size(page * size).order(bucketOrders)
				.subAggregation(bucketSortAggregation).subAggregation(topHitsAggregation);

最后通过分页工具就可以实现分页之后返回的数据
这里如果需要查询出桶内经过排序之后的最新几条记录，可以使用指标聚合top_hits，

返回桶内经过排序的最近几条记录，比如这里我们需要最新的一条记录，java代码实现

TopHitsAggregationBuilder topHitsAggregation = AggregationBuilders.topHits(topHitsAggName).size(1);
		topHitsAggregation.sort(getAuthorSortBuilder(SortOrder.DESC));
		topHitsAggregation.sort(getTopicLikeSortBuilder(SortOrder.DESC));
		topHitsAggregation.sort(getTopicLikeSortBuilder(SortOrder.DESC));

这里经过tophits之后返回的数据不能直接转为实体，所有我们写一个公用工具类进行转换

package com.bukeneng.ugc.utiils;

import cn.hutool.json.JSONUtil;
import org.elasticsearch.search.SearchHits;

/**
 *
 * @author liufuqiang
 */
public class SearchHitsUtil {
	private SearchHitsUtil() {}

	public static long getTotalCount(SearchHits searchHits) {
		return searchHits.getTotalHits().value;
	}

	public static <T> T getSourceAsEntity(String sourceAsString, Class<T> clazz) {
		return JSONUtil.toBean(sourceAsString, clazz, true);
	}
}

调用：
获取对象
T t = SearchHitsUtil.getSourceAsEntity(topHit.getSourceAsString, T.class);
获取总条数
long totalCount = SearchHitsUtil.getTotalCount(hits);