目录
- from+size分页
1.1 from+size的命令行实现
1.2 from+size的RestHighLevelClient实现 - scroll 分页
2.1 scroll分页的命令行实现
2.2 scroll的RestHighLevelClient实现 - search_after分页
3.1 search_after的命令行实现
3.2 search_after的的RestHighLevelClient实现 - 总结
正文
ES作为数据源的分页查询。 数据量如果过大,使用浅分页可能会引发性能问题,可以考虑search_after深分页,当然是要根据具体业务场景进行分析。
分页一般有三种方式:
- es默认采用的是from+size形式,在深度分页的情况下,这种效率是非常低的,但是可以随机跳转页面;
- scroll search 方式(滚动搜索),官方的建议并不是用于实时的请求,因为每一个 scroll_id 不仅会占用大量的资源(特别是排序的请求),而且是生成的历史快照,对于数据的变更不会反映到快照上。这种方式往往用于非实时处理大量数据的情况,比如要进行数据迁移或者索引变更之类的。
- search_after方式(滚动搜索),可以在实时的情况下处理深度分页,在Es5.x版本后提供的功能,search_after缺点是不能够随机跳转分页,只能是一页一页的向后翻,并且需要至少指定一个唯一不重复字段来排序。
1. from+size分页
Es封装RestHighLevelClient和BulkProcessor的工具类
1.1 from+size的命令行实现
GET /test_demo/_search
{
"query":{
"match_all": {}
},
"from":5000,
"size":10
}
上面意味着es需要在各个分片上匹配排序并得到5010条数据,协调节点拿到这些数据再进行排序,然后结果集中取最后10条数据返回。
上述语句性能低的原因:我们只需要10条数据,而es每个分片都需要执行from+size条数据然后处理后返回。
es为了性能,会限制我们分页的深度,es目前支持最大的max_result_window = 10000,也就是from+size的大小不能超过10000。
![](http://upload-images.jianshu.io/upload_images/16013479-010c88f297694605.png?imageMogr2/auto-orient/strip|imageView2/2/w/1200/format/webp)
1.2 from+size的RestHighLevelClient实现
/**
* 浅分页查询
*
* @throws IOException
*/
public static void testPage() throws IOException {
SearchRequest searchRequest = new SearchRequest();
SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
//排序条件
searchSourceBuilder.sort("id", SortOrder.ASC);
searchSourceBuilder.sort("publishTime", SortOrder.DESC);
//分页查询
searchSourceBuilder.from(2);
searchSourceBuilder.size(2);
EsUtil.remoteSearch(searchRequest, searchSourceBuilder);
}
2. scroll 分页
在es中我们分页要请求大数据集或者一次请求要获取大的数据集,scroll[skrəʊl]
都是一种非常好的解决方案。
scroll也是滚动搜索。会在第一次搜索的时候,保存一个当时的快照。之后只会基于该旧的视图快照提供数据搜索。在这个期间发生变动,是不会让用户看到的。
官方的建议并不是用于实时的请求,因为每一个 scroll_id 不仅会占用大量的资源(特别是排序的请求),而且是生成的历史快照,对于数据的变更不会反映到快照上。这种方式往往用于非实时处理大量数据的情况,比如要进行数据迁移或者索引变更之类的。
2.1 scroll分页的命令行实现
- 第一步:进行搜索,生成scrollId。
GET test_demo/_search?scroll=1m
{
"size":2,
"query":{
"terms":{
"tag":[
"疫情"
],
"boost":"1.0"
}
}
}
- 后续在使用第一步生成的scrollId进行滚动查询。
POST /_search/scroll
{
"scroll": "5m",
"scroll_id": "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAylJEWQ3Z4cHRTRzVTeXVqRG9YY1R5Q3hYdw=="
}
2.2 scroll的RestHighLevelClient实现
public static void testScroll() throws IOException {
SearchRequest searchRequest = new SearchRequest();
//失效时间为1min
Scroll scroll = new Scroll(TimeValue.timeValueMinutes(1));
//封存快照
searchRequest.scroll(scroll);
/**
* 查询条件
*/
SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
TermQueryBuilder termQueryBuilder = QueryBuilders.termQuery("tag", "疫情");
searchSourceBuilder.query(termQueryBuilder);
/**
* 分页参数
*/
searchSourceBuilder.size(2);
searchRequest.indices("test_demo");
//放入文档中
searchRequest.source(searchSourceBuilder);
log.info("dsl:" + searchSourceBuilder.toString());
//远程查询
SearchResponse searchResponse = EsUtil.getRestHighLevelClient().search(searchRequest, RequestOptions.DEFAULT);
//元素数量
Iterator<SearchHit> it1 = searchResponse.getHits().iterator();
while (it1.hasNext()) {
SearchHit next = it1.next();
log.info("输出数据:" + next.getSourceAsString());
}
log.info("=======================||");
//计算总数量
long totalCount = searchResponse.getHits().getTotalHits().value;
//得到总页数
int page = (int) Math.ceil((float) totalCount / 2);
//多次遍历分页,获取结果
String scrollId = searchResponse.getScrollId();
for (int i = 1; i <= page; i++) {
//获取到该id
SearchScrollRequest searchScrollRequest = new SearchScrollRequest(scrollId);
searchScrollRequest.scroll(scroll);
SearchResponse response = EsUtil.getRestHighLevelClient().scroll(searchScrollRequest, RequestOptions.DEFAULT);
//打印数据
SearchHits hits = response.getHits();
scrollId = response.getScrollId();
Iterator<SearchHit> iterator = hits.iterator();
while (iterator.hasNext()) {
SearchHit next = iterator.next();
log.info("输出数据:" + next.getSourceAsString());
}
log.info("=======================");
}
}
3. search_after分页
可以在实时的情况下处理深度分页,在Es5.x版本后提供的功能,search_after缺点是不能够随机跳转分页,只能是一页一页的向后翻,并且需要至少指定一个唯一不重复字段来排序。
3.1 search_after的命令行实现
注意:search_after必须指定一个唯一不重复的字段来排序,此处我们指定了两个字段进行排序,
该例子:id是唯一不重复字段,publishTime可能会重复。
GET test_demo/_search
{
"query": {
"match_all": {
}
},
"size": 2,
"sort":[
{"id":"asc"},
{"publishTime":"desc"}
]
}
![](http://upload-images.jianshu.io/upload_images/16013479-da2bafad1f1235ed.png?imageMogr2/auto-orient/strip|imageView2/2/w/1200/format/webp)
注意,结果返回的sort字段,存储的是最后一组的排序字段的值,而search_after在下次搜索时,需要携带该数据。
![](http://upload-images.jianshu.io/upload_images/16013479-8964ee5b9658a7ea.png?imageMogr2/auto-orient/strip|imageView2/2/w/1200/format/webp)
最终完成了滚动分页操作。
3.2 search_after的的RestHighLevelClient实现
public static void testSearchAfter() throws IOException {
SearchRequest searchRequest = new SearchRequest();
SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
//排序条件
searchSourceBuilder.sort("id", SortOrder.ASC);
searchSourceBuilder.sort("publishTime", SortOrder.DESC);
//分页查询
searchSourceBuilder.size(2);
List<SearchHit> remoteSearch = EsUtil.remoteSearch(searchRequest, searchSourceBuilder);
//查询最后一笔数据
SearchHit result = remoteSearch.get(remoteSearch.size() - 1);
//序列化为对象
//分页查询下一页数据
log.info("=====================下一页============================");
SearchRequest searchRequest2 = new SearchRequest();
SearchSourceBuilder searchSourceBuilder2 = new SearchSourceBuilder();
//排序条件
searchSourceBuilder2.sort("id", SortOrder.ASC);
searchSourceBuilder2.sort("publishTime", SortOrder.DESC);
//存储上一次分页的sort信息
searchSourceBuilder2.searchAfter(result.getSortValues());
searchSourceBuilder2.size(2);
EsUtil.remoteSearch(searchRequest2, searchSourceBuilder2);
}
4. 总结
![](http://upload-images.jianshu.io/upload_images/16013479-4236e521f947e30b.png?imageMogr2/auto-orient/strip|imageView2/2/w/1126/format/webp)
标签:search,分页,searchSourceBuilder,实现,after,RestHighLevelClient,scroll,size From: https://www.cnblogs.com/yuarvin/p/16658645.html