首页 > 其他分享 >通过DSL实现Elasticsearch数据搜索功能

通过DSL实现Elasticsearch数据搜索功能

时间:2023-06-03 23:33:17浏览次数:45  
标签:算分 文档 查询 DSL score 搜索 query Elasticsearch match

DSL查询分类

  • 查询所有:查询出所有数据,一般测试用。例如:match_all
  • 全文检索(full text)查询:利用分词器对用户输入内容分词,然后去倒排索引库中匹配。例如:
    • match_query
    • multi_match_query
  • 精确查询:根据精确词条值查找数据,一般是查找keyword、数值、日期、boolean等类型字段。例如:
    • ids
    • range
    • term
  • 地理(geo)查询:根据经纬度查询。例如:
    • geo_distance
    • geo_bounding_box
  • 复合(compound)查询:复合查询可以将上述各种查询条件组合起来,合并查询条件。例如:
    • bool
    • function_score

全文检索查询
常见的全文检索查询包括:

  • match查询:单字段查询
  • multi_match查询:多字段查询,任意一个字段符合条件就算符合查询条件
  1. 无条件查询全部
点击查看代码
GET /indexName/_search
{
  "query": {
    "match_all": {}
  }
}
2. match查询:单字段查询
点击查看代码
GET /hotel/_search
{
  "query": {
    "match": {
      "name": "如家"
    }
  }
}
3. multi_match查询:多字段查询,任意一个字段符合条件就算符合查询条件
点击查看代码
GET /hotel/_search
{
  "query": {
    "multi_match": {
      "query": "上海如家",
      "fields": ["brand","business","name"]
    }
  }
}
match和multi_match的区别是什么? - match:根据一个字段查询 - multi_match:根据多个字段查询,参与查询字段越多,查询性能越差

如何避免multi_match查询字段过多导致的性能问题?

  • 使用copy_to关键字,将需要查询的字段设置到一个统一的字段即可。
    示例:

    在新建索引的时候添加一个字段,在把该字段使用copy_to关键字设置到其他字段中即可。

精准查询
term:根据词条精确值查询

点击查看代码
GET /hotel/_search
{
  "query": {
    "term": {
      "city": {
        "value": "北京"
      }
    }
  }
}

范围查询
range:根据值的范围查询

  • gte代表大于等于,gt则代表大于
  • lte代表小于等于,lt则代表小于
点击查看代码
GET /hotel/_search
{
  "query": {
    "range": {
      "price": {
        "gte": 100,
        "lte": 200
      }
    }
  }
}

地理坐标查询
附近查询,也叫做距离查询(geo_distance):查询到指定中心点小于某个距离值的所有文档。换句话来说,在地图上找一个点作为圆心,以指定距离为半径,画一个圆,落在圆内的坐标都算符合条件。

点击查看代码
GET /indexName/_search
{
  "query": {
    "geo_distance": {
      "distance": "15km", // 半径
      "FIELD": "31.21,121.5" // 圆心
    }
  }
}

算分函数查询
fuction score:算分函数查询,可以控制文档相关性算分,控制文档排名。例如百度搜索的广告。
相关性算分:当我们利用match查询时,文档结果会根据与搜索词条的关联度打分(_score),返回结果时按照分值降序排列。
elasticsearch会根据词条和文档的相关度做打分,算法由两种:

  • TF-IDF算法
  • BM25算法,elasticsearch5.1版本后采用的算法
    语法说明:

    function score 查询中包含四部分内容:
  • 原始查询条件:query部分,基于这个条件搜索文档,并且基于BM25算法给文档打分,原始算分(query score)
  • 过滤条件:filter部分,符合该条件的文档才会重新算分
  • 算分函数:符合filter条件的文档要根据这个函数做运算,得到的函数算分(function score),有四种函数
    • weight:函数结果是常量
    • field_value_factor:以文档中的某个字段值作为函数结果
    • random_score:以随机数作为函数结果
    • script_score:自定义算分函数算法
  • 运算模式:算分函数的结果、原始查询的相关性算分,两者之间的运算方式,包括:
    • multiply:相乘
    • replace:用function score替换query score
    • 其它,例如:sum、avg、max、min
      function score的运行流程如下:
  • 1)根据原始条件查询搜索文档,并且计算相关性算分,称为原始算分(query score)
  • 2)根据过滤条件,过滤文档
  • 3)符合过滤条件的文档,基于算分函数运算,得到函数算分(function score)
  • 4)将原始算分(query score)和函数算分(function score)基于运算模式做运算,得到最终结果,作为相关性算分。
    因此,其中的关键点是:
  • 过滤条件:决定哪些文档的算分被修改
  • 算分函数:决定函数算分的算法
  • 运算模式:决定最终算分结果
    示例:
点击查看代码
GET /hotel/_search
{
  "query": {
    "function_score": {
      "query": {
        "match":{
          "all":"外滩"
        }
      }, // 原始查询,可以是任意条件
      "functions": [ // 算分函数
        {
          "filter": { // 满足的条件,品牌必须是如家
            "term": {
              "brand": "如家"
            }
          },
          "weight": 2 // 算分权重为2
        }
      ],
      "boost_mode": "sum" // 加权模式,求和
    }
  }
}

布尔查询
布尔查询是一个或多个查询子句的组合,每一个子句就是一个子查询。子查询的组合方式有:

  • must:必须匹配每个子查询,类似“与”
  • should:选择性匹配子查询,类似“或”
  • must_not:必须不匹配,不参与算分,类似“非”
  • filter:必须匹配,不参与算分
    需要注意的是,搜索时,参与打分的字段越多,查询的性能也越差。因此这种多条件查询时,建议这样做:
  • 搜索框的关键字搜索,是全文检索查询,使用must查询,参与算分
  • 其它过滤条件,采用filter查询。不参与算分
    示例:
点击查看代码
GET /hotel/_search
{
  "query": {
    "bool": {
      "must": [
        {"term": {"city": "上海" }}
      ],
      "should": [
        {"term": {"brand": "皇冠假日" }},
        {"term": {"brand": "华美达" }}
      ],
      "must_not": [
        { "range": { "price": { "lte": 500 } }}
      ],
      "filter": [
        { "range": {"score": { "gte": 45 } }}
      ]
    }
  }
}

标签:算分,文档,查询,DSL,score,搜索,query,Elasticsearch,match
From: https://www.cnblogs.com/wzh-Official/p/17455018.html

相关文章

  • 量子搜索算法
    建议大家去看大佬的原文:量子搜索算法量子搜索算法是什么?假设我们现在有这样一个问题:寻找一个N位的二进制解串:\(X=(x_1x_2...x_n)\),使其满足条件:\(F(X)\leqC\)。其中\(F(X)\)可以是任一函数,\(C\)可以是一个足够小的常数,但保证至少存在一个解满足条件。对于一般情况而言,只能遍......
  • 搜索引擎 回车键 变成换行了怎么处理?
    搜索引擎回车键变成换行了怎么处理?Enter键未在GoogleChrome中执行搜索的可能原因有几个。键盘驱动程序或硬件问题。Chrome扩展。Chrome中的设置。要解决此问题,您可以尝试以下步骤:检查您的键盘驱动程序和硬件。确保您的键盘已正确插入并且驱动程序是最新的。您可以尝试重新......
  • LeetCode 501. 二叉搜索树中的众数
    classSolution{public:vector<int>res;intcnt=0;intfind(TreeNode*root,intval)//返回当前子树值为val的个数{if(!root)return0;returnfind(root->left,val)+find(root->right,val)+(val==root->val);}map&......
  • 方法递归的案例:文件搜索
        ......
  • Spring Boot 整合 分布式搜索引擎 Elastic Search 实现 我附近的、酒店竞排
    文章目录⛄引言一、我附近的酒店⛅需求分析⚡源码编写二、酒店竞价排名⌚需求分析⏰修改搜索业务✅效果图⛵小结⛄引言本文参考黑马分布式ElasticsearchElasticsearch是一款非常强大的开源搜索引擎,具备非常多强大功能,可以帮助我们从海量数据中快速找到需要的内容一、我附近的酒......
  • 搜索
    搜索所谓搜索就是列举所有的可能,也是一种暴力的算法。根据搜索优先级,一般分为深度优先和广度优先。深度优先搜索(DepthFirstSearch):一条路走到底,走不通再回头。广/宽度优先搜索(BreadthFirstSearch):一层一层的搜索。例题P1451求细胞数量P9241飞机降落P1706全排列问题......
  • 4种数据同步到Elasticsearch方案
    上周听到公司同事分享MySQL同步数据到ES的方案,发现很有意思,感觉有必要将这块知识点再总结提炼一下,就有了这篇文章。本文会先讲述数据同步的4种方案,并给出常用数据迁移工具,干货满满!不BB,上文章目录:1.前言在实际项目开发中,我们经常将MySQL作为业务数据库,ES作为查询......
  • 如何使用关键词搜索API接口获取到快手的商品
    如果您想使用关键词搜索API接口获取到快手的商品,可以通过以下步骤实现:1.首先注册账号。根据文档申请相应的接口权限。2.确定需要使用的API接口。对于商品搜索,您可以查看相关的API文档以获取参数和请求方法。3.根据API文档中提供的接口地址、参数等信息,发送HTTP请求。您可以......
  • fastadmin隐藏搜索按钮
     设置showSearch:false即可 ......
  • fastadmin隐藏右上角的搜索按钮及其导出等
     想要隐藏这些按钮,有两种方式一、直接html文件里修改data-show-export="false"data-show-toggle="false"data-show-columns="false"data-search="false"data-common-Search="false" 二、在bootstarpTable初始化的时候设定//初始化表格......