首页 > 其他分享 >Elastic Search使用ik分词器测试分词效果实现------Elastic Search

Elastic Search使用ik分词器测试分词效果实现------Elastic Search

时间:2024-07-15 21:55:31浏览次数:19  
标签:Search end Elastic start token 分词器 offset position type

POST _analyze
{
  "analyzer": "ik_max_word",
  "text": "一刀999是兄弟就来砍我"
}

POST _analyze
{
  "analyzer": "ik_max_word",
  "text": "一刀999是兄弟就来砍我"
}

{
  "tokens" : [
    {
      "token" : "一刀",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "一",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "TYPE_CNUM",
      "position" : 1
    },
    {
      "token" : "刀",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "COUNT",
      "position" : 2
    },
    {
      "token" : "999",
      "start_offset" : 2,
      "end_offset" : 5,
      "type" : "ARABIC",
      "position" : 3
    },
    {
      "token" : "是",
      "start_offset" : 5,
      "end_offset" : 6,
      "type" : "CN_CHAR",
      "position" : 4
    },
    {
      "token" : "兄弟",
      "start_offset" : 6,
      "end_offset" : 8,
      "type" : "CN_WORD",
      "position" : 5
    },
    {
      "token" : "就来",
      "start_offset" : 8,
      "end_offset" : 10,
      "type" : "CN_WORD",
      "position" : 6
    },
    {
      "token" : "砍",
      "start_offset" : 10,
      "end_offset" : 11,
      "type" : "CN_CHAR",
      "position" : 7
    },
    {
      "token" : "我",
      "start_offset" : 11,
      "end_offset" : 12,
      "type" : "CN_CHAR",
      "position" : 8
    }
  ]
}

 {
  "tokens" : [
    {
      "token" : "一刀",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "一",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "TYPE_CNUM",
      "position" : 1
    },
    {
      "token" : "刀",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "COUNT",
      "position" : 2
    },
    {
      "token" : "999",
      "start_offset" : 2,
      "end_offset" : 5,
      "type" : "ARABIC",
      "position" : 3
    },
    {
      "token" : "是",
      "start_offset" : 5,
      "end_offset" : 6,
      "type" : "CN_CHAR",
      "position" : 4
    },
    {
      "token" : "兄弟",
      "start_offset" : 6,
      "end_offset" : 8,
      "type" : "CN_WORD",
      "position" : 5
    },
    {
      "token" : "就来",
      "start_offset" : 8,
      "end_offset" : 10,
      "type" : "CN_WORD",
      "position" : 6
    },
    {
      "token" : "砍",
      "start_offset" : 10,
      "end_offset" : 11,
      "type" : "CN_CHAR",
      "position" : 7
    },
    {
      "token" : "我",
      "start_offset" : 11,
      "end_offset" : 12,
      "type" : "CN_CHAR",
      "position" : 8
    }
  ]
}

标签:Search,end,Elastic,start,token,分词器,offset,position,type
From: https://blog.csdn.net/2201_75960169/article/details/140430679

相关文章

  • Elasticsearch 基于查询数据导出,导入到索引
    elasticsearch导出elasticdump--input="http://username:[email protected]/domain_slowlog_es_*"--output="D:\Software\es_slow_log_total.json"--type=data--limit=1000--headers="{\"Content-Type\":\&......
  • ELK Stack - Elasticsearch · 搜索引擎 · 部署应用 · 内部结构 · 倒排索引 · 服
    系列目录ELKStack-Elasticsearch·搜索引擎·全文检索·部署应用·内部结构·倒排索引·服务接入ELKStack-Kibana(待续)ELKStack-Logstash(待续)ELKStack-Beats(待续)ELKStack-ApplicationPerformanceMonitoring(待续)本章基于:RHELinux......
  • Win11系统提示找不到LockSearchAPI.dll文件的解决办法
    其实很多用户玩单机游戏或者安装软件的时候就出现过这种问题,如果是新手第一时间会认为是软件或游戏出错了,其实并不是这样,其主要原因就是你电脑系统的该dll文件丢失了或没有安装一些系统软件平台所需要的动态链接库,这时你可以下载这个LockSearchAPI.dll文件(挑选合适的版本文件)......
  • elasticsearch性能调优方法原理与实战
    ❃博主首页:「码到三十五」,同名公众号:「码到三十五」,wx号:「liwu0213」☠博主专栏:<mysql高手><elasticsearch高手><源码解读><java核心><面试攻关>♝博主的话:搬的每块砖,皆为峰峦之基;公众号搜索「码到三十五」关注这个爱发技术干货的coder,......
  • 基于Ubuntu 24.04 LTS安装elasticsearch-8.14.3+Kibanna
    1.安装Elasticsearch1.1下载Elasticsearch#1.更新包索引sudoaptupdate#2.升级已安装的软件包sudoaptupgrade-y#3.进入/opt目录cd/opt#4.下载Elasticsearch压缩包sudowgethttps://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8......
  • 推荐一个Elasticsearch ES可视化客户端工具:ES-King,支持win、mac、linux
    ES-King:开源免费,一个现代、实用的ESGUI客户端,支持多平台。下载地址:https://github.com/Bronya0/ES-King我之前开源的kafka客户端kafka-king(https://github.com/Bronya0/Kafka-King)已经有二百多star了,2k下载,后来又花了不少精力写了一个ES客户端,不过没怎么推广,于是写个文章介绍下......
  • 麒麟V10 安装ELK详细步骤(elasticsearch + kibana + logstash)
    一、ELK介绍ELK系统是一个开源的大数据分析和搜索引擎组合,主要由以下三个部分组成:Elasticsearch:作用:一个分布式搜索和分析引擎,可以处理大规模的结构化和非结构化数据。特点:支持全文搜索、结构化搜索和分析、实时搜索和分析、分布式计算,具有高可扩展性和高可用性。Logsta......
  • SOEE5010 Research Methods
    SOEE5010ResearchMethodsSummativeAssessmentGuidelinesContentandstructureoftheresearchpaperThefinalassignmentconsistsofa3,000wordresearchpaperanda200wordabstract(3,200wordsintotal)onadaptationtofloodingintheUKthatrepo......
  • 持续学习中避免灾难性遗忘的Elastic Weight Consolidation Loss数学原理及代码实现
    训练人工神经网络最重要的挑战之一是灾难性遗忘。神经网络的灾难性遗忘(catastrophicforgetting)是指在神经网络学习新任务时,可能会忘记之前学习的任务。这种现象特别常见于传统的反向传播算法和深度学习模型中。主要原因是网络在学习新数据时,会调整权重以适应新任务,这可能会导致之......
  • 在生产环境中部署Elasticsearch:最佳实践和故障排除技巧——安装篇(一)
    #在生产环境中部署Elasticsearch:最佳实践和故障排除技巧——安装篇(一)前言关键字:机器学习人工智能AIchatGPT学习实现使用搭建深度python事件远程dockermysql安全技术部署技术自动化代码文章目录-------------......