首页 > 其他分享 >es大表删除数据

es大表删除数据

时间:2023-07-31 15:24:40浏览次数:25  
标签:search elastic 删除 reason context query type es 大表

 

curl -u elastic:elastic -X POST -H 'Content-Type: application/json' "http://192.168.1.134:19200/app_message_all/_delete_by_query?slices=3&wait_for_completion=false&scroll_size=5000&conflicts=proceed"  -d'
{
  "query": { 
    "match": {
      "massive_type": "0"
    }
  }
}
'

 

上面语句立即返回:
{"task":"HEPkjUM_Sh27MMLXYY6J5g:57880428"}

 

可以查看后台任务:
curl -u elastic:elastic -X GET "192.168.1.134:19200/_tasks?pretty"

 

各参数说明:

slices:线程数(根据CPU的数量设置)


wait_for_completion:如果设置为true,则导致 API 阻塞,直到索引器状态完全停止。
如果设置为false,API 立即返回,并且索引器在后台异步停止。
默认为 false。如果请求包含 wait_for_completion=false,则 Elasticsearch 将执行一些预检检查,
启动请求,然后返回一个task 可用于任务 API 以取消或获取任务状态的内容。
Elasticsearch 还将创建此任务的记录作为文档,位于.tasks/task/${taskId}.
这是您认为合适的保留或删除。完成后,将其删除,以便 Elasticsearch 可以回收它使用的空间。

 

scroll_size:游标查询,根据index.max_result_window值设置,scroll_size应当小于index.max_result_window值,默认是10000


conflicts:在_delete_by_query执行过程中,依次执行多个搜索请求,
以便找到所有匹配的文档进行删除。每找到一批文档,就会执行相应的批量请求,
删除所有这些文档。如果搜索或批量请求被拒绝,_delete_by_query 则依靠默认策略重试被拒绝的请求(最多 10 次,指数回退)。
达到最大重试限制会导致_delete_by_query 中止,并且所有失败都在failures响应中返回。已执行的删除仍然存在。换句话说,
该过程没有回滚,只是中止。当第一次失败导致中止时,失败的批量请求返回的所有失败都在failures 元素;
因此,可能会有相当多的失败实体。如果您想计算版本冲突而不是导致它们中止,
请conflicts=proceed在 url 或"conflicts": "proceed"请求正文中设置。

 

若不加参数控制,会直接报错误:

curl -u elastic:elastic -X POST "http://192.168.1.134:19200/app_message_all/_delete_by_query?pretty" -H 'Content-Type: application/json' -d'
{
  "query": { 
    "match": {
      "massive_type": "0"
    }
  }
}
'

{
  "error" : {
    "root_cause" : [
      {
        "type" : "search_context_missing_exception",
        "reason" : "No search context found for id [3882351]"
      }
    ],
    "type" : "search_phase_execution_exception",
    "reason" : "all shards failed",
    "phase" : "query",
    "grouped" : true,
    "failed_shards" : [
      {
        "shard" : -1,
        "index" : null,
        "reason" : {
          "type" : "search_context_missing_exception",
          "reason" : "No search context found for id [3882351]"
        }
      }
    ],
    "caused_by" : {
      "type" : "search_context_missing_exception",
      "reason" : "No search context found for id [3882351]"
    }
  },
  "status" : 404
}

 

标签:search,elastic,删除,reason,context,query,type,es,大表
From: https://www.cnblogs.com/hxlasky/p/17593493.html

相关文章

  • JDK 版本异常导致 flutter doctor --android-licenses 出错 (class file version 61.0
    flutterdoctor--android-licensesError:AJNIerrorhasoccurred,pleasecheckyourinstallationandtryagainExceptioninthread"main"java.lang.UnsupportedClassVersionError:com/android/sdklib/tool/sdkmanager/SdkManagerClihasbeencompil......
  • onnx2rknn (picodet_s_192_pedestrian_sim.onnx 量化时出现错误)
    EValueError:Cannotreshapeatensorwith1843200elementstoshape[100,8](800elements)for'Reshape_Reshape_8_32/Reshape_Reshape_8_32'(op:'Reshape')withinputshapes:[100,24,24,32],[2]andwithinputtensorscomputedasparti......
  • UBOOT | 可以删除的文件列表
    cpu目录:只留arm_cortexa8cpu/arm_cortexa8/:删除mx51删除omap3board目录:只留samsungboard/samsung:只留fs210lib_xxx:留lib_arm留lib_genericinclude/asm-xxx留asm-generic留asm留asm-arm|留arch留arch-s5pc1xx include/configs留fs210_nand.h============......
  • es根据条件删除命令
     请求方式:posturl:http://127.0.0.1:1015/transaction_index/_delete_by_query body:{"query":{"bool":{"filter":[{"term":{......
  • java删除对象的某个属性
    Java删除对象的某个属性在Java编程中,我们经常需要对对象进行操作和修改。有时候,我们需要删除对象的某个属性,以便满足特定的需求。本文将介绍如何在Java中删除对象的某个属性,并提供相应的代码示例。删除对象属性的常见场景在实际的开发中,有一些常见的场景需要删除对象的某个属性,......
  • DRF之Request常用参数
    登录成功,将token封装好返回给前端,前端再放到locallsession里永久化存储。导航守卫拿到token后就进行第一层守卫防止没登录用户通过。再由拦截器进行校验。这个请求头'Authorization'主浊JWT搞得那个加密token,后端就是要校验这个玩意儿我想。获取时在jwtauth里加上HTTP_就OKjwt其实......
  • postgresql | sql语句表名和列名引号问题
    根据您提供的SQL查询语句:SELECT*FROM"features"WHERE"layer"="FSHFAC"LIMIT10;在语法上看起来没有问题,但在实际运行时可能会出现一些问题,这取决于数据库和数据表的结构。表名和列名引号:在SQL中,使用双引号""可以将标识符(例如表名、列名等)加以引号。但是,要确保......
  • mongodb 删除
    MongoDB删除操作详解简介MongoDB是一种高性能、无模式、面向文档的NoSQL数据库。在MongoDB中,删除操作是非常常见的操作之一。本文将介绍MongoDB中的删除操作,并提供相关的代码示例。删除单个文档要删除MongoDB集合中的单个文档,可以使用deleteOne()方法。该方法接受......
  • CoaXPress 2.0 FPGA HOST IP Core Linux Demo
      目录Hello-FPGACoaXPress2.0HostFPGAIPCoreLinuxDemo41说明42设备连接73VIVADOFPGA工程74调试说明10图1‑1资料目录4图1‑2VIVADO工程目录结构5图1‑3SDK工程目录结构5图1‑4设备树信息6图1‑5petalinux应用程序6图2‑1ZCU10......
  • ESP01S刷MQTT固件
    刷个ESP01S把我卡了将近一天,特难受,记录一下正确的烧录固件方式。之前刷了固件总是没一点返回值(输入AT\r\n),只是在电源重接时才会接收到一些乱码,总以为是CH340接出的3.3V电压不稳,换成PL2303HXD串口也没是一样没反应,改成用MCU里提供的电源照样没反应,其实就是刷固件的某些细节弄......