删除 Elasticsearch 中指定日期前的数据

之前已搭建一个ELK+Filebeat 的集群，并收集了 Nginx 的日志信息。在 Elasticsearch 中索引的名字是：nginx-access-log-*，后面的*代表的是日期。

假如，需要删除7天前的数据，可以执行通过以下方法：

curl -u elastic:******  -H'Content-Type: application/json' -d'{
  "query": {
    "range": {
      "@timestamp": {
        "lt": "now-4d",
        "format": "epoch_millis"
      }
    }
  }
}

' -XPOST "http://192.168.1.231:9200/nginx-access-log*/_delete_by_query?pretty"

其中：

• -u 是格式为 username:password，使用Basic Auth 进行登录。如果 Elasticsearch 没有使用x-pack进行安全认证登录，则不需要加这个参数。
• -H 设置请求头，'Content-Type: application/json'文档类型是json格式。
• -XPOST 是指定用 POST 方式请求
• -d 是指定发送的 body 内容
• body 内容解释如下：

  {
    "query": {
      "range": {                  // 范围
        "@timestamp": {           // 时间段
          "lt": "now-4d",         // lt是小于(<)，lte是小于等于(<=),gt是大于(>),gte是大于等于(>=),now-7d是当前时间减7天
          "format": "epoch_millis"
        }
      }
    }
  }

  执行语句会返回一些信息：

  {
    "took" : 8822,
    "timed_out" : false,
    "total" : 160821,
    "deleted" : 160821,
    "batches" : 161,
    "version_conflicts" : 0,
    "noops" : 0,
    "retries" : {
      "bulk" : 0,
      "search" : 0
    },
    "throttled_millis" : 0,
    "requests_per_second" : -1.0,
    "throttled_until_millis" : 0,
    "failures" : [ ]
  }

  ElasticSearch 选择返回如此详细的信息是为了让执行者知晓本次删除操作的概况，从返回结果中我们可以得知总共有多少被删除的数据、实际上删除了多少、耗时多久、是否超时等。

          以上方法只会删除数据，不会删除索引文件。如果想删除索引文件，可以使用以下脚本方式进行定时删除：

#!/bin/bash
#es_index_delete.sh
USERNAME=elastic
PASSWORD=*****
LAST_DATA=`date -d "-7 days" "+%Y.%m.%d"`
curl -XDELETE http://${USERNAME}:${PASSWORD}@192.168.1.231:9200/nginx-access-log-${LAST_DATA}

• -7 days 指定7天前的索引时间
• %Y.%m.%d 指定时间的格式
• curl -XDELETE http://ip:port/nginx-access-log-${LAST_DATA} 删除索引的命令，ip是索引集群地址，port是索引集群端口，nginx-access-log-${LAST_DATA} 表示删除以nginx-access-log-名字为开头的文件，比如 nginx-access-log-2022.05.25

      原文链接地址：https://www.seafog.cn/archives/318925258