ELK保留策略

ELK（Elasticsearch, Logstash, Kibana）是一套用于日志管理和分析的开源工具。在Elasticsearch中，数据保留策略通常是通过索引生命周期管理（ILM）来实现的。

以下是一个基于ILM的ELK保留策略的示例配置：

1. 首先，确保Elasticsearch已经启用了ILM功能。

2. 接下来，创建一个ILM策略，定义保留行为：

jsonPUT _ilm/policy/log_policy
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_size": "50GB",
            "max_age": "30d"
          }
        }
      },
      "warm": {
        "min_age": "30d",
        "actions": {
          "allocate": {
            "node": "node-name-warm-node",
            "require": "node-name-warm-node"
          },
          "set_priority": {
            "priority": 50
          }
        }
      },
      "cold": {
        "min_age": "60d",
        "actions": {
          "allocate": {
            "node": "node-name-cold-node",
            "require": "node-name-cold-node"
          },
          "set_priority": {
            "priority": 10
          }
        }
      },
      "delete": {
        "min_age": "90d",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}

在这个策略中，索引在"hot"阶段开始时，当索引达到50GB或者存在30天时，会发生滚动。随着时间的推移，索引被移动到"warm"阶段，并在那里保留60天，然后移动到"cold"阶段，最终在90天后被删除。

3. 将这个策略应用到一个或多个索引模板中：

jsonPUT _template/log_template
{
  "index_patterns": ["log-*", "other-log-pattern-*"],
  "settings": {
    "index.lifecycle.name": "log_policy",
    "index.lifecycle.rollover_alias": "log_alias"
  }
}

在这个模板中，所有匹配log-*模式的索引都将应用log_policy策略，并且会滚动到别名log_alias指向的索引。

确保你的Logstash配置正确地将日志索引到这个模板中，并且Elasticsearch有权限执行这些操作。