前言
在采用ELK分布式日志采集平台的时候，一般都会采用ES来存储采集的日志信息。日志信息一般都是持续增长的，是典型的时序数据。
如果不对采集的日志数据做生命周期管理，很容易导致单个索引体积持续增长、查询速度越来越慢、过期的日志信息浪费空间等问题。
本节主要介绍如果通过ES中的索引生命周期管理机制ILM来实现对日志数据的管理。
一、说明
es可以用来存储日志，一般日志存储只是短期保存，超过一定时间日志要是能自动删除最好，这样保证索引文档不会过多，查询时效性也能得到保证。
索引的生命周期分为四个阶段：HOT->WARM->COLD->Frozen->DELETE。
上面除了HOT为必须的阶段外，其他为非必须阶段，可以任意选择配置。
因为日志索引只要满足自己删除功能，所以下文只配置了HOT与DELETE阶段。
三步实现完成es生命周期管理：
配置策略(policy)->索引模版(template)->索引(index)
二、实战
1.配置策略
说明：
创建策略log_policy，包含2个阶段hot和delete。
hot阶段：数据写入首先进入hot阶段，包含一个回滚的动作，当记录条数达到3时滚动一次，创建一个新的后备索引。
delete阶段：滚动发送后30s，执行删除动作。
PUT _ilm/policy/log_policy
{
"policy": {
"phases": {
"hot": {
"actions": {
"rollover": {
"max_docs":3
}
}
},
"delete": {
"min_age": "30s",
"actions": {
"delete": {}
}
}
}
}
}
2.创建索引模板
PUT _index_template/log_template
{
"index_patterns": ["log"],
"data_stream": { },
"template": {
"settings": {
"number_of_shards": 1,
"number_of_replicas": 1,
"index.lifecycle.name": "log_policy"
}
}
}
参数说明：
index_patterns 索引匹配模式
data_stream 声明是一个数据流
template 配置模板的settings和mappings属性
index.lifecycle.name 生命周期策略名称，最核心的属性，要和上文定义的生命周期名称保持一致。
3.创建索引模板
方式一：创建并添加数据
创建数据流timeseries，同时向数据流中写入一条数据。数据中必须包含@timestamp字段信息
POST log/_doc
{
"message": "logged the request",
"@timestamp": "1633677855467"
}
方式二：仅创建数据流
PUT _data_stream/log
注意⚠️：
1、数据流名称必须和索引模板中的index_patterns匹配。
2、写入的数据中必须包含@timestamp字段信息
4.获取数据流信息
GET _data_stream/log
结果：
generation 第一代，说明还没有执行滚动
template 采用的索引模板为log_template
ilm_policy 采用的生命周期管理策略为log_policy
{
"data_streams" : [
{
"name" : "log",
"timestamp_field" : {
"name" : "@timestamp"
},
"indices" : [
{
"index_name" : ".ds-log-000001",
"index_uuid" : "kRMp8y_2SYyw0mh1Sm713A"
}
],
"generation" : 1,
"status" : "YELLOW",
"template" : "log_template",
"ilm_policy" : "log_policy"
}
]
}5.生命周期信息拉取频率
集群参数indices.lifecycle.poll_interval 用来控制索引生命周期管理检查符合策略标准的索引的频率，默认为10m。
所以在索引生命周期策略中配置的动作和条件，并不是即使触发的，而且定期检查触发。
打个比方：
尽管在策略中设置了hot阶段索引中数据记录大于3条就进行滚动，但其实并不是超过3条就立刻进行滚动。而且ES集群定期检查，当发现索引满足滚动条件后才进行滚动操作。
这里为了方便验证，将检查频率改为10s。
PUT /_cluster/settings
{
"transient": {
"indices.lifecycle.poll_interval": "10s"
}
}
6.验证
向数据流中写入4条记录，查看数据流生命周期的变化情况。
GET .ds-log-*/_ilm/explain
结果：
{
"indices" : {
".ds-log-000001" : {
"index" : ".ds-log-000001",
"managed" : true,
"policy" : "log_policy",
"lifecycle_date_millis" : 1633763085182,
"age" : "4.06m",
"phase" : "hot",
"phase_time_millis" : 1633763085834,
"action" : "rollover",
"action_time_millis" : 1633763096800,
"step" : "check-rollover-ready",
"step_time_millis" : 1633763096800,
"phase_execution" : {
"policy" : "log_policy",
"phase_definition" : {
"min_age" : "0ms",
"actions" : {
"rollover" : {
"max_docs" : 3
}
}
},
"version" : 1,
"modified_date_in_millis" : 1633762512190
}
}
}
}添加数据：
PUT log/_bulk?refresh
{ "create":{ } }
{"message": "logged the request1","@timestamp": "1633677862467"}
{ "create":{ } }
{"message": "logged the request2","@timestamp": "1633677872468"}
{ "create":{ } }
{"message": "logged the request3","@timestamp": "1633682619628"}
{ "create":{ } }
{"message": "logged the request4","@timestamp": "1633682619628"}
再次查看索引生命周期情况：
GET .ds-log-*/_ilm/explain
执行结果：
{
"indices" : {
".ds-log-000001" : {
"index" : ".ds-log-000001",
"managed" : true,
"policy" : "log_policy",
"lifecycle_date_millis" : 1633763525979,
"age" : "11.91s",
"phase" : "hot",
"phase_time_millis" : 1633763085834,
"action" : "complete",
"action_time_millis" : 1633763528120,
"step" : "complete",
"step_time_millis" : 1633763528120,
"phase_execution" : {
"policy" : "log_policy",
"phase_definition" : {
"min_age" : "0ms",
"actions" : {
"rollover" : {
"max_docs" : 3
}
}
},
"version" : 1,
"modified_date_in_millis" : 1633762512190
}
},
".ds-log-000002" : {
"index" : ".ds-log-000002",
"managed" : true,
"policy" : "log_policy",
"lifecycle_date_millis" : 1633763525996,
"age" : "11.89s",
"phase" : "delete",
"phase_time_millis" : 1633763527252,
"action" : "rollover",
"action_time_millis" : 1633763536853,
"step" : "check-rollover-ready",
"step_time_millis" : 1633763536853,
"phase_execution" : {
"policy" : "log_policy",
"phase_definition" : {
"min_age" : "0ms",
"actions" : {
"rollover" : {
"max_docs" : 3
}
}
},
"version" : 1,
"modified_date_in_millis" : 1633762512190
}
}
}
}过段时间再次查看，发现只有ds-log-000002。ds-log-000001已经被删除。
{
"indices" : {
".ds-log-000002" : {
"index" : ".ds-log-000002",
"managed" : true,
"policy" : "log_policy",
"lifecycle_date_millis" : 1633763696125,
"age" : "1.45m",
"phase" : "hot",
"phase_time_millis" : 1633763697292,
"action" : "rollover",
"action_time_millis" : 1633763706877,
"step" : "check-rollover-ready",
"step_time_millis" : 1633763706877,
"phase_execution" : {
"policy" : "log_policy",
"phase_definition" : {
"min_age" : "0ms",
"actions" : {
"rollover" : {
"max_docs" : 3
}
}
},
"version" : 1,
"modified_date_in_millis" : 1633762512190
}
}
}
}说明：
执行结果说明，随着日志数据的写入，log索引能够自动滚动生存新的索引，滚动操作后超过30s的索引数据会被删除。
注意⚠️：
索引生命周期管理，控制的粒度是索引级别，而不是索引记录级别。
所以采用_bulk指令批量写入数据时，都是向当前的最新的写索引写入数据。不会出现写了3条数据就自动触发滚动然后向新的索引写入第4条的情况。
查询的时候也会发现所有的数据都是在索引ds-log-000001中。
当触发delete阶段的删除操作后，会直接删除满足条件的整个ds-log-000001。不会说只删除3条，还有一条保留在ds-log-000002中的情况。
总结
本文主要介绍了通过索引生命周期管理ILM机制实现对日志数据的生命周期的自动化管理。
1、索引生命周期管理的控制粒度是索引级别，而不是索引记录级别。
2、索引生命周期的触发并不是实时的，而是定时周期触发检查机制，检查频率大小由indices.lifecycle.poll_interval控制。
3、日志数据满足时序数据、连续不断持续增长，只读属性的特点，适合采用数据流保存。