在ELFK(Elasticsearch, Logstash,Filebeat, Kibana)堆栈中配置索引清理策略是一个常见的需求,因为日志数据会随着时间的推移而积累,占用大量的存储空间。以下是一些配置索引清理策略的方法:
1. 使用索引生命周期管理(ILM)
- 首先,创建一个索引生命周期策略。例如,可以创建一个策略在索引超过7天后自动删除:
PUT _ilm/policy/my_policy { "policy": { "phases": { "delete": { "min_age": "7d", "actions": { "delete": {} } } } } }
- 然后,创建一个索引模板并将该策略应用到匹配特定模式的索引上:
PUT _template/my_template { "index_patterns": ["log-*"], "settings": { "index": { "lifecycle": { "name": "my_policy" } } } }
- 对于已经存在的索引,可以手动将生命周期策略应用到它们上面:
PUT log-*/_settings { "index": { "lifecycle": { "name": "my_policy" } } }
2. 使用Cron作业或脚本定期清理
- 可以编写一个Shell脚本,定期运行以删除旧的索引。例如,以下脚本可以删除7天前的索引:
#!/bin/bash eshost='127.0.0.1:9200' dtime=`date -d "7 day ago" +%Y.%m.%d` echo `date` 'start clean ' $dtime >> clean-log.log indexs=`curl -s 'http://'$eshost'/_cat/indices?v' | awk '$3~/^logstash/{print $3}'` for index in $indexs; do if [[ $index =~ logstash- ]] && [[ $index < $dtime ]]; then echo $index >> clean-log.log curl -X DELETE "http://$eshost/$index" > /dev/null 2>&1 fi done
3. 使用Logstash的输出插件配置
- 在Logstash的配置中,可以设置输出到Elasticsearch时自动应用ILM策略。这通常在Logstash的配置文件中完成,通过设置
ilm_enabled
和ilm_overwrite
选项。
4. 使用Kibana的Dev Tools进行管理
- 在Kibana的Dev Tools控制台中,可以直接运行上述的ILM相关命令来管理索引的生命周期策略。
请注意,配置索引清理策略时,需要确保不会误删正在使用或需要保留的数据。在生产环境中应用这些策略之前,应该在测试环境中进行充分测试。上述方法中的命令和策略可以根据实际需求进行调整。
标签:ELK,log,index,清理,索引,policy,Logstash,策略 From: https://www.cnblogs.com/zhoutuo/p/18413872