首页 > 其他分享 >ELK自动清理索引

ELK自动清理索引

时间:2023-12-27 10:33:47浏览次数:30  
标签:ELK 生命周期 log index 清理 索引 PUT

由于ELK比较吃资源所以日志不能一直保留,必须有一个清理策略

利用索引的生命周期来实现

参考自:

https://www.cnblogs.com/wei325/p/16101258.html

https://www.5axxw.com/questions/content/g3xpeh

 

所有命令均在kibana的dev tools的console中执行

第一步 添加生命周期策略 (7d表示删除7天前的索引)

PUT _ilm/policy/生命周期策略名称
{
  "policy": {                       
    "phases": {
      "delete": {
        "min_age": "7d",           
        "actions": {
          "delete": {}              
        }
      }
    }
  }
}

第二步 创建索引模板(log-*表示匹配log-开头的索引)

PUT _template/索引模板名称
{
  "index_patterns": ["log-*"],                 
  "settings": {
    "index":{
      "lifecycle":{
        "name":"生命周期索引名称",
        "indexing_complete":true
      }
    }
  }
}

第三步测试(创建一个索引,看下索引是否自动跟上了生命周期策略)

PUT log-test

以上是针对新建索引的方案,对于已存在的索引,需要手动设置一遍生命周期策略匹配到指定索引上

PUT log-*/_settings
{
  "index": {
    "lifecycle": {
      "name": "生命周期策略名称"
    }
  }
}

 

标签:ELK,生命周期,log,index,清理,索引,PUT
From: https://www.cnblogs.com/jianghaidong/p/17929986.html

相关文章

  • 【OpenCV】【Python】关于cv2.findContours()轮廓索引(编号)解析(RETR_TREE)
    在打算自己实现二维码的定位的时候,看到了相关博文的关于cv2.findContours返回的层级信息来定位三个“回”字从而达到定位二维码的目的,但是返回的hierarchy中的层级信息分别对应的是哪个轮廓却困扰了许久,查阅了很多资料最后还是自己手动找出了清晰的规律。关于hierarchy返......
  • fluentd根据K8S名称空间自动生成索引
    fluentd示例配置:apiVersion:v1data:containers.input.conf:|-<source>@typetailpath/var/log/containers/*.logpos_file/var/log/fluentd-containers.log.postagkubernetes.*<parse>@typejson......
  • 如何利用搜索引擎指定网站(指定网址前缀)进行关键词搜索
    参考:site:搜索运算符博客园之前是有第三方搜索引擎(Google)的查询入口的,现在更新后就没有这个入口了,不过这也比较好理解,毕竟这个Google的查询入口好多人是用不了的,于是这里就给出手动指定查询网址的前缀来进行关键词查询了。例子:......
  • C# 返回字符串 string 中某一个字符第几次出现的位置所在的索引位置
    //返回str从前往后,第count次出现ch字符处的索引位置,失败返回-1;protectedstaticintIndexOf(stringstr,charch,intcount){if(count<1){return-1;}intindex=-1;for(inti=0;i<count;++i){......
  • 详解MRS HBase全局二级索引
    本文分享自华为云社区《MRSHBase全局二级索引原理与使用场景》,作者:学习一下大数据。一、HBase二级索引背景介绍HBase是基于Key-Value的分布式存储数据库,对表中的数据按照rowkey的字典进行排序;当已知要查询的数据rowkey或其范围,可以快速查找到需要读取的数据;HBase提供Filter功......
  • 详解MRS HBase全局二级索引
    本文分享自华为云社区《MRSHBase全局二级索引原理与使用场景》,作者:学习一下大数据。一、HBase二级索引背景介绍HBase是基于Key-Value的分布式存储数据库,对表中的数据按照rowkey的字典进行排序;当已知要查询的数据rowkey或其范围,可以快速查找到需要读取的数据;HBase提供Filter功能来......
  • 这样delete居然不走索引
    背景由于业务变迁,合规要求,我们需要删除大量非本公司的数据,涉及到上百张表,几个T的数据清洗。我们的做法是先从基础数据出发,将要删除的数据id收集到一张表,然后再由上往下删除子表,多线程并发处理。我们使用的是阿里的polardb,完全兼容mysql协议,5.7版本,RC隔离级别。删除过程一直很顺......
  • MySQL-索引数据结构
    BTreeB-树即B树。指的是BalanceTree,也就是平衡树,平衡树是一颗查找树,并且所有叶子节点位于同一层。每个结点存储M/2到M个关键字,非叶子结点存储指向关键字范围的子结点。所有关键字在整颗树中出现,且只出现一次,非叶子结点可以命中。B+Tree是B树的一种变形,它是基于B......
  • MySQL索引-索引结构
    索引是什么索引是帮助MySQL高效获取数据的数据结构(有序)。在数据之外,数据库系统还维护着满足特定查找算法的数据结构,这些数据结构以某种方式引用(指向)数据,这样就可以在这些数据结构上实现高级查询算法,这种数据结构就是索引。优缺点:优点:提高数据检索效率,降低数据库的IO成本通......
  • JetBrains ide c盘清理
    迁移config将C:\Users\Administrator\AppData\Roaming\JetBrains\的所有文件复制到d:/JetBrains/config迁移system将C:\Users\Administrator\AppData\Local\JetBrains\的所有文件复制到d:/JetBrains/system安装目录下的bin文件夹,找到该文件夹下的idea.properties......