首页 > 系统相关 >Linux 使用 crontab 定时拆分日志、清理过期文件

Linux 使用 crontab 定时拆分日志、清理过期文件

时间:2024-04-08 09:23:42浏览次数:21  
标签:脚本 log crontab echo Linux home 定时 日志

@

目录


前言

请各大网友尊重本人原创知识分享,谨记本人博客:南国以南i


提示:以下是本篇文章正文内容,下面案例可供参考

简介

在Linux中可以使用crontab来定时执行脚本。crontab是一个用于管理定时任务的工具,可以让在特定的时间间隔内自动运行脚本或命令。

需求: 在Linux中每分钟写入一条信息到指定文件中,使用cron来定期执行一个写入命令或脚本

在Linux中,定时执行脚本具有多种作用和用途,包括但不限于以下几个方面:

  1. 自动化任务:定时执行脚本可用于自动化重复性的任务。例如,定时备份数据、定时清理临时文件、定时运行系统维护任务等。通过将这些任务脚本定期执行,可以减轻管理员的工作负担,并确保任务按计划执行,提高系统的可靠性和稳定性。
  2. 监控和报告:定时执行脚本可用于监控系统状态、资源使用情况和日志文件,并生成相应的报告。例如,定时检查服务器的CPU使用率、磁盘空间占用情况、网络连接状态等,并将报告发送给管理员或其他相关人员。这样可以帮助及时发现问题并采取适当的措施。
  3. 数据处理和分析:定时执行脚本可用于处理和分析数据。例如,定期从外部数据源获取数据,并将其导入到数据库中进行进一步处理和分析。这对于数据采集、数据清洗、数据转换和数据分析等任务非常有用。
  4. 定时提醒和通知:定时执行脚本可用于生成提醒和通知。例如,定时发送电子邮件或短信提醒,以及生成日程安排或事件提醒。这对于个人、团队或组织来管理任务、安排会议或发送重要通知非常有帮助。
  5. 自定义批处理任务:定时执行脚本可用于运行自定义的批处理任务。根据特定的需求和工作流程,你可以编写脚本来执行一系列操作,如文件处理、数据转换、编译构建等。通过定时运行这些脚本,可以简化复杂的工作流程并提高工作效率。

总之,定时执行脚本在Linux系统中具有广泛的应用。通过利用定时任务,可以实现自动化、监控、报告、数据处理等各种任务,从而提高系统的可靠性、效率和管理效果

一、准备工作

1.1 创建写入脚本

注意:首先,在home目录下创建一个名为testscript.sh的脚本文件,并添加以下内容:

 #!/bin/bash
echo "This is a log message $(date)" > /home/out.log

在这个示例中,脚本会将一条带有当前日期和时间的日志消息附加到指定的日志文件中。确保将/home/out.log替换为实际的日志文件路径。

保存并关闭文件。

1.2 设置执行权限

注意:在执行脚本之前,确保为其设置执行权限。在终端中运行以下命令:

chmod 755 /home/testscript.sh

1.3 添加定时任务

crontab表的每一行代表一个定时任务,定时任务语法格式如下:

* * * * * command
 
第一个*表示分钟数(0-59)
第二个*表示小时数(0-23)
第三个*表示一个月中的第几天(1-31)
第四个*表示月份(1-12)
第五个*表示一周中的第几天(0-7,0和7都表示星期日)
command是要执行的命令或脚本

例如,要在每天的凌晨12点执行脚本,添加以下行到cron表中:
我们可以在 Crontab 的命令中添加重定向符号 ">>" 将输出重定向到指定的文件中。例如:

crontab -l # 查看当前是否存在任务
crontab -e # 编辑 指定执行哪个脚本以及执行时间

# 每日凌晨执行脚本
0 0 * * * /home/testscript.sh >> /home/testscript.log 2>&1     

1.4 配置生效

service crond reload    //重新载入配置  前提是crond已经启动

二、Tomcat日志 按每天分割

2.1 创建一个 sh文件

创建脚本

#创建脚本
vim auto-deal-log.sh

脚本内容:

#! /bin/bash
echo "date is `date +%Y-%m-%d,%H:%M:%S`"
echo "tomcat-sca日志分割"
sca_log_path=/home/admin/sca/tomcat-sca/logs
cp $sca_log_path/catalina.out $sca_log_path/catalina.`date +%Y-%m-%d`.log

# 清空tomcat默认日志输出文件
echo "" > $sca_log_path/catalina.out

echo "nginx日志分割"
nginx_log_path=/home/admin/mid/nginx/logs
cp $nginx_log_path/access.log $nginx_log_path/access.`date +%Y-%m-%d`.log
cp $nginx_log_path/error.log $nginx_log_path/error.`date +%Y-%m-%d`.log
echo "" > $nginx_log_path/access.log
echo "" > $nginx_log_path/error.log


# 查找并清理不需要的文件
echo "清理tomcat*,保留30天"
find /home/admin/sca/tomcat*/logs/ -mtime +30 -name "*" -exec rm -rf {} \;
echo "清理batch日志,保留30天"
find /home/admin/sca/log/batch/ -mtime +30 -name "*" -exec rm -rf {} \;
echo "清理xxl-job日志,保留7天"
find /home/admin/sca/log/xxl-job/ -mtime +7 -name "*" -exec rm -rf {} \;
echo "清理auto-split-deal-log日志,保留7天"
find /home/admin/sca/log/auto-split-deal-log/ -mtime +7 -name "*" -exec rm -rf {} \;
echo "清理视频文件,保留5天"
find /home/admin/sca/ccrecord/ -mtime +5 -name "*.wev" -exec rm -rf {} \;
echo "日志分割及清理完毕"

2.2 设置执行权限

chmod +x auto-deal-log.sh

2.3 设置crontab指令,指定每日定时任务

# 每日凌晨执行分割日志脚本
0 0 * * * /opt/sh/auto-deal-log.sh  >> /path/to/auto-deal-log.log 2>&1   

2.4 配置生效

service crond reload    //重新载入配置  前提是crond已经启动

总结

我是南国以南i记录点滴每天成长一点点,学习是永无止境的!转载请附原文链接!!!

标签:脚本,log,crontab,echo,Linux,home,定时,日志
From: https://www.cnblogs.com/bgyb/p/18119133

相关文章

  • mkdir命令Linux新建文件夹
    大家好,下面给大家介绍一下Linux中新建文件夹的命令,他一般用三种方法,1、先cd进入需要创建文件夹的路径,输入命令mkdirabc这里的abc表示新建的文件夹名称.2、直接在任意目录输入详细路径创建文件夹mkdir/home/bin/abc这里表示在home下的bin文件夹下创建abc文件夹.3.-p,带上这......
  • Java日志规范最佳实践
    一、日志介绍1.1日志是什么日志:记录程序的运行轨迹,方便查找关键信息,也方便快速定位解决问题。日志的作用就是在测试、生产环境没有Debug调试工具时开发和测试人员定位问题的手段。好的日志,可以根据日志的轨迹快速定位并解决线上问题,反之,不好的日志,不仅无法辅助定位问题反......
  • Linux编程中进程的概念和环境变量
    目录概述1认识进程1.1进程的定义1.2进程状态1.3进程的调用2进程环境2.1进程ID2.2父进程与子进程2.3UID和GID2.4环境变量2.4.1通过main函数参数获取环境变量2.4.2environ全局变量获取环境变量2.4.3getenv()函数获取环境变量2.5环境变量的作用3......
  • nginx高级篇之日志切割
    一、日志切割(shell脚本)nginx日志默认是不切割的,网站运行久了自然生成大量日志,导致单文件的处理,太麻烦,因此工作里一般定期切割,一般按天切割。切割理念1.给nginx进程发送信号,让nginx生成一个新的日志文件,这就是一个日志切割2.手动切割,修改日志准备好旧的日志文件,测试写入大......
  • Linux下/dev/null介绍
    前言/dev/null是一个特殊的设备文件,它丢弃一切写入其中的数据,可以将它视为一个黑洞,它等效于只写文件,写入其中的所有内容都会消失,尝试从中读取或输出不会有任何结果,/dev/null在命令行和脚本中都非常有用。使用java-jarapp.jar>/dev/null#表示忽略标准输出java-jarapp......
  • Linux核心目录及核心命令
    1.运维必备职场技能01:如何有效提问?1.1示范错误示范:可以适当客气,没有直奔主题。路人甲:李导,在吗?忙不忙?我有个问题 过了1个小时 李导996:在,请说。 过了2个小时路人甲:李导,我这里有个服务的故障,可以帮助我下吗? 过了1个小时 李导996:请讲路人甲:李导,有......
  • Linux下安装Kubernetes
    准备工作预留2G左右的内存,尽可能多,需要提前安装了dockerkubeadm:用来初始化集群的指令。kubelet:在集群中的每个节点上用来启动Pod和容器等。kubectl:用来与集群通信的命令行工具。集群安装,但只有一个节点curl-LOhttps://storage.googleapis.com/minikube/releases/lates......
  • nginx日志切割之logrotate
    配置详解logrotate是基于crond服务(定时任务)来运行的,有几个重要的配置:1、/etc/logrotate.conf(主配置)和/etc/logrotate.d/*(子配置)/etc/logrotate.conf是全局配置,logrotate.conf里面包含include/etc/logrotate.d这句,加载子配置文件的意思,说明/etc/logrotate.d/目录下是具体的配......
  • linux自动化运维之ansible实战
    ansible基础介绍优点-相比于saltatack和puppet,没有客户端,更轻量级-只是一个工具,可以很容易实现分布式拓展-更强的远程执行命令特点-模块化-支持自定义模块,可以用任何语言编写模块-基于python语言实现-部署简单,基于python和ssh,agentless,无需代理-安全安装......
  • linux history命令
    在Linux系统中,history命令是一个非常有用的工具,它允许用户查看之前执行过的命令历史记录。这对于用户在终端会话中查找和重复使用命令非常有用。以下是history命令的一些常见用法和相关功能:查看命令历史记录:执行history命令可以列出当前用户的命令历史记录。默认情况下,它会显示......