目录
背景
假设有一个服务需要长期运行，但可能会由于某种原因导致服务意外停止，不能及时发现，某天来到公司后发现出问题了才意识到服务挂了。此时再去手动重启服务可能已经造成很大损失了，那有没有办法可以自动监控服务运行状态，发现服务停止了自动拉起呢？如果你对Linux的定时任务crontab有所了解的话，很容易实现。如果还不了解crontab，请先阅读Linux定时任务之crontab一文。
应用举例
1、使用crontab+脚本监控服务
注意，crontab最小只支持分钟级的监控，如果需要秒级的监控频率，请参考方法2。
编写监控脚本：
#!/usr/bin/bash
log="/home/scripts/check.log"
pid=0
process_num=0
cpu_usage=0
mem_usage=0
# 要监控的服务名称
service_name="java"
# 日志文件不存在，就先创建
if [[ ! -e ${log} ]]; then
touch ${log}
fi
function info()
{
echo "[`date +'%F %T'` - INFO] - $1" >> ${log}
}
function warn()
{
echo "[`date +'%F %T'` - WARN] - $1" >> ${log}
}
function error()
{
echo "[`date +'%F %T'` - ERROR] - $1" >> ${log}
}
export -f info
export -f warn
export -f error
# 获取进程id
function proc_pid()
{
pid=$(ps -ef | grep -v grep | grep ${service_name} | awk '{print $2}')
}
# 获取进程数量
function proc_num()
{
process_num=$(ps -ef | grep -v grep | grep ${service_name} | wc -l)
}
# 获取cpu memory使用情况
function proc_cpu_mem_usage()
{
process_info=$(top -bn1 -p ${pid} | tail -1)
cpu_usage=$(echo ${process_info} | awk '{print $9}')
mem_usage=$(echo ${process_info} | awk '{print $10}')
}
proc_num
if [[ ${process_num} -eq 0 ]]; then
warn "${service_name} is not running!"
# restart service
# do something --- 此处执行重启服务对应的命令，如 restart java （也可以是执行启动脚本，如sh xxx.sh start）
proc_num
proc_pid
if [[ ${process_num} -eq 1 ]]; then
info "${service_name} restart success(pid: ${pid})"
fi
else
proc_pid
proc_cpu_mem_usage
info "${service_name} is running(pid: ${pid} cpu_usage: ${cpu_usage} mem_usage: ${mem_usage})"
fi
添加监控脚本到定时任务中：
crontab -e打开编辑器，输入：
*/1 * * * * sh /home/scripts/check.sh，表示每分钟执行一次监控脚本。
查看输出的日志文件记录
这样就实现了每分钟监控一次进程的运行状态，如果服务停止则会自动拉起。
2、使用shell脚本监控服务
2.1 编写自定义监控脚本
如果想要实现秒级的监控频率，就需要自己写监控脚本了。下面是一个例子：
#!/usr/bin/bash
log="/home/scripts/check_1.log"
pid=0
process_num=0
cpu_usage=0
mem_usage=0
service_name="java"
if [[ ! -e ${log} ]]; then
touch ${log}
fi
function info()
{
echo "[`date +'%F %T'` - INFO] - $1" >> ${log}
}
function warn()
{
echo "[`date +'%F %T'` - WARN] - $1" >> ${log}
}
function error()
{
echo "[`date +'%F %T'` - ERROR] - $1" >> ${log}
}
export -f info
export -f warn
export -f error
function proc_pid()
{
pid=$(ps -ef | grep -v grep | grep ${service_name} | awk '{print $2}')
}
function proc_num()
{
process_num=$(ps -ef | grep -v grep | grep ${service_name} | wc -l)
}
function proc_cpu_mem_usage()
{
process_info=$(top -bn1 -p ${pid} | tail -1)
cpu_usage=$(echo ${process_info} | awk '{print $9}')
mem_usage=$(echo ${process_info} | awk '{print $10}')
}
while true
do
proc_num
if [[ ${process_num} -eq 0 ]]; then
warn "${service_name} is not running!"
# restart service
proc_num
proc_pid
if [[ ${process_num} -eq 1 ]]; then
info "${service_name} restart success(pid: ${pid})"
fi
else
proc_pid
proc_cpu_mem_usage
info "${service_name} is running(pid: ${pid} cpu_usage: ${cpu_usage} mem_usage: ${mem_usage})"
fi
# 此处的时间根据实际需要设置，单位为秒
sleep 2
done
如果想要在脚本中添加对cpu、内存的使用情况监控，比如内存占用超过50%，cpu占用超过80%时告警，可以添加如下内容：
if [[ $(echo "${cpu_usage} > 80" | bc) -eq 1 ]]; then
warn "CPU usage of ${service_name} is high(${cpu_usage}%)"
fi
if [[ $(echo "${mem_usage} > 50" | bc) -eq 1 ]]; then
warn "Memory usage of ${service_name} is high(${mem_usage}%)"
fi
注意，此处比较大小用到了bc，这是因为bash本身只支持整数计算，不支持小数。在Linux系统中，bc是一款用于数学运算和数据处理的强大命令行工具，其名字代表"Basic Calculator"（基本计算器）。bc命令特别适用于处理浮点数和高精度数学运算，支持各种数学运算，如加减乘除、指数运算、取模、求平方根等。
2.2 运行脚本
1）直接运行：
执行sh /home/scripts/check.sh，直接运行脚本，如果终端窗口被关闭，进程会被kill。
2) 使用nohup放在后台不挂断地运行
nohup即使退出终端或关闭终端窗口，程序也会继续在后台运行。
nohup sh check1.sh 2>&1 &
关闭终端后，log中也能看到记录：
PS: 日志中的时间间隔可能不是严格的2s，这是因为执行命令也有时间损耗，积累到一定程度之后，就会出现和上一次的时间差大于2s。
此时如何关闭进程呢？使用ps查询进程即可：
ps -aux|grep check1.sh
查询到pid之后，使用kill -9 pid即可关闭进程
相比使用crontab创建的定时任务，脚本可以实现更小粒度的监控频率。