通过nginx日志利用shell统计日pv和uv 网上记录nginx日志统计访问量的脚本的文档很多,但是看来看去实际都是一个东西,如下: 1.根据访问IP统计UV awk '{print $1}' access.log|sort | uniq -c |wc -l 269129 - 2017 年 81634 = 187495 2.统计访问URL统计PV awk '{print $7}' access.log|wc -l 59382452 - 2017年 15003912 = 44378540 3.查询访问最频繁的URL awk '{print $7}' access.log|sort | uniq -c |sort -n -k 1 -r|more 4.查询访问最频繁的IP awk '{print $1}' access.log|sort | uniq -c |sort -n -k 1 -r|more 5.根据时间段统计查看日志 cat access.log| sed -n '/14\/Mar\/2015:21/,/14\/Mar\/2015:22/p'|more 其中,第五条不好使,具体不说了,也没有统计当日的的pv和uv,自己为了zabbix写了一个,其实也很简单,记一下。 pv:cat /usr/local/nginx/logs/access.log| sed -n /`date "+%d\/%b\/%Y"`/p |awk '{print $7}' |sort|wc -l uv:cat /usr/local/nginx/logs/access.log| sed -n /`date "+%d\/%b\/%Y"`/p |awk '{print $1}' |sort|uniq -c |wc -l 这个是看当日的,看昨天的改日期格式就行。 原文:https://blog.csdn.net/qq_33324608/article/details/71171574 https://blog.csdn.net/qq_33324608/article/details/71171574 https://www.cnblogs.com/handongyu/p/6513185.html 如果需要得到请求处理的时间,需要在nginx log 里面加上$request_time,下面是我的log_format nginx.conf log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent $request_body "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for" "$request_time"'; 修改之后重启nginx,查看nginx log的时候,就能看到nginx处理请求所花的时间了,这个时间基本就是后端所花的时间,所以可以根据这个字段来得到响应慢的请求 以下是就是我用到的一些命令了 获取pv数 $ cat /usr/local/nginx/logs/access.log | wc -l 获取ip数 $ cat /usr/local/nginx/logs/access.log | awk '{print $1}' | sort -k1 -r | uniq | wc -l 获取最耗时的请求时间、url、耗时,前10名, 可以修改后面的数字获取更多,不加则获取全部 $ cat /usr/local/class/logs/access.log | awk '{print $4,$7,$NF}' | awk -F '"' '{print $1,$2,$3}' | sort -k3 -rn | head -10 获取每分钟的请求数量,输出成csv文件,然后用excel打开,可以生成柱状图 $ cat /usr/local/class/logs/access.log | awk '{print substr($4,14,5)}' | uniq -c | awk '{print $2","$1}' > access.csv 上面的图是用excel生成的,也可以用命令行工具gnuplot生成png,我也试了一下,没什么问题,直接以编程的形式得到报表,去掉人工操作部分,很方便,但是有一点就是x轴数据比较多的时候,不能像excel一样自动稀释数据,所以我还是喜欢用excel来生成 其实用来用去也就是那么几个命令: cat:输入文件内容 grep:过滤文本 'sort':排序 'uniq':去重 'awk':文本处理 命令组合使用,单个命令可以使用多次,来达到多重过滤的效果,前面一个命令的输出就是后一个命令的输入,流式处理,只要学会这个命令,有多看似复杂的东西,都变得异常简单。 上面介绍的都是命令,下面再介绍一个直接输出html的,其实就是利用go-access来分析nginx日志 cat /usr/local/nginx/logs/access.log | docker run --rm -i diyan/goaccess --time-format='%H:%M:%S' --date-format='%d/%b/%Y' --log-format='%h %^[%d:%t %^] "%r" %s %b "%R" "%u"' > index.html go-access是以docker容器的形式运行的,只要你安装了docker,就能直接运行,免安装很方便 以上脚本,配合日志每天的日志分割,然后在crontab里面配置一下自动运行脚本,可生成每一天的nginx报表,网站情况一幕了然,当然这里也有缺点,因为不实时 想要统计实时数据,可以使用ngxtop 来查看,安装起来也很简单 $ pip install ngxtop 运行的话,先进到nginx目录,然后再运行,-c 指定配置文件,-t 刷新频率,单位为秒 $ cd /usr/local/nginx $ ngxtop -c conf/nginx.conf -t 1 但是这种实时的方式,还需要ssh远程登录,不太方便,还可以使用lua来进行实时统计,然后写一个界面把数据展示出来,通过lua-nginx-module,nginx/tengine 都可以用,如果直接安装openresty的话,就方便了,内嵌了lua,不需要重新编译nginx了 利用grep 过滤日志的条数 grep “myname” www.shop.com.log | wc -l 说明:查询包含myname 的日志条数 另:利用 ELK系统分析Nginx日志并对数据进行可视化展示 https://www.cnblogs.com/hanyifeng/p/5857875.html
标签:分析,sort,log,access,nginx,awk,print,日志 From: https://www.cnblogs.com/csxy-py/p/16776658.html