首页 > 系统相关 >使用awk分析nginx访问日志access.log

使用awk分析nginx访问日志access.log

时间：2023-08-11 11:33:56浏览次数：39  
标签：sort http log access nginx awk 日志

1. awk简介
awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。awk的处理文本和数据的方式是这样的，它逐行扫描文件，从第一行到最后一行，寻找匹配的特定模式的行，并在这些行上进行你想要的操作。如果没有指定处理动作，则把匹配的行显示到标准输出(屏幕)，如果没有指定模式，则所有被操作所指定的行都被处理。awk分别代表其作者姓氏的第一个字母。因为它的作者是三个人，分别是Alfred Aho、Brian Kernighan、Peter Weinberger。

2. access.log的输出格式
log_format配置

# log_format main '$remote_addr - $remote_user [$time_local] "$request" '
# '$status $body_bytes_sent "$http_referer" '
# '"$http_user_agent" "$http_x_forwarded_for"';
输出示例

117.136.31.243 - - [13/Mar/2019:14:01:55 +0800] "GET /api/common/getOrganizationsByParentId/1002 HTTP/1.1" 200 6152 "https://servicewechat.com/wx3ac9a9b999fe3552/20/page-frame.html" "Mozilla/5.0 (Linux; Android 5.1; OPPO A37m Build/LMY47I; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/43.0.2357.121 Mobile Safari/537.36 MicroMessenger/7.0.3.1400(0x2700033B) Process/appbrand0 NetType/4G Language/zh_CN" "-"

3. 常用命令
1. IP相关统计

统计IP访问量

awk '{print $1}' access.log | sort -n | uniq | wc -l
1
查看某一时间段的IP访问量（2019年3月14日16-17点）

grep "14/Mar/2019:1[6-7]" access.log | awk '{print $1}' | sort | uniq -c| sort -nr | wc -l
1
查看访问最频繁的前100个IP

awk '{print $1}' access.log | sort -n |uniq -c | sort -rn | head -n 100
1
查看访问100次以上的IP

awk '{print $1}' access.log | sort -n |uniq -c |awk '{if($1 >100) print $0}'|sort -rn
1
查询某个IP的访问的请求列表，按请求的访问次数降序

grep '112.97.250.255' access.log |awk '{print $7}'|sort |uniq -c |sort -rn |head -n 100
1
2. 请求访问统计

查看访问最频繁的100个请求

awk '{print $7}' access.log | sort |uniq -c | sort -rn | head -n 100
1
查看访问最频繁的100个请求，并排除js文件

grep -v ".php" access.log | awk '{print $7}' | sort |uniq -c | sort -rn | head -n 100
1
查看访问次数超过100次的请求

cat access.log | cut -d ' ' -f 7 | sort |uniq -c | awk '{if ($1 > 100) print $0}' | less
1
查看最近1000条记录，访问量最高的请求

tail -1000 access.log |awk '{print $7}'|sort|uniq -c|sort -nr|less
1
3. 单位时间内请求量统计

按每秒统计请求数，显示top100的时间点

awk '{print $4}' access.log |cut -c 14-21|sort|uniq -c|sort -nr|head -n 100
1
按每分钟统计请求数，显示top100的时间点

awk '{print $4}' access.log |cut -c 14-18|sort|uniq -c|sort -nr|head -n 100
1
按每小时统计请求数，显示top100的时间点

awk '{print $4}' access.log |cut -c 14-15|sort|uniq -c|sort -nr|head -n 100
1
4. 性能分析

在nginx.conf log_format中最后一个字段加入$request_time

列出传输时间超过 3 秒的页面，显示前20条

cat access.log|awk '($NF > 3){print $7}'|sort -n|uniq -c|sort -nr|head -20
1
列出php页面请求时间超过3秒的页面，并统计其出现的次数，显示前100条

cat access.log|awk '($NF > 1 && $7~/\.php/){print $7}'|sort -n|uniq -c|sort -nr|head -100
########### nginx中access日志配置 ##########################
日志对于统计排错来说非常有利的。本文总结了nginx日志相关的配置如access_log、log_format、open_log_file_cache、log_not_found、log_subrequest、rewrite_log、error_log。

nginx有一个非常灵活的日志记录模式。每个级别的配置可以有各自独立的访问日志。日志格式通过log_format命令来定义。ngx_http_log_module是用来定义请求日志格式的。

1. access_log指令

语法: access_log path [format [buffer=size [flush=time]]];

代码如下:

access_log path format gzip[=level] [buffer=size] [flush=time];

access_log syslog:server=address[,parameter=value] [format];

 

access_log off;

 

 

默认值: access_log logs/access.log combined;
配置段: http, server, location, if in location, limit_except

gzip压缩等级。
buffer设置内存缓存区大小。
flush保存在缓存区中的最长时间。
不记录日志：access_log off;
使用默认combined格式记录日志：access_log logs/access.log 或 access_log logs/access.log combined;

2. log_format指令

语法: log_format name string …;
默认值: log_format combined “…”;
配置段: http

name表示格式名称，string表示等义的格式。log_format有一个默认的无需设置的combined日志格式，相当于apache的combined日志格式，如下所示：

 

代码如下:

 

log_format combined '$remote_addr - $remote_user [$time_local] '

 

' "$request" $status $body_bytes_sent '

 

' "$http_referer" "$http_user_agent" ';

 

 

如果nginx位于负载均衡器，squid，nginx反向代理之后，web服务器无法直接获取到客户端真实的IP地址了。 $remote_addr获取反向代理的IP地址。反向代理服务器在转发请求的http头信息中，可以增加X-Forwarded-For信息，用来记录 客户端IP地址和客户端请求的服务器地址。如下所示：

代码如下:

log_format porxy '$http_x_forwarded_for - $remote_user [$time_local] '

' "$request" $status $body_bytes_sent '

' "$http_referer" "$http_user_agent" ';

日志格式允许包含的变量注释如下：

代码如下:

$remote_addr, $http_x_forwarded_for 记录客户端IP地址

$remote_user 记录客户端用户名称

$request 记录请求的URL和HTTP协议

$status 记录请求状态

$body_bytes_sent 发送给客户端的字节数，不包括响应头的大小； 该变量与Apache模块mod_log_config里的“%B”参数兼容。

$bytes_sent 发送给客户端的总字节数。

$connection 连接的序列号。

$connection_requests 当前通过一个连接获得的请求数量。

$msec 日志写入时间。单位为秒，精度是毫秒。

$pipe 如果请求是通过HTTP流水线(pipelined)发送，pipe值为“p”，否则为“.”。

$http_referer 记录从哪个页面链接访问过来的

$http_user_agent 记录客户端浏览器相关信息

$request_length 请求的长度（包括请求行，请求头和请求正文）。

$request_time 请求处理时间，单位为秒，精度毫秒； 从读入客户端的第一个字节开始，直到把最后一个字符发送给客户端后进行日志写入为止。

$time_iso8601 ISO8601标准格式下的本地时间。

$time_local 通用日志格式下的本地时间。

发送给客户端的响应头拥有“sent_http_”前缀。 比如$sent_http_content_range。

实例如下：

代码如下:

http {
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'"$status" $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for" '
'"$gzip_ratio" $request_time $bytes_sent $request_length';
log_format srcache_log '$remote_addr - $remote_user [$time_local] "$request" '
'"$status" $body_bytes_sent $request_time $bytes_sent $request_length '
'[$upstream_response_time] [$srcache_fetch_status] [$srcache_store_status] [$srcache_expire]';
open_log_file_cache max=1000 inactive=60s;
server {
server_name ~^(www\.)?(.+)$;
access_log logs/$2-access.log main;
error_log logs/$2-error.log;
location /srcache {
access_log logs/access-srcache.log srcache_log;
}
}
}

3. open_log_file_cache指令

语法: open_log_file_cache max=N [inactive=time] [min_uses=N] [valid=time];
open_log_file_cache off;
默认值: open_log_file_cache off;
配置段: http, server, location

对于每一条日志记录，都将是先打开文件，再写入日志，然后关闭。可以使用open_log_file_cache来设置日志文件缓存(默认是off)，格式如下：

参数注释如下：
max:设置缓存中的最大文件描述符数量，如果缓存被占满，采用LRU算法将描述符关闭。
inactive:设置存活时间，默认是10s
min_uses:设置在inactive时间段内，日志文件最少使用多少次后，该日志文件描述符记入缓存中，默认是1次
valid:设置检查频率，默认60s
off：禁用缓存
实例如下：

代码如下:
open_log_file_cache max=1000 inactive=20s valid=1m min_uses=2;

4. log_not_found指令

语法: log_not_found on | off;
默认值: log_not_found on;
配置段: http, server, location
是否在error_log中记录不存在的错误。默认是。

5. log_subrequest指令

语法: log_subrequest on | off;
默认值: log_subrequest off;
配置段: http, server, location
是否在access_log中记录子请求的访问日志。默认不记录。

6. rewrite_log指令

由ngx_http_rewrite_module模块提供的。用来记录重写日志的。对于调试重写规则建议开启。 Nginx重写规则指南
语法: rewrite_log on | off;
默认值: rewrite_log off;
配置段: http, server, location, if
启用时将在error log中记录notice级别的重写日志。

7. error_log指令

语法: error_log file | stderr | syslog:server=address[,parameter=value] [debug | info | notice | warn | error | crit | alert | emerg];
默认值: error_log logs/error.log error;
配置段: main, http, server, location
配置错误日志。

 

在nginx目录下的 sbin(bin)目录下执行 nginx -t 查看配置的文件是否正确 使用nginx -s reload 平滑重启nginx 使用新的配置生效.

使用 sort -k8 /var/log/nginx/access.log | less 查看 耗时的请求 -k后的数字表示排序的字段 第几列

 

############### 线上查看QPS ################################

1. 需求：
服务器上线之后， 对接了三方推广，每天的指定时间并发量都特别高。但是对于这个高没有概念， 所以需要知道在那个时间段的访问情况。
2. 思路：
通过tomcat的accessLog，使用linux的文本分析命令，获取每秒的log数量，再分析出请求次数。
3. 步骤：
配置tomcat的 access log。
现在的服务器大多用上了Spring Boot，配合着嵌入式Tomcat， 关于Tomcat的所有配置， 都只需要在yml文件里面配置即可。

以往， 配置access log的方式是在server.xml，Host 标签下， 添加Value标签， 来配置access log。更多的自定义配置方式，可以跳转查看Tomcat access log配置

 

 

第二种配置方式， 是在application.yml里， 配置 server.tomcat.accesslog:

 

 

在里我只配置了日志目录，以及开启日志。

配置完成之后， 访问服务器， tomcat就会打印访问日志，默认格式为：
127.0.0.1 - - [19/Nov/2017:23:55:27 +0800] "POST /rest/user/checkToken.json HTTP/1.0" 200 138

使用linux tailf cut uniq配合，得到每秒的access log
通过查看日志
127.0.0.1 - - [19/Nov/2017:23:55:27 +0800] "POST /rest/user/checkToken.json HTTP/1.0" 200 138
发现， 只要获取每一条里面的 19/Nov/2017:23:55:27 这一部分数据， 然后将这部分数据通过uniq -c，就得到每一秒，都有多少条访问日志。所以大概的思路就是， 通过tailf 进行日志的打印， 然后使用cut 进行每一行字符串的分割得到时间那一部分， 再通过uniq -c 得到每一秒的行数。

最终得到
tailf temp.log | cut -d ' ' -f4 | uniq -c

其中

temp.log 是文件名称， 通过cut -d ' ' -f4 命令， 将每一行使用空格进行分割， 取第四个，就得到了时间那一部分。

最终得到结果

 

查看历史qps
大概思路其实和上面差不多， 配置好tomcat access日志之后， 将需要查看的日志导入到同一个地方， 然后使用文本分析命令，进行分析。
将多个日志文件进行收集
cat ./access_log.*.log > ./temp.log
对收集起来的日志进行统计分析。
cat ./temp.log | cut -d ' ' -f4 | uniq -c | sort -n -r -o ./temp_sorted.log
sort 是对日志根据访问次数进行排序， 得到哪一段时间的qps最高。

最终，就得到历史的一个QPS数据啦~
uniq:
-c或——count：在每列旁边显示该行重复出现的次数；

cut:
-d：用来定义分隔符，默认为tab键，一般与-f配合使用（如果分隔符是空格，必须是两个单引号之间确实有一个空格，是一个哦，不是支持多个）
-f：需要选取的字段，根据-d切分的字段集选取，下标从1开始

sort:
-n 依照数值的大小排序。
-r 以相反的顺序来排序。
-o<输出文件> 将排序后的结果存入指定的文件。
最后， 就能实时的打印出每秒的访问量啦~

材料：
日志是本地压测产生的日志，重要的是格式

 

2019-07-03T11:16:23+0800|127.0.0.1|-|-|GET|http|127.0.0.1|/play/get?...
2019-07-03T11:16:23+0800|127.0.0.1|-|-|GET|http|127.0.0.1|/play/get?...
2019-07-03T11:16:23+0800|127.0.0.1|-|-|GET|http|127.0.0.1|/play/get?...
问题：
如何统计某个接口每秒的QPS那？

分析：
看如下日志，2019-07-03T11:16:23+0800|127.0.0.1|-|-|GET|http|127.0.0.1|/iptv/api/new/video/play/get?...；其实，我们就是要统计接口/iptv/api/new/video/play/get在相同秒数（即：同一个时间秒数，2019-07-03T11:16:23）出现的次数。

解决办法：
先抛出命令行：tail -f host-access.log | grep '/iptv/api/new/video/play/get' | awk -F '|' '{print substr($1,1,19)}' | uniq -c

首先，通过tail -f 不间断查询日志（-f 表示不间断查询最新统计上来的日志）
第二，我们要锁定指定行（即，包含指定访问接口的日志），一般使用grep命令，如 grep /iptv/api/new/video/play/get ,得到一个请求对应的一行日志
截取对应列中秒级时间并打印（即：2019-07-03T11:16:23），常用的命令工具有cut和awk，这里用awk演示：
上面的日志格式是用 ‘ | ’进行分割的，所用awk的 -F参数指定分隔符为 | ，分割完后我们取第一个结果，即 $1 ；再用substr截取第1到第19位（格式：2019-07-03T11:16:21），用print打印结果为：

2019-07-03T11:16:21
2019-07-03T11:16:21
2019-07-03T11:16:21
2019-07-03T11:16:22
2019-07-03T11:16:22
2019-07-03T11:16:22
2019-07-03T11:16:22
2019-07-03T11:16:23
2019-07-03T11:16:23
2019-07-03T11:16:23
2019-07-03T11:16:23
对结果进行去重统计，常用工具uniq，参数指定 -c：

20 2019-07-03T11:05:22
14 2019-07-03T11:05:23
22 2019-07-03T11:05:24
20 2019-07-03T11:05:25
20 2019-07-03T11:05:26
20 2019-07-03T11:05:27
20 2019-07-03T11:05:28
命令行综述：
tail -f host-access.log | grep '/iptv/api/new/video/play/get' | awk -F '|' '{print substr($1,1,19)}' | uniq -c

获取增量日志 | 每个请求对应的行信息 | 截取相同秒数的时间 | 去重计数

结果：
每秒的QPS值在20左右

 

################### linux统计qps、qpm、响应时间的命令 #####################################################
awk '{a[$4]++}END{for(i in a){print i" "a[i]}}' * |sort -nrk2

求qps
awk '{print $4}' prod* | cut -c12-19 | awk '{a[$1]++}END{for(i in a){print i" "a[i]}}' | sort -nrk2

求qpm
awk '{print $4}' prod* | cut -c12-16 | awk '{a[$1]++}END{for(i in a){print i" "a[i]}}' | sort -nrk2

第二列相加
grep 18:03: qps.txt | awk '{sum+=$2}END{print sum}'

求nginx响应时间平均值
grep 00:11:43 prod* | awk '{sum+=$13}END{print sum/NR}'

--------------------------------------------------------------------------------------------------------

数据与能力：数据表示系统运行情况，能力表示系统最大处理能力
最大能力通过压力测试得出
系统运行情况通过日常生产运行监控得出
系统并发有很多维度：并发连接数、并发用户数、并发请求数

并发数通常指并发连接数

1、qps：每秒查询率，每秒处理的查询请求数，常用来衡量系统能力
2、tps：每秒处理的事务，
说法一：一个页面从发起请求到响应算一个事务，每秒处理的页面请求数
说法二：某几步操作的集合，如一次登录过程，商品的一次支付过程看成事务
说法三：同qps，每秒处理的请求-响应数
3、吞吐率（Throughput）：
说法一：（同qps）单位时间内服务器处理的请求数，单位“req/s”，用来描述其并发处理能力
说法二：单位时间内网络上传输的数据量，单位“字节数/秒”

吞吐量：在一次性能测试过程中网络上传输的数据量的总和
用吞吐量来衡量一个系统的输出能力是极其不准确的，需要看吞吐率

最大线程数的瓶颈（银行窗口，客户办理业务填写资料）

qps、并发数设置的合理值
柜台办理业务，每个人办理业务需要填写资料，最多排队数

运行数据
qps = 并发数 / 平均响应时间（s）


统计
--------------------------------------------------------------------------
awk '{print $4}' access.log
2017-05-03T00:04:20+08:00
2017-05-03T00:04:20+08:00
2017-05-03T00:04:20+08:00
2017-05-03T00:04:20+08:00
--------------------------------------------------------------------------
awk '{print $4}' access.log.8080 | cut -c12-19
00:16:24
00:16:24
00:16:24
00:16:24
--------------------------------------------------------------------------
awk '{print $4}' access.log.8080 | cut -c12-19 | sort | uniq -c
15 17:35:56
33 17:35:57
25 17:35:58
26 17:35:59
--------------------------------------------------------------------------
awk '{print $4}' access.log.8080 | cut -c12-19 | sort | uniq -c | sort -nr
142 00:05:21
125 07:32:41
118 10:24:43
118 00:10:29
————————————————
版权声明：本文为CSDN博主「大鹏的世界」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/adparking/article/details/112978206

标签：sort,http,log,access,nginx,awk,日志
From： https://www.cnblogs.com/gaoyanbing/p/17622593.html

相关文章

  • 利用Spring boot+LogBack+MDC实现链路追踪
    这篇文章主要介绍了利用Spring boot+LogBack+MDC实现链路追踪，MDC 可以看成是一个与当前线程绑定的哈希表，可以往其中添加键值对，下文详细介绍需要的小伙伴可以参考一下  MDC介绍API说明MDC使用1.拦截器2.工具类MDC存在的问题子线程日志打印丢失traceIdHTTP调用丢......
  • Python处理Nginx配置的实现方法
    Nginx是一个高性能的Web服务器和反向代理服务器，它可以用于实现多种功能。在实际应用中，我们可能需要根据不同的需求修改Nginx的配置文件。本文将介绍如何使用Python来处理Nginx配置文件。一、安装必要的库为了方便地操作Nginx配置文件，我们需要安装一些Python库。其中，pyparsing和ngin......
  • Nginx配置防盗链(详细了解如何配置nginx防盗链)
     worker_processes1;#允许进程数量，建议设置为cpu核心数或者auto自动检测，注意Windows服务器上虽然可以启动多个processes，但是实际只会用其中一个events{#单个进程最大连接数（最大连接数=连接数*进程数）#根据硬件调整，和前面工作进程配合起来用，尽量大，但是别把cpu跑到100......
  • Arduino analogRead() 读取模拟引脚数据
    analogRead()用于从Arduino的模拟输入引脚读取数值。在ArduinoUNO上，除了14个数字输入/输出引脚，还带有6个模拟引脚，即板上编号带A的引脚。引脚A0到A5被用来获取模拟信号的输入值，这些引脚有一个预装的ADC（Analog-to-DigitalConverter，模数转换器），它将模拟信号转换为......
  • Yuno loves sqrt technology III
    YunolovessqrttechnologyIII题意区间询问众数，强制在线。题解经典分块题，记一下。对于序列分块，记\(f_{i,j}\)代表第\(i\)个块到第\(j\)个块的众数出现次数。考虑询问的时候怎么做，我们只需要考虑散块。对于散块的元素\(a_i\)查找其在询问区间\([l,r]\)的个数，与......
  • Nginx+keepalived主从双机热备自动切换解决方案
    Nginx+keepalived主从双机热备自动切换解决方案测试环境如下：系统：Ceentos6.464位主nginx服务器：192.168.122.5备nginx服务器：192.168.122.6VIP：192.168.122.15一、Nginx+keepalived安装—脚本安装#!/bin/bash#author:kuangl#mail:[email protected]#description:The......
  • 基于SpringBoot应⽤的logback⽇志配置
    SpringBoot默认整合了logback-classic⽇志框架，我们需要对logback⽇志框架进⾏配置以⾃定义⽇志输出格式、⽇志⽂件配置、⽇志⽂件保存策略等信息<?xmlversion="1.0"encoding="UTF-8"?><configuration><appendername="stdout"class="ch.qos.logback.core.ConsoleA......
  • Linux下搭建Nginx+nginx-rtmp-module流媒体服务器
    今天我们使用的是linux系统为Centos64位服务器。下载安装nginx首先新建nginx目录存放nginx：mkdirnginx1然后进入nginx目录分别下载nginx及nginx-rtmp-module：进入nginx目录cdnginx下载nginxwgethttp://nginx.org/download/nginx-1.17.9.tar.gz下载nginx-rtmp-modulehttps://codel......
  • 8.利用Filebeat收集Nginx的Json格式访问日志和错误日志到Elasticsearch
    生产环境中经常需要获取Web访问用户的信息,比如:网站的PV,UV,状态码,用户来自哪个地区,访问时间等可以通过收集的Nginx的访问日志实现默认Nginx的每一次访问生成的访问日志是一行文本,ES没办法直接提取有效信息,不利于后续针对特定信息的分析可以将Nginx访问日志转换为JSON......
  • 一种基于Nginx的热点数据调度处理方法
    本文分享自天翼云开发者社区《一种基于Nginx的热点数据调度处理方法》,作者:康****彬一、应用场景  基于Nginx的热点数据调度处理，热点节点数据负载均衡处理，减少热点节点压力，提高处理和访问效率；每一个节点的nginx服务接收大量的访问，但是每个节点处理请求都有一个峰值，当请求数......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99