常用的Linux awk 命令

对文件拆分，获取指定内容

例：http:****startDate=20241023&endDate=20241023 获取startDate对应参数的内容
awk -F 'startDate=|endDate' '{print $2}'
如果需要获取符合条件的整行，将$2改为$0，$0表示获取原始数据

对数据进行分组统计

例：http:****startDate=20241023&endDate=20241023 获取不同startDate参数的请求个数
awk -F 'startDate=|endDate' '{count[$2]++} END {for(i in count) print i,count[i]}' | sort | uniq -c

统计每一行出现相同词语的个数，并统计有相同词语个数的条数统计

例：param=[{"code":"123","type":"1"},{"code":"456","type":"4"}] 统计每个请求的参数个数，并汇总哪个参数个数请求的数量最多
awk -F 'type' '{count =0;for(i=1;i<NF;i++){if($i ~ /code/){count++}};print count}' | sort | uniq -c | sort -nr
解释：按照参数 type进行分隔，统计分隔后的每个字段是否包含有code，包含则个数加1，其中 NF 表示最后一个

统计词语的出现次数，查询次数最高的

例：param=123,234,567,890 参数,分隔，统计所有请求参数出现频率最高的，如123有多个请求都有，查询次数出现最多的参数，可用户分析请求占比等
awk -F ',' 'for(i=1;i<NF;i++){count[$i]++} END {for(i in count) pring i,count[i]}' | sort | uniq -c

后续持续更新中...