一、grep
1.1 grep 常用命令及其含义
grep pattern file
grep -i pattern file 忽略大小写
grep -v pattern file 不显示匹配行
grep -o pattern file 只把每个匹配的内容独立的行显示
grep -E pattern file 使用拓展正则表达式
#注意：grep 'a[0-9]\{10\}' 等同于 grep -E 'a[0-9]{10}'
grep -A -B -C pattern file 打印命中数据的上下文 -A：下文；-B：上文； -C：上下文
grep pattern -r dir/ 递归搜索
grep -m1 匹配匹配中的第一个
grep -n 顺便输出行号
二、awk
2.1 awk pattern语法
awk ‘pattern{action}’ ,默认以空格分隔
awk ‘BBEGIN{}END{}’ 开始和结束
awk ‘/Running/’ 正则匹配
awk ‘/aa/,/bb/’ 区间选择
awk ‘$2~/xxx/’ 字段匹配，这里指从第2个字段开始匹配包含xxx内容的行
awk ’NR==2’ 取第二行
awk ’NR>1’ 去掉第一行
2.2 awk字段处理
-F 参数指定字段分隔符
BEGIN{FS=‘_’} 也可以表示分隔符
$0 代表原来的行
$1 代表第一个字段
$N 代表第N个字段
$NF 代表最后一个字段
2.3 举例
awk命令从第九个字段位置开始匹配非200的状态码并打印出来然后进行排序->去重->按数字的倒叙进行排列。命令：
awk '$9!~/200/{print $9}' nginx.log | sort | uniq -c | sort -nr
命令含义
sort: 按从小到大进行排序
uniq -c :去重（相邻）
-nr: 按数字进行倒叙排序
-n:按数字进行排序
三、sed
3.1 sed 命令格式
sed [-nefri] [动作]
参数：
-n ：使用安静(slient)模式。只有经过sed特殊处理的那一行(或者操作)才会被列出来。一般与p配合使用
-e ：直接在命令行模式上进行sed的动作编辑
-f ：直接将sed动作写在一个文件内，-f filename则可以执行filename 内的sed动作。
-r ：sed的动作支持的是拓展正则表达式的语法(默认是基础正则表达式的语法)
-i ：直接修改读取的文件内容，而不是由屏幕输出
动作说明：[[n1][,n2]]function
n1,n2 ：不见得会存在，一般代表选择进行动作的行数，举例来说，如果我的动作是需要在10到20之间进行的，则“10,20[动作行为]”
function有下面这些参数：
a ：新增
d ：删除 （比较重要,测试工作中对数据处理时可快速去除无用信息，比如注释行，空白行等）
i ：插入
p ：打印 （一般与-n配合使用）
s ：替换（重中之重！！！，s参数可以说是日常测试工作中对数据用sed清理过滤时使用率最高的了）
3.2 sed 修改表达式： sed 's/待修改/修改结果/'
表达式单引号中的s表示修改，/ 符号表示分隔，实际上将/换成其他符号也可以，只要能起到分隔作用就OK
3.3 举例
[16210504@izuf60jasqavbxb9efockpz ~]$ echo "aaa|bbb}|cccbbb" | sed 's/bbb/BBB/'
aaa|BBB}|cccbbb
[16210504@izuf60jasqavbxb9efockpz ~]$ echo "aaa|bbb}|cccbbb" | sed 's#bbb#BBB#'
aaa|BBB}|cccbbb
若想讲目标中所有的字段都替换，需要在命令最后加上g:
[16210504@izuf60jasqavbxb9efockpz ~]$ echo "aaa|bbb}|cccbbb" | sed 's/bbb/BBB/g'
aaa|BBB}|cccBBB
sed还可以修改文件中的内容，现在有文件text.txt,内容如下：
[16210504@izuf60jasqavbxb9efockpz ~]$ cat text.txt
hello bash world
hi~ tester
go go go go!
用 sed 's/hello/HELLO/' text.txt 命令将文件中的 hello 替换成 HELLO ：
[16210504@izuf60jasqavbxb9efockpz ~]$ sed 's/hello/HELLO/' text.txt
HELLO bash world
hi~ tester
go go go go!
但是此时我们打开源text.txt文件发下源文件内容并未改变：
[16210504@izuf60jasqavbxb9efockpz ~]$ cat text.txt
hello bash world
hi~ tester
go go go go!
注意说明：
sed 在修改文件内容时，是另外开辟了一块模式空间，将修改后的内容放入并输出，源文件并未修改；
这时如果想要修改源文件就需要借助 -i 命令，另外为了防止误操作修改文件，一般可以采取这种写法: sed -i.bak 's/hello/HELLO/' text.txt ，这种写法在修改源文件的同时还会生成一份以.bak结尾的备份文件，相较安全。
[16210504@izuf60jasqavbxb9efockpz ~]$ sed -i.bak 's/hello/HELLO/' text.txt
[16210504@izuf60jasqavbxb9efockpz ~]$ ls
1 1.sh Allen_qin nginx.log test text.txt text.txt.bak while_test
[16210504@izuf60jasqavbxb9efockpz ~]$ cat text.txt
HELLO bash world
hi~ tester
go go go go!
[16210504@izuf60jasqavbxb9efockpz ~]$ cat text.txt.bak
hello bash world
hi~ tester
go go go go!
sed -e 命令可以直接在命令行模式上进行sed的动作编辑，但看解释比较晦涩，来看一个实例：
需求： 现有一个1.txt的文本，内容如下：
a:
b:
c:
d:
要将其中每行末尾的 ： 都替换成 @ ，将 a 替换成 A ，并在文本末尾加上“ Sed Test ” 命令：
sed -i -e 's/:/@/g' \
-i -e 's/a/A/' \
-i -e '$a Sed Test' 1.txt
实例演示：
[16210504@izuf60jasqavbxb9efockpz ~]$ sed -i -e 's/:/@/g' -i -e 's/a/A/' -i -e '$a Sed Test' 1.txt
[16210504@izuf60jasqavbxb9efockpz ~]$ cat 1.txt
A@
b@
c@
d@
Sed Test
资料：
https://zhuanlan.zhihu.com/p/541581438