一、sed简介
sed 是 stream editor 的缩写，流编辑器，主要用于对标准输出或文件进行逐行处理。
二、语法
语法格式
- stdout | sed [option] "pattern command" #对 | 前面输出的内容进行sed处理
- sed [option] "pattern command" file
option选项
- -n 只打印模式匹配行
- -f 编辑动作保存在文件中，-f 指定要执行的文件
- -e 直接在命令行进行sed编辑，默认选项
- -r 支持扩展正则表达式
- -i 直接修改文件内容
动作说明：
- a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
- c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
- d ：删除，因为是删除，所以 d 后面通常不接任何东西；
- i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
- p ：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～
- s ：取代，可以直接进行取代，通常这个 s 的动作可以搭配正则表示法
- s/old/new 替换行内第一个 old 为 new
- s/old/new/g 行内所有 old 替换为 new
- s/old/new/2g 从第 2 行开始到文件末尾的所有 old 替换为 new
- s/old/new/ig 行内所有 old 替换为 new，忽略大小写
匹配模式（pattern）
三、实例
1、指定行前后追加内容
原文件test_sed.sh内容：
HELLO LINUX!
Linux is a free unix-type opterating system.
This is a linux testfile!
Linux test
在testfile文件的第四行后添加一行，并将结果输出到标准输出，在命令行提示符下输入如下命令：
[root@liang shell]# sed -e '4 a newLine' test_sed.sh
HELLO LINUX!
Linux is a free unix-type opterating system.
This is a linux testfile!
Linux test
newLine
a 动作是在匹配的行之后追加字符串，追加的字符串中可以包含换行符（实现追加多行的情况）
追加一行的话前后都不需要添加换行符 \n
追加多行
sed -e '4 a newline\nnewline2' test_sed.sh
同理，指定行前插入内容
sed -e '4 i newline\nnewline2' test_sed.sh
2、打印指定行
打印第3-4行
Linux test [root@liang shell]# sed -n '3,4p' test_sed.sh
3、修改指定行为新的文本
将第二行内容修改为111
sed '2c 111' test_sed.sh
4、删除选中的行
sed '2,5d' test_sed.sh 删除2~5行
sed '/^#/d' test_sed.sh 删除以#开头的行
sed '/^#/,/8$/d' test_sed.sh 删除以#开头以8结尾的行，如果找不到8结尾的，会删除#开头的之后的所有行
sed '/^$/d' test_sed.sh 删除空行
5、替换指定字符串
sed 's/#Port 22/Port 2200/g' test_sed.sh #将‘#Port 22’替换为‘Port 2200’
6、数据的搜寻并显示
搜索有root关键字的行
sed -n '/root/p' test_sed.sh
7、使用拓展正则 -r
匹配有连续5位数字的行
sed -nr '/[0-9]{5}/ p' test_sed.sh8、多个命令之间以分号隔开
sed -i '/root/ {p;s/#Port 22/Port 2200/g;/^#/d;/^$/d}' test_sed.sh或者
sed -n '/root\|daemon/p' test_sed.sh
sed -n '/root/{/daemon/p}' test_sed.sh
================================================================================
================================================================================
=================================================================================
接下来我们讲grep：
一、简介
grep的全称是global regular expression print，是linux中最强大的文本搜索命令之一，常用于搜索文本文件中是否含有某些特定模式的字符串。该命令以行为单位读取文本并使用正则表达式进行匹配，匹配成功后打印出该行文本。
二、语法
grep [option] pattern [file1, file2, ...]
常用option选项：
-n ：显示行号
-o ：只显示匹配的内容
-q ：静默模式，没有任何输出，得用$?来判断执行成功没有，即有没有过滤到想要的内容
-r ：递归搜索对目录下的所有文件进行搜索
-l ：如果匹配成功，则只将文件名打印出来，失败则不打印，通常-rl一起用，grep -rl 'root' /etc
-A ：如果匹配成功，则将匹配行及其后n行一起打印出来
-B ：如果匹配成功，则将匹配行及其前n行一起打印出来
-C ：如果匹配成功，则将匹配行及其前后n行一起打印出来
-c ：如果匹配成功，只输出匹配的行的数量统计
-E ：等于egrep，支持拓展正则表达式
-i ：忽略大小写
-v ：取反，不匹配
-w ：匹配整个单词
常用的pattern规则表达式
表达式 | 一个普通标题 |
^ | 锚定行的开始 如：'^grep'匹配所有以grep开头的行。 |
$ | 锚定行的结束 如：'grep$'匹配所有以grep结尾的行。 |
. | 匹配一个非换行符的字符 如：'gr.p'匹配gr后接一个任意字符，然后是p。 |
？ | 匹配0或者一个字符 如：'gr?p'匹配g后接一个或0个r字符，然后是p。 |
* | 匹配零个或多个先前字符 如：'*grep'匹配所有一个或多个空格后紧跟grep的行。 |
.* | 一起用代表任意字符。 |
[] | 匹配一个指定范围内的字符，如'[Gg]rep'匹配Grep和grep。 |
[^] | 匹配一个不在指定范围内的字符，如：'[^A-FH-Z]rep'匹配不包含A-R和T-Z的一个字母开头，紧跟rep的行。 |
(..) | 标记匹配字符，如'(love)'，love被标记为1。 |
< | 锚定单词的开始，如:'<grep'匹配包含以grep开头的单词的行。 |
> | 锚定单词的结束，如'grep>'匹配包含以grep结尾的单词的行。 |
x{m} | 重复字符x，m次，如：'o{5}'匹配包含5个o的行。 |
x{m,} | 重复字符x,至少m次，如：'o{5,}'匹配至少有5个o的行。x{m,n} # 重复字符x，至少m次，不多于n次，如：'o{5,10}'匹配5--10个o的行。 |
\w | 匹配文字和数字字符，也就是[A-Za-z0-9]，如：'G\w*p'匹配以G后跟零个或多个文字或数字字符，然后是p。 |
\W | \w的反置形式，匹配一个或多个非单词字符，如点号句号等。 |
\b | 单词锁定符，如: '\bgrep\b'只匹配grep。 |
三、常见用法举例
1、在文件中搜索一个字符串，返回包含此字符串的文本行：
[root@liang shell]# grep xy text0001.txt
4 xy 100 50 60 70
[root@liang shell]# grep "xy" text0001.txt
4 xy 100 50 60 70
在多个文件中搜索,-n显示行号
[root@liang shell]# grep -n "xy" text0001.txt text0002.txt text0003.txt
text0001.txt:5:4 xy 100 50 60 70
text0002.txt:1:xy
text0002.txt:5:xyxyxy
text0002.txt:7:grepxy
text0003.txt:1:xy
text0003.txt:2:xxy
text0003.txt:4:xxyy
text0003.txt:5:xyxyxy
text0003.txt:7:grepxy
搜索一个目录下的所有文件，列出包含指定字符串的文件名 -l
[root@liang shell]# grep -rl "xxy" ./
./text0003.txt
2、统计文件或者文本中包含匹配字符串的行数-c 选项
统计单个文件
[root@liang shell]# grep -r -c "xxy" text0003.txt
2
统计多个文件
[root@liang shell]# grep -c "xy" text0001.txt text0002.txt text0003.txt
text0001.txt:1
text0002.txt:3
text0003.txt:5
统计一个目录下的所有文件
[root@liang shell]# grep -cr "xy" dirpath
3、使用正则表达式 -E 选项
正则匹配符合条件的字符串显示匹配到的行
[root@liang shell]# cat text0001.txt
ID Name PHP Linux MySQL Average
1 Liming 82 95 86 87.66
2 Sc 74 96 87 85.66
3 Gao 99 83 93 91.66
4 xy 100.00 50 60 70
this is a. test line.
1105
[root@liang shell]# grep -E "[0-9]{3}" text0001.txt
4 xy 100.00 50 60 70
1105
-o只输出匹配到的内容
[root@liang shell]# echo this is a. test line. | grep -o -E "[a-z]+\."
a.
line.
其他常用用法
请对照常用的pattern规则表达式理解
grep -E 'x?y' text0002.txt x出现0-1次，y出现1次
grep -E 'x*y' text0002.txt x出现0-任意次，y出现1次
grep -E 'x{n}y' text0002.txt x出现n次，y出现1次
grep -E 'x+y' text0002.txt x出现1-任意次，y出现1次
grep -E 'x.y' text0002.txt xy中间有1个任意非换行符
grep -E 'x.*y' text0002.txt xy中间有任意个任意非换字符
4、不支持正则，按字面意思匹配(字符串匹配) -F
[root@liang shell]# grep -E 'x.*y' text0002.txt
xy
xcxcy
xxyxyxy
abx344dyc
grepx2y
x.*y
xxxxxxxxy
[root@liang shell]# grep -F 'x.*y' text0002.txt
x.*y
5、忽略匹配样式中的字符大小写：-i
[root@liang shell]# echo "hello world" | grep -i "HELLO"
hello world
6、打印匹配到的行之前或者之后的行
打印之前的行
[root@liang shell]# grep "test" -A 2 text0001.txt
this is a. test line.
1105
DSF
打印之后的行
[root@liang shell]# grep "test" -B 2 text0001.txt
3 Gao 99 83 93 91.66
4 xy 100.00 50 60 70
this is a. test line.
打印前后的行
[root@liang shell]# grep "test" -C 2 text0001.txt
3 Gao 99 83 93 91.66
4 xy 100.00 50 60 70
this is a. test line.
1105
DSF
如果匹配结果有多个，会用“--”作为各匹配结果之间的分隔符：
7、-w 匹配整个单词
[root@liang shell]# grep 'gr' text0002.txt
grp
gr dfd
xxgrpp
[root@liang shell]# grep -w 'gr' text0002.txt
gr dfd