文本处理器sed 工具

标签：tmp 文件 1.1 passwd sed 处理器文本 root

在Linux/UNIX 系统中包含很多种类的文本处理器或文本编辑器,其中包括我们之前学习过的VIM 编辑器与grep 等。
而 grep，sed，awk 更是Shell 编程中经常用到的文本处理工具，被称之为Shell 编程三剑客。

1.1、sed 工具

sed（Stream EDitor）是一个强大而简单的文本解析转换工具，可以读取文本，并根据指定的条件对文本内容进行编辑（删除、替换、添加、移动等），最后输出所有行或者仅输出处理的某些行。sed也可以在无交互的情况下实现相当复杂的文本处理操作，被广泛应用于Shell脚本中，用以完成各种自动化处理任务。

1.1.2、sed是什么

sed 命令是利用脚本来处理文本文件。它可以依照脚本的指令来处理、编辑文本文件。主要用来自动编辑一个或多个文件、简化对文件的反复操作、编写转换程序等。

1.1.3、sed的原理

但是使用 sed 命令对文本进行操作之前必须要知道它的原理，它是怎么工作中的，这个非常重要，否则会影响操作的结果的正确性

sed 的工作流程主要包括 读取、执行和显示三个过程。
读取：sed 从输入流（文件、管道、标准输入）中读取一行内容并存储到临时的缓冲区中（又称模式空间，pattern space）。
执行：默认情况下，所有的 sed 命令都在模式空间中顺序地执行，除非指定了行的地址，否则 sed 命令将会在所有的行上依次执行。
显示：发送修改后的内容到输出流。在发送数据后，模式空间将会被清空。
在所有的文件内容都被处理完成之前，上述过程将重复执行，直至所有内容被处理完。

注意：默认情况下所有的 sed 命令都是在模式空间内执行的，因此输入的文件并不会发生任何变化，除非是用重定向存储输出。

1.1.4、sed的常用操作选项
1.sed 命令常见用法
通常情况下调用 sed 命令有两种格式，如下所示。

其中，“参数”是指操作的目标文件，当存在多个操作对象时用，文件之间用逗号“，”分隔；而 scriptfile 表示脚本文件，需要用“-f” 选项指定，当脚本文件出现在目标文件之前时，表示通过指定的脚本文件来处理输入的目标文件。

sed [选项] '操作' 参数
sed [选项] -f scriptfile 参数

常见的 sed 命令选项主要包含以下几种。

-e 或--expression=：表示用指定命令或者脚本来处理输入的文本文件。
-f 或--file=：表示用指定的脚本文件来处理输入的文本文件。
-h 或--help：显示帮助。
-n、--quiet 或 silent：表示仅显示处理后的结果。
-i.bak：直接编辑文本文件。
-r, -E 使用扩展正则表达式
-s 将多个文件视为独立文件，而不是单个连续的长文件流

“操作”用于指定对文件操作的动作行为，也就是 sed 的命令。通常情况下是采用的“[n1[,n2]]”操作参数的格式。n1、n2 是可选的，代表选择进行操作的行数，如操作需要在 5～ 20 行之间进行，则表示为“5，20 动作行为”。常见的操作包括以下几种。

a：增加，在当前行下面增加一行指定内容。
c：替换，将选定行替换为指定内容。
d：删除，删除选定的行。
i：插入，在选定行上面插入一行指定内容。
p：打印，如果同时指定行，表示打印指定行；如果不指定行，则表示打印所有内容；如果有非打印字符，则以 ASCII 码输出。其通常与“-n”选项一起使用。
s：替换，替换指定字符。
y：字符转换。

1.1.4、用法示例

1.1.4.1、打印输出 -n

cat -n /etc/passwd > /tmp/passwd cat -n 是加上序号 sed '' /tmp/passwd 打印原输出 sed 'p' /tmp/passwd 带有自动打印功能，p又再打印一遍 sed -n 'p' /tmp/passwd -n 选项关闭自动打印功能当然，如果-n后面加数字还能显示行号 sed -n '1p' /tmp/passwd 直接显示第1 行

显示范围 sed -n '1,3p' /tmp/passwd

sed -n '1p;3p;5p' /tmp/passwd 显示第一行三行五行

sed -n '3,+3p' /tmp/passwd 往后加3行，3行之后的再显示三行

奇数偶数表示 sed -n '1~2p' /tmp/passwd 1以及每隔2个，奇数 1从第一行开始，2选择每隔两行的行，p并打印出来

sed -n '2~2p' /tmp/passwd 偶数 #从第二行开始，2选择每隔两行的行，p并打印出来

sed -n '2~3p' /tmp/passwd #从第二行开始，3选择每隔三行的行，p并打印出来

sed -n '$p' /tmp/passwd 显示最后一行

sed -n '/root/p' /tmp/passwd 将包含root的行打印出来 /root(需要匹配的内容)/p(打印) 文件名与 grep root /etc/passwd 功能相同

sed -n '/bash$/p' /tmp/passwd 将bash结尾打印出来文件名

sed -n '/s...x/p' /tmp/passwd /s...x/ 匹配包含一个字母 s，后面跟着任意三个字符，最后是一个字母 x 的行 p打印

sed -n '/[0-9]/p' /etc/passwd /[0-9]/ 匹配包含至少一个数字的行

sed -n '/^root/p' /etc/passwd 包含以root开头的行

sed -n '1!p' /tmp/passwd 1!p 的意思是除了第一行之外的所有行都会被打印出来

sed -n '/nologin/!p' /tmp/passwd 除了nologin都能打印出来

sed -n '/root/=' /tmp/passwd 描文件 /opt/passwd，找到所有包含字符串 "root" 的行；对于每一行，输出它在文件中的行号。

sed -n '/root/=;/root/p' /tmp/passwd 多个模式匹配用分号或者-e sed -n -e '/root/=' -e '/root/p' /tmp/passwd
这里，-e 允许你指定多个 sed 脚本，每个 -e 后面跟一个脚本。第一个脚本 /root/= 匹配包含 "root" 的行并打印其行号，第二个脚本 /root/p 匹配包含 "root" 的行并打印该行内容。 sed -n '$=' zz.txt 相当于统计文件有几行

sed -n '$=;1p' zzz.txt 可以验证是逐行匹配

1.1.4.2、扩展正则r

sed 默认不支持扩展正则，如果要支持，需要加 -r 选项 sed -n '/^root|^shutdown/p' /etc/passwd sed -nr '/^root|^shutdown/p' /etc/passwd

可结合管道 df -h | sed -n '2p'

注意：通常 -n 和 ‘p’ 一起使用

1.1.4.3、增加内容 i

sed '2ihello world' /tmp/passwd 表示操作发生在第二行，i: 表示插入操作，即在指定的行之前插入文本hello world

sed '3ihello\nworld' /tmp/passwd

sed '1ahello world' /tmp/passwd a在当前行下面增加一行

sed '/li/a hello world' /tmp/passwd 在li的后面加

sed '2,4a hello world' /tmp/passwd

sed '/li/a hello world;3p;3i shell' /tmp/passw 注意： a 或者 i 后面的所有内容都会被理解为需要添加的内容，也就是；无效

1.1.4.4、删除 d

sed 'd' /tmp/passwd

sed '1d' /tmp/passwd

sed '1,4d' /tmp/passwd 删除一到四行

echo '' >> /tmp/passwd echo '###' >> /tmp/passwd 在最后一行加入空行和###

把#开头的删除

sed ‘/^$/d/' /tmp/passwd 把空行删除

1.1.4.5、替换c

s/pattern/string/ 修饰符查找替换 , 支持使用其它分隔符，可以是其它形式： s@@@ ， s### 替换修饰符：

g 行内全局替换
p 显示替换成功的行
w /PATH/FILE 将替换成功的行保存至文件中
I,i 忽略大小写

实验

sed ‘/^root/ckgc’ /

sed '/^root/ckgc' /etc/passwd

把文件内容都换成yc

当然这里没有真的改变文件内容，只是输出到屏幕，如果想要真的替换，需要用 -i 选项，建议用 -i 之前对原文件进行备份

1.1.4.6、搜索替换 s

c 指令使得整行内容全部替换， d 指令删除整行，如果要只替换某个关键词的话需要使用 s 指令格式： sed 选项 ‘s/ 搜索的内容 / 替换的内容 / 动作 ’ 搜索 root 所在行把第一个出现的 root 换成 ROOT

搜索 root 所在行，把所有出现的 root 都替换成 ROOT

搜索字母 o ，仅替换每行第二个 o 为大写 O sed sed -n ‘s/o/O/2p’ /tmp/passwd

将 root 替换为空 sed -n 's/root//gp' /tmp/passwd

把 1-5 行的开头都插入 # 号

把所有 /sbin/nologin 换成yc ， / 需要转义 sed -n 's/\/sbin\/nologin/yc/gp' /etc/passwd

但是使用默认的转义符之后阅读体验非常差，而且还容易写错，我们可以指定更有辨识度的转义符，例如@,#, 数字都可以，将原来的 / 替换成我们想要的

我们只想搜索以 sync 开头的行并且前面加 # 号，那就需要保留 sync ，那就要把搜索的字符写成 & 就会被保留不会一起替换，观察不加& 的区别。

忽略大小写 igp

1.1.4.7、插入文件 r

我们还可以将其他文件插入到当前文件当中处理，将/etc/hosts文件插入到/tmp/passwd 第三行后面 sed '3r /etc/hosts' /tmp/passwd

sed '/2/r /etc/hosts' /tmp/passwd 在匹配到包含数字 2 的行之后读取并插入文件 /etc/hosts 的内容插入的是包含的东西

sed -n '$r /etc/hosts' /tmp/passwd

1.1.4.8、另存为到文件 w

使用 w 指令将当前编辑的文件内容另存到其他文件中，如果目标文件已存在，则会将目标文件的内容覆盖。 sed 'w /tmp/hosts' /etc/hosts 这个命令是将 /etc/hosts 文件中的内容复制到 /tmp/hosts 文件中如果 /tmp/hosts 文件不存在， sed 命令会创建它；如果存在， sed 将会覆盖该文件的内容。如果你想将 /etc/hosts 文件的内容追加到 /tmp/hosts 文件末尾，可以使用 >> 符号来实现，如 sed 'w /tmp/hosts' /etc/hosts >> /tmp/hosts 。