linux sed 命令详解

sed 常用选项 和 常用命令

sed 是一个很好的文件处理工具，本身是一个管道命令，主要是 以行为单位 进行处理，可以将数据行进行替换、删除、新增、选取等特定工作。

sed 的用法

sed 命令行格式为 ：（命令必须以 '' 单引号引起来）
         格式1：sed [-nefri] 'command' 输入文本
         格式2：sed [options] -f scriptfile file(s)

常用选项：
        -n∶使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN的资料一般都会被列出到萤幕上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。
        -e∶直接在指令列模式上进行 sed 的动作编辑；
        -f∶直接将 sed 的动作写在一个档案内， -f filename 则可以执行 filename 内的sed 动作；
        -r∶sed 的动作支援的是延伸型正规表示法的语法。(预设是基础正规表示法语法)
        -i∶直接修改读取的档案内容，而不是由萤幕输出。      

常用命令：

a ∶新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)。即在当前行下面插入文本。 
c ∶替换， c 的后面是要替换的新的字符串(多行替换)，这些字符串可以取代 n1,n2 之间的行！
d ∶删除，因为是删除，所以 d 后面通常不接任何咚咚；
i ∶插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前行的上一行)。
     即在当前行上面插入文本。 (会修改原始文件，谨慎使用)；
p 打印模板块的行。 
P(大写) 打印模板块的第一行。
s  ∶替换，可以直接进行替换(同一行内替换，不能跨行。即替换一行中的某部分)，
     通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g 


D 删除模板块的第一行。
h 拷贝模板块的内容到内存中的缓冲区。 
H 追加模板块的内容到内存中的缓冲区。 
g 获得内存缓冲区的内容，并替代当前模板块中的文本。 
G 获得内存缓冲区的内容，并追加到当前模板块文本的后面。 
l 列表不能打印字符的清单。 
n 读取下一个输入行，用下一个命令处理新的行而不是用第一个命令。 
N 追加下一个输入行到模板块后面并在二者间嵌入一个新行，改变当前行号码。  
q 退出Sed。 
b lable 分支到脚本中带有标记的地方，如果分支不存在则分支到脚本的末尾。 
r file 从file中读行。 
t label if分支，从最后一行开始，条件一旦满足或者T，t命令，
              将导致分支到带有标号的命令处，或者到脚本的末尾。 
T label 错误分支，从最后一行开始，一旦发生错误或者T，t命令，
          将导致分支到带有标号的命令处，或者到脚本的末尾。 
w file 写并追加模板块到file末尾。 
W file 写并追加模板块的第一行到file末尾。 
! 表示后面的命令对所有没有被选定的行发生作用。 
= 打印当前行号码。 
# 把注释扩展到下一个换行符以前。

sed 替换 标记 

g    表示行内全面替换。 
p    表示打印行。 
w    表示把行写入一个文件。 
x    表示互换模板块中的文本和缓冲区中的文本。 
y    表示把一个字符翻译为另外的字符（但是不用于正则表达式） 
\1   子串匹配标记 
&    已匹配字符串标记

sed 元字符集

^     匹配行开始，如：/^sed/匹配所有以sed开头的行。 
$     匹配行结束，如：/sed$/匹配所有以sed结尾的行。 
.     匹配一个非换行符的任意字符，如：/s.d/匹配s后接一个任意字符，最后是d。 
*     匹配0个或多个字符，如：/*sed/匹配所有模板是一个或多个空格后紧跟sed的行。 
[]    匹配一个指定范围内的字符，如/[ss]ed/匹配sed和Sed。 
[^]   匹配一个不在指定范围内的字符。
      如：/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一个字母开头，紧跟ed的行。 
\(..\)    匹配子串，保存匹配的字符。如s/\(love\)able/\1rs，loveable被替换成lovers。 
&     保存搜索字符用来替换其他字符，如s/love/**&**/，love这成**love**。 
\<    匹配单词的开始，如:/\<love/匹配包含以love开头的单词的行。
>/    匹配单词的结束，如:/love\>匹配包含以love结尾的单词的行。 
x\{m\}     重复字符x，m次，如：/0\{5\}/匹配包含5个0的行。 
x\{m,\}    重复字符x，至少m次，如：/0\{5,\}/匹配至少有5个0的行。 
x\{m,n\}   重复字符x，至少m次，不多于n次，如：/0\{5,10\}/匹配5~10个0的行。

sed 示例

sed 用法示例

替换操作：s 命令 

    替换文本中的字符串： 
        sed 's/book/books/' file

    -n 选项和 p命令 一起使用表示只打印那些发生替换的行： 
        sed -n 's/test/TEST/p' file 

    直接编辑文件选项-i，会匹配file文件中每一行的第一个book替换为books： 
        sed -i 's/book/books/g' file

    全面替换标记g 使用后缀 /g 标记会替换每一行中的所有匹配： 
        sed 's/book/books/g' file

    当需要从第N处匹配开始替换时，可以使用 /Ng： 
        echo sksksksksksk | sed 's/sk/SK/2g' 
        skSKSKSKSKSK 
        echo sksksksksksk | sed 's/sk/SK/3g' 
        skskSKSKSKSK 
        echo sksksksksksk | sed 's/sk/SK/4g' 
        skskskSKSKSK


定界符 

    以上命令中字符 / 在sed中作为定界符使用，也可以使用任意的定界符： 
        sed 's:test:TEXT:g' 
        sed 's|test|TEXT|g' 
    
    定界符出现在样式内部时，需要进行转义： 
        sed 's/\/bin/\/usr\/local\/bin/g'


删除操作：d命令 

    删除空白行： 
        sed '/^$/d' file 
    删除文件的第2行： 
        sed '2d' file 
    删除文件的第2行到末尾所有行： 
        sed '2,$d' file 
    删除文件最后一行： 
        sed '$d' file 
    删除文件中所有开头是test的行： 
        sed '/^test/'d file


已匹配字符串标记& 

    正则表达式 \w\+ 匹配每一个单词，使用 [&] 替换它，& 对应于之前所匹配到的单词： 
        echo this is a test line | sed 's/\w\+/[&]/g' 
        [this] [is] [a] [test] [line] 
    所有以192.168.0.1开头的行都会被替换成它自已加localhost： 
        sed 's/^192.168.0.1/&localhost/' file 
        192.168.0.1localhost


子串匹配标记\1 匹配给定样式的其中一部分： 

    echo this is digit 7 in a number | sed 's/digit \([0-9]\)/\1/' 
    this is 7 in a number 
    命令中 digit 7，被替换成了 7。样式匹配到的子串是 7，\(..\) 用于匹配子串，
    对于匹配到的第一个子串就标记为 \1，依此类推匹配到的第二个结果就是 \2，例如： 
    echo aaa BBB | sed 's/\([a-z]\+\) \([A-Z]\+\)/\2 \1/' 
    BBB aaa 
    love被标记为1，所有loveable会被替换成lovers，并打印出来： 
    sed -n 's/\(love\)able/\1rs/p' file


组合多个表达式 
        sed '表达式' | sed '表达式' 
    等价于： 
        sed '表达式; 表达式'


引用 
    sed表达式可以使用单引号来引用，但是如果表达式内部包含变量字符串，就需要使用双引号。 
    test=hello 
    echo hello WORLD | sed "s/$test/HELLO" 
    HELLO WORLD 


选定行的范围：,（逗号） 
    
    所有在模板test和check所确定的范围内的行都被打印： 
        sed -n '/test/,/check/p' file 
    打印从第5行开始到第一个包含以test开始的行之间的所有行： 
        sed -n '5,/^test/p' file 
    对于模板test和west之间的行，每行的末尾用字符串aaa bbb替换： 
        sed '/test/,/west/s/$/aaa bbb/' file


多点编辑：e命令 
    -e选项允许在同一行里执行多条命令： 
    sed -e '1,5d' -e 's/test/check/' file 
    上面sed表达式的第一条命令删除1至5行，第二条命令用check替换test。
    命令的执行顺序对结果有影响。如果两个命令都是替换命令，
    那么第一个替换命令将影响第二个替换命令的结果。 
    和 -e 等价的命令是 --expression： 
    sed --expression='s/test/check/' --expression='/love/d' file


从文件读入：r命令 
    file里的内容被读进来，显示在与test匹配的行后面，
    如果匹配多行，则file的内容将显示在所有匹配行的下面： 
    sed '/test/r file' filename 
    写入文件：w命令   
    在example中所有包含test的行都被写入file里： 
    sed -n '/test/w file' example


追加（行下）：a\命令 
    将 this is a test line 追加到 以test 开头的行后面： 
    sed '/^test/a\this is a test line' file 
    在 test.conf 文件第2行之后插入 this is a test line： 
    sed -i '2a\this is a test line' test.conf 


插入（行上）：i\命令 
    将 this is a test line 追加到以test开头的行前面： 
    sed '/^test/i\this is a test line' file 
    在test.conf文件第5行之前插入this is a test line： 
    sed -i '5i\this is a test line' test.conf


下一个：n 命令 
    如果test被匹配，则移动到匹配行的下一行，替换这一行的aa，变为bb，并打印该行，然后继续： 
    sed '/test/{ n; s/aa/bb/; }' file 


变形：y命令 
    把1~10行内所有abcde转变为大写，注意，正则表达式元字符不能使用这个命令： 
    sed '1,10y/abcde/ABCDE/' file 

退出：q命令 打印完第10行后，退出
    sed sed '10q' file

保持和获取：h命令和G命令 
    在sed处理文件的时候，每一行都被保存在一个叫模式空间的临时缓冲区中，
    除非行被删除或者输出被取消，否则所有被处理的行都将 打印在屏幕上。
    接着模式空间被清空，并存入新的一行等待处理。 
    sed -e '/test/h' -e '$G' file 
    在这个例子里，匹配test的行被找到后，将存入模式空间，h命令将其复制并存入一个
    称为保持缓存区的特殊缓冲区内。第二条语句的意思是，当到达最后一行后，
    G命令取出保持缓冲区的行，然后把它放回模式空间中，且追加到现在已经存在
    于模式空间中的行的末尾。在这个例子中就是追加到最后一行。简单来说，
    任何包含test的行都被复制并追加到该文件的末尾。 

保持和互换：h命令和x命令 
    互换模式空间和保持缓冲区的内容。也就是把包含test与check的行互换： 
    sed -e '/test/h' -e '/check/x' file

脚本scriptfile 
    sed脚本是一个sed的命令清单，启动Sed时以-f选项引导脚本文件名。
    Sed对于脚本中输入的命令非常挑剔，在命令的末尾不能有任何空白或文本，
    如果在一行中有多个命令，要用分号分隔。以#开头的行为注释行，且不能跨行。 
    sed [options] -f scriptfile file(s) 

打印奇数行或偶数行 
    方法1： 
        sed -n 'p;n' test.txt #奇数行 
        sed -n 'n;p' test.txt #偶数行 
    方法2： 
        sed -n '1~2p' test.txt #奇数行 
        sed -n '2~2p' test.txt #偶数行

打印匹配字符串的下一行 
    grep -A 1 SCC URFILE 
    sed -n '/SCC/{n;p}' URFILE 
    awk '/SCC/{getline; print}' URFILE

举例：假设我们有一文件名为 ab

删除某行
     [root@localhost ruby] # sed '1d' ab          # 删除第一行 
     [root@localhost ruby] # sed '$d' ab          # 删除最后一行
     [root@localhost ruby] # sed '1,2d' ab        # 删除第一行到第二行
     [root@localhost ruby] # sed '2,$d' ab        # 删除第二行到最后一行

显示某行
     [root@localhost ruby] # sed -n '1p' ab       # 显示第一行 
     [root@localhost ruby] # sed -n '$p' ab       # 显示最后一行
     [root@localhost ruby] # sed -n '1,2p' ab     # 显示第一行到第二行
     [root@localhost ruby] # sed -n '2,$p' ab     # 显示第二行到最后一行

使用模式进行查询
     [root@localhost ruby] # sed -n '/ruby/p' ab    # 查询包括关键字ruby所在所有行
     
     # 查询包括关键字$所在所有行，使用反斜线\屏蔽特殊含义
     [root@localhost ruby] # sed -n '/\$/p' ab                               

增加一行或多行字符串
     [root@localhost ruby]# cat ab
     Hello!
     ruby is me,welcome to my blog.
     end
     [root@localhost ruby] # sed '1a drink tea' ab  #第一行后增加字符串"drink tea"
     Hello!
     drink tea
     ruby is me,welcome to my blog. 
     end
     [root@localhost ruby] # sed '1,3a drink tea' ab #第一行到第三行后增加字符串"drink tea"
     Hello!
     drink tea
     ruby is me,welcome to my blog.
     drink tea
     end
     drink tea

     #第一行后增加多行，使用换行符\n
     [root@localhost ruby] # sed '1a drink tea\nor coffee' ab   
     Hello!
     drink tea
     or coffee
     ruby is me,welcome to my blog.
     end

代替一行或多行
     [root@localhost ruby] # sed '1c Hi' ab                #第一行代替为Hi
     Hi
     ruby is me,welcome to my blog.
     end
     [root@localhost ruby] # sed '1,2c Hi' ab             #第一行到第二行代替为Hi
     Hi
     end

替换一行中的某部分
    格式：sed 's/要替换的字符串/新的字符串/g'   （要替换的字符串可以用正则表达式）
    [root@localhost ruby] # sed -n '/ruby/p' ab | sed 's/ruby/bird/g'   # 替换ruby为bird
　  [root@localhost ruby] # sed -n '/ruby/p' ab | sed 's/ruby//g'       # 删除ruby

插入
     [root@localhost ruby] # sed -i '$a bye' ab         #在文件ab中最后一行直接输入"bye"
     [root@localhost ruby]# cat ab
     Hello!
     ruby is me,welcome to my blog.
     end
     bye

删除匹配行
   sed -i '/匹配字符串/d'  filename  （注：若匹配字符串是变量，则需要“”，而不是‘’。记得好像是）
      替换匹配行中的某个字符串
      sed -i '/匹配字符串/s/替换源字符串/替换目标字符串/g' filename

数据 的 搜寻 并 显示

搜索 /etc/passwd 有 root 关键字的行：nl /etc/passwd | sed '/root/p'
使用 -n 的时候将只打印包含模板的行：nl /etc/passwd | sed -n '/root/p'

数据 的 搜寻 并 删除

删除 /etc/passwd 所有包含 root 的行，其他行输出：nl /etc/passwd | sed  '/root/d'

数据 的 搜寻 并 执行命令

搜索 /etc/passwd，找到 root 对应的行，执行后面花括号中的一组命令，每个命令之间用分号分隔，这里把 bash 替换为 blueshell，再输出这行：nl /etc/passwd | sed -n '/root/{s/bash/blueshell/;p}'

如果只替换 /etc/passwd 的第一个 bash 关键字为 blueshell，就退出：nl /etc/passwd | sed -n '/bash/{s/bash/blueshell/;p;q}' 

数据 的 搜寻 并 替换

除了整行的处理模式之外， sed 还可以用行为单位进行部分数据的搜寻并取代。基本上 sed 的搜寻与替代的与 vi 相当的类似！他有点像这样：sed 's/要被取代的字串/新的字串/g'

将 IP 前面 的部分予以删除：[root@www ~]# /sbin/ifconfig eth0 | grep 'inet addr' | sed 's/^.*addr://g'

将 IP 后面 的部分予以删除：[root@www ~]# /sbin/ifconfig eth0 | grep 'inet addr' | sed 's/^.*addr://g' | sed 's/Bcast.*$//g'

多点编辑

一条 sed 命令，删除 /etc/passwd 第三行到末尾的数据，并把 bash 替换为 blueshell
nl /etc/passwd | sed -e '3,$d' -e 's/bash/blueshell/'

-e 表示多点编辑
    第一个编辑命令删除 /etc/passwd 第三行到末尾的数据
    第二条命令搜索 bash 替换为 blueshell。

直接修改文件内容(危险动作)

sed 可以直接修改文件的内容，不必使用管道命令或数据流重导向！ 不过，由於这个动作会直接修改到原始的文件，所以请你千万不要随便拿系统配置来测试！ 我们还是使用下载的 regular_express.txt 文件来测试看看吧！

利用 sed 将 regular_express.txt 内每一行结尾若为 . 则换成 !

[root@www ~]# sed -i 's/\.$/\!/g' regular_express.txt

利用 sed 直接在 regular_express.txt 最后一行加入『# This is a test』

[root@www ~]# sed -i '$a # This is a test' regular_express.txt

由於 $ 代表的是最后一行，而 a 的动作是新增，因此该文件最后新增『# This is a test』！

sed 的『 -i 』选项可以直接修改文件内容，这功能非常有帮助！举例来说，如果你有一个 100 万行的文件，你要在第 100 行加某些文字，此时使用 vim 可能会疯掉！因为文件太大了！那怎办？就利用 sed 啊！透过 sed 直接修改/取代的功能，你甚至不需要使用 vim 去修订！