轻松掌握 Linux 文本处理三剑客：grep、awk 和 sed 实战演练

Shell 脚本语言编程有哪些优势呢？

Shell 脚本语言的优势在于能够以最轻量级最快捷的速度处理 Linux 操作系统偏底层的业务。比如软件的自动化安装、更新版本，监控报警，日志分析等。虽然其他高级编程语言如 PHP、Python、Ruby 等语言也能做到，但是效率和开发成本上会大打折扣，所谓“杀鸡用牛刀”，有点得不偿失。

成熟的技术人会摒弃华而不实的方法，而会根据不同的场景选择最合适的工具去解决问题，朴实而高效。比如本文着重介绍的 Linux 三剑客：grep、awk 和 sed 就是 Linux 文本处理问题的最高效工具。

下面，我们将依次介绍 Linux 文本处理三剑客的基础语法，使用场景和特性，以及给出对应的实战演练题目。

Shell 编程环境安装

• Windows 用户，建议安装 Git Bash 软件。
• Mac 用户，建议安装 iterm2 软件。
• ssh 工具

Linux 三剑客介绍

• grep：主要用于文本内容查找，支持正则表达式。
• awk：主要用于文本内容的分析处理，也常用于处理数据，生成报告，非常适用于需要按列处理的数据。（现在很多Linux使用gawk）
• sed：全称为 Stream editor ，主要用于文本内容的编辑，默认只处理模式空间，不改变原数据，而且 sed 使用逐行读取的方式处理数据。

 grep 示例 Shell 脚本代码

ps -ef  | grep bash
echo "ABC" | grep -i  abc
ps -ef | grep bash | grep -v grep
echo "1234 7654" | grep -o "[0-9]4"  
echo "1234 7654" | grep -oE "[0-9]4|76"

grep 实战演练题目

• 找出 nginx.log 中所有 404 和 503 报错的 log 数据

$grep -E ' 404 | 500 ' nginx.log | wc -l

$awk '$9~/404|500/' nginx.log | wc -l

 awk 示例 Shell 脚本代码

ps | awk 'BEGIN{print "start"}{print $0}END{print "end"}'
awk '/ 404 | 500 /' /tmp/nginx.log
echo '1
2
3
4
5' | awk '/2/,/4/'
echo '1
2
3
4
5' | awk '$0>3'
ps | awk 'NR>1'
ps | awk '{print $NF}'
echo $PATH | awk 'BEGIN{RS=":"}{print $0}' | grep -v "^$" | awk 'BEGIN{FS="\n";ORS=":"}{print $0}END{printf "\n" }'
echo '1,10
2,20
3,30' | awk 'BEGIN{a=0;FS=","}{a+=$2}END{print a,a/NR}'
awk 'BEGIN{print 33*20*76/200/3}'
echo "123|456_789" | awk 'BEGIN{FS="\\||_"}{print $2}'
echo "123|456_789" | awk "BEGIN{FS=\"\\\\||_\"}{print \$2}" #尽量使用单引号

sed

pattern表达式

• 20 30,35 行数与行数范围
• /pattern/ 正则匹配
• //,// 正则匹配的区间

action

• d 删除
• p 打印，通畅结合-n参数
• s/REGEXP/REPLACEMENT/[FLAGS]
• 替换时引用 \1 \2 匹配的字段

sed 示例 Shell 脚本代码

ps | sed -n 1,3p
ps | sed 's/CMD/command/'
ps | sed -n '/ps/p'
echo '1
2
3
4
5' | sed -n '/3/,/4/p'
echo '1
2
3
4
5' | sed '/3/,/4/d'
ps | sed -e 's/CMD/command/' -e 's#00#20#g'