Linux 常用文本编辑命令汇总
sort
对文本内容进行排序。
常用参数：
- -b：忽略每行左侧的空白字符
- -n：按数字大小排序
- -V：按照数字版本排序
- -h：根据存储容量排序（KB、MB、GB）
- -r：倒序
- -t：指定排序后的分隔符，默认为空格
- -k：按指定的列排序
- -o：把结果保存到文件
$ sort testfile -n
$ cat testfile | sort -o test.log
uniq
检查和删除文件中重复的行或列，只检查相邻行，一般与 sort 配合使用。
常用参数：
- -c：统计重复次数
- -f：跳过前 N 列
- -s：跳过前 N 个字符
- -w：仅对前 N 个字符进行比较
# 构造测试数据
$ cat testfile
tom male 18
alex male 19
ali womale 15
jerry male 18
kd male 18
# 根据同岁人口的数量排行
$ cat testfile | sort -k 3 -n | uniq -c -f 2 | sort -nr
3 jerry male 18
1 ali womale 15
1 alex male 19
wc
字符统计。
常用参数：
- -c：统计字节数
- -l：统计行数
- -w：统计单词数
$ cat testfile
hello world
tester
gogogo!
\n
\n
# 行数、单词数、字符数（换行符、空格也算字符）
$ cat testfile | wc
5 4 29
grep
基于正则表达式查找满足条件的行或者字符串。
内容检索：
-
-o：根据正则仅提取内容
-
-A1：取匹配到内容的后一行
-
-B2：取匹配到内容的前两行
$ grep go testfile
gogogo!
$ grep "[a-z]*er " testfile
tester lan
$ grep -o "[a-z]*er " -A1 testfile
tester
gogogo!
文件检索：
- -r：递归查找目录
- -h：仅展示匹配的内容，不展示匹配的文件名，默认是展示的（-H）
- -l：仅展示匹配的文件名，不展示匹配的内容
$ grep -r hello tmp
tmp/testfile:hello world
$ grep -r -h hello tmp
hello world
$ grep -r -l hello tmp
tmp/testfile
范围约束：
- -i：忽略大小写
- -v：不显示匹配的行
- -E：使用扩展正则表达式
- --include：文件/目录范围约束，仅在匹配的文件内查找内容
# 默认区分大小写
$ grep HELLO testfile
# -i 忽略大小写
$ grep -i HELLO testfile
hello world
# -v 除匹配的行外都显示，空行也显示
$ grep -v -r hello testfile
testfile:tester lan
testfile:gogogo!
testfile:
testfile:
# -E 写正则表达式可以不使用转义符
# ^$ 代表空行，所以这里输出了两个空行
$ grep -E "^$" testfile
$ grep -r test tmp --include "test*"
tmp/testfile:tester lan
通过 grep 过滤进程时，由于 grep 本身会开启新进程，所以通过 -v 参数过滤匹配行，才是真正想要的内容。
$ ps -ef | grep ssh
501 35036 1 0 301121 ?? 0:00.19 /usr/bin/ssh-agent -l
501 57090 49928 0 12:20上午 ttys000 0:00.00 grep ssh
$ ps -ef | grep ssh | grep -v grep
501 35036 1 0 301121 ?? 0:00.19 /usr/bin/ssh-agent -l
awk
根据定位到的数据处理其中的分段。
awk 具备完整的编程特性，比如执行命令，网络请求等。核心语法：
# 匹配表达式 + 行为表达式
$ awk 'pattern{action}'
上下文变量
- 开始 BEGIN 结束 END
- 行数 NR
- 字段与字段数 $1 $2 .. $N $NF
- 整行 $0
- 字段分隔符 FS，简写 -F
- 输出数据的字段分隔符 OFS
- 记录分隔符 RS
- 输出字段的行分隔符 ORS
# 通过逗号分隔取第一二列
$ echo '1, 2, 3' | awk -F , '{print $1, $2}'
1 2
字段变量用法
- -F：参数指定字段分隔符，可以用 ｜ 指定多个分隔符，例：
-F '<|>' - BEGIN{FS="_"} 也可以表示分隔符
- $0 表示当前的记录
- $1 表示第一个字段
- $N 表示第 N 个字段
- $NF 表示最后一个字段
- $(NF-1) 表示倒数第二个字段
pattern 表达式
- 正则匹配
- 根据字段匹配：$1~/pattern/
- 整行匹配简写：/pattern/
- 比较表达式
- $2>2
- $1=="b"
# 获取第三行的内容
$ echo '1
> 2
> 3' | awk "NR==3"
3
# 正则匹配 3
# 默认 action 为 {print $0}
# 下面的 awk 等价于 awk '$1~/3/{print $0}'
$ echo '1
> 2
> 3' | awk '$1~/3/'
匹配表达式案例
# 开始和结束
$ awk 'BEGIN{}END{}'
# 正则：整行匹配
$ awk '/test/'
# 正则：字段匹配
$ awk '$2~/test/'
# 取第二行
$ awk 'NR==2'
# 去掉第一行
$ awk 'NR>1'
# 区间选则，包含开始和结束行，中间以逗号隔开
$ awk '/aa/, /bb/'
$ awk '/1/, NR==2'
action 表达式
如果行为表达式前面没有 pattern 表达式，则代表对所有数据生效。
- 打印：
- 赋值：
- 处理函数
- 原始内容：$0
- 更新后内容：
# 单行转多行
$ echo 1:2:3 | awk 'BEGIN{RS=":"}{print $0}'
1
2
3
# 多行转单行
$ echo '1
> 2
> 3' | awk 'BEGIN{RS="";FS="\n";OFS=":"}{$1=$1;print $0}'
1:2:3
# 多行转多行方法二
$ echo '1
> 2
> 3' | awk 'BEGIN{RS="";FS="\n";OFS=":"}{$1=$1;print $0}'
1:2:3
# 求第二列平均数
$ echo '1,10
> 2,20
> 3,30' | awk 'BEGIN{total=0;FS=","}{total+=$2}END{print total/NR}'
20
词典/array 结构
# 求第三列总数
$ echo 'a, 1, 10
> a, 2, 20
> b, 1, 30
> b, 2, 40' | awk '{data[$1]+=$3} END{for(k in data) print k, data[k]}'
a, 30
b, 70
# 求第三列平均数
$ echo 'a, 1, 10
a, 2, 20
b, 1, 30
b, 2, 40' | awk '{data[$1]+=$3; count[$1]+=1} END{for(k in data) print k, data[k]/count[k]}'
a, 15
b, 35
sed
流式编译器，定位并修改数据。
基本语法：sed [addr]X[options]
常用参数：
- -e：根据表达式处理文本
- -n：仅展示处理后的结果
- -i：直接修改源文件
- -E：扩展表达式
- -debug：调试模式
pattern 表达式
- 行数 20
- 行数范围 20,40
- 正则匹配 /pattern/
- 区间匹配 //,//
$ sed -n '1p' testfile
hello world
$ sed -n '2,3p' testfile
tester lan
gogogo!
$ sed -n '/world/p' testfile
hello world
action 表达式
- p 打印，结合 -n 参数使用
- s 查找替换
- d 删除
- a 在内容匹配行之后追加
- c 取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行
- i 插入内容到匹配行之前
- e 执行命令
- 分组匹配与字段提取
# 删除最后一行, $ 在这里不是正则，代表最后一行
$ sed '$d' testfile
# 删除多行
$ sed '1,3d' testfile
s 表达式
# 替换
$ echo 'good night' | sed 's/night/evening/'
good evening
# / 可以用任意符号代替，只要三个符号是一致的就行
$ echo 'good night' | sed 's#night#evening!#'
good evening!
# 默认只会替换第一个符合表达式的内容
$ echo 'good night' | sed 's#o#_#'
g_od night
# 通过 g 参数替换全局
$ echo 'good night' | sed 's#o#_#g'
g__d night
# 通过 & 匹配内容，n 前面添加 123
$ echo 'good night' | sed 's/n/123&/'
good 123night
# n 后面添加 123
$ echo 'good night' | sed 's/n/&123/'
good n123ight
反向引用
- 使用 () 对数据进行分组
- 使用
\3 \2 \1反向引用分组
# 将 123 倒序替换
$ echo 0 1 2 3 4 5 | sed -E 's#([1-3]) ([1-3]) ([1-3])#\3 \2 \1#'
0 3 2 1 4 5