关注公众号 “融码一生”,领取全套 PDF / 电子书
- Linux 系统中还有一个功能更加强大的文本数据处理工具:awk,它诞生于 20 世纪 70 年代末期,这也许是它影响众多 Linux 用户的原因之一。
- awk 是由 Aho、Weingberger 和 Kernighan 设计开发,因此这 3 为大师姓的首字母即为命令名。
- 和 sed 命令类似,awk 命令也是逐行扫描文件(从第 1 行到最后一行),寻找含有目标文本的行,如果匹配成功,则会在该行上执行用户想要的操作;反之则不对行做任何处理。基本格式:
-
awk [选项] '脚本命令' 文件名
选项 | 含义 |
-F fs | 指定以 fs 作为输入行的分隔符(默认为空格或制表符) |
-f file | 从脚本文件中读取 awk 脚本指令(取代命令行中输入指令) |
-v var=val | 在执行处理过程之前设置一个变量 var,并设置初始值为 val |
- awk 的强大之处在于脚本命令,它由 2 部分组成:匹配规则、执行命令
-
'匹配规则{执行命令}'
-
-
- 匹配规则和
sed
命令中的address
部分作用相同,用来指定脚本命令可以作用到文本内容中的具体行,可以使用字符串(如/demo/
表示查看含有 demo 字符串的行)或正则表达式指定。 - 整个脚本命令用单引号
'
括起,而其中的执行命令部分需要用大括号{}
括起来。
- 匹配规则和
-
- 在 awk 程序执行时,如果没有指定执行命令,则默认会把匹配的行输出;如果不指定匹配规则,则默认匹配文本中所有的行。
- 示例:
-
awk '/^$/ {print "Blank line"}' test.txt
-
-
/^$/
是一个正则表达式,匹配文本中的空白行- 执行命令使用的是 print 命令,将指定的文本进行输出
- 整个命令的功能:如果
test.txt
有 N 个空白行,那么执行此命令会输出 N 个 Blank line
-
1、使用数据字段变量
- awk 的主要特性之一是其处理文本文件中数据的能力,它会自动给一行中的每个数据元素分配一个变量。awk 默认会将如下变量分配给它在文本行中发现的数据字段:
-
$0
:代表整个文本行$1
:代表文本行中的第 1 个数据字段$2
:代表文本行中的第 2 个数据字段$n
:代表文本行中的第 n 个数据字段
- awk 中默认的字段分隔符是任意的空白字符(如空格、制表符)。 在文本行中,每个数据字段都是通过字段分隔符划分。awk 在读取一行文本时会用预定义的字段分隔符划分每个数据字段。
- awk 程序读取文本文件,只显示第 1 个数据字段的值:
cat test.txt
:<<!
One line of test text.
Two lines of test text.
Three lines of test text.
!
awk '{print $1}' test.txt
:<<!
One
Two
Three
!
- 如果要读取采用了其它字段分隔符的文件,可以用
-F
选项手动指定。
2、awk 脚本命令使用多个命令
- awk 允许将多条命令组合成一个正常的程序。
- 要在命令行上的程序脚本中使用多条命令,只要在命令之间放个分号即可:
echo "My name is Rich" | awk '{$4="Christine"; print $0}'
:<<!
My name is Christine
!
- 第一条命令会给字段变量
$4
赋值。第二条命令会打印整个数据字段。 - 可以看到,awk 程序在输出中已经将原文本中的第四个数据字段替换成了新值。
- 也可以一次一行地输入程序脚本命令:
echo "My name is Rich" | awk '{
$4="Christine"
print $0}'
:<<!
My name is Christine
!
- 在用了起始的单引号后,bash shell 会使用
>
来提示输入更多数据,此时可以每次在每行加一条命令,直到输入了结尾的单引号。 - 注意:如果没有在命令行中指定文件名,awk 程序需要用户输入获得数据,因此当运行这个程序时,会一直等着用户输入文本,此时如果要退出程序,只需按 Ctrl+D 组合键:
awk '{
$4="Christine"
print $0}'
3、从文件中读取程序
- 跟 sed 一样,awk 允许将脚本命令存储到文件中,然后再在命令行中引用:
cat awk.sh
:<<!
{print $1 "'s home directory is " $6}
!
awk -F: -f awk.sh /etc/passwd
:<<!
root's home directory is /root
bin's home directory is /bin
daemon's home directory is /sbin
adm's home directory is /var/adm
lp's home directory is /var/spool/lpd
sync's home directory is /sbin
shutdown's home directory is /sbin
halt's home directory is /sbin
mail's home directory is /var/spool/mail
operator's home directory is /root
games's home directory is /usr/games
ftp's home directory is /var/ftp
...
!
awk.sh
脚本文件会使用 print 命令打印/etc/passwd
文件的主目录数据字段(字段变量$6
),以及userid
数据字段(字段变量$1
)。- 注意:在程序文件中也可以指定多条命令,一条命令放一行即可,之间不需要用分号。
4、BEGIN 关键字
- awk 中还可以指定脚本命令的运行时机。awk 默认会从输入中读取一行文本,然后针对该行的数据执行程序脚本,但有时可能需要在处理数据前运行一些脚本命令,这就需要使用 BEGIN 关键字。
- BEGIN 会强制 awk 在读取数据前执行该关键字后指定的脚本命令:
cat test.txt
:<<!
Line 1
Line 2
Line 3
!
awk 'BEGIN {print "The data3 File Contents:"}
{print $0}' test.txt
:<<!
The data3 File Contents:
Line 1
Line 2
Line 3
!
- 脚本命令中分为 2 部分:
-
- BEGIN 部分的脚本指令会在 awk 命令处理数据前运行
- 真正用来处理数据的是第二段脚本命令
5、END 关键字
- 和 BEGIN 关键字相对应,END 关键字允许指定一些脚本命令,awk 会在读完数据后执行它们,例如:
cat test.txt
:<<!
Line 1
Line 2
Line 3
!
awk 'BEGIN {print "The test.txt File Contents:"}
{print $0}
END {print "End of File"}' test.txt
:<<!
The test.txt File Contents:
Line 1
Line 2
Line 3
End of File
!
- 当 awk 程序打印完文件内容后,才会执行 END 中的脚本命令。
标签:脚本,指定,数据字,命令,awk,文本,2.6 From: https://blog.csdn.net/m0_66491750/article/details/137251209关注公众号 “融码一生”,领取全套 PDF / 电子书