一、概述
AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。 它是专门为文本处理设计的编程语言，也是行处理软件，通常用于扫描、过滤、统计汇总工作 数据可以来自标准输入也可以是管道或文件。 20 世纪 70 年代诞生于贝尔实验室，现在 centos7 用的是 gawk 之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。 awk ： Aho, Weinberger, Kernighan ，报告生成器，格式化文本输出， GNU/Linux 发布的 AWK 目前由自 由软件基金会（FSF ）进行开发和维护，通常也称它为 GNU AWK 有多种版本： AWK ：原先来源于 AT & T 实验室的的 AWK NAWK ： New awk ， AT & T 实验室的 AWK 的升级版 GAWK ：即 GNU AWK 。所有的 GNU/Linux 发布版都自带 GAWK ，它与 AWK 和 NAWK完全兼容在 linux 上常用的是 gawk,awk 是 gawk 的链接文件
1.2、工作原理
当读到第一行时，匹配条件，然后执行指定动作，再接着读取第二行数据处理，不会默认输出 如果没有定义匹配条件默认是匹配所有数据行， awk 隐含循环，条件匹配多少次动作就会执行多少次逐行读取文本，默认以空格或tab 键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按 模式或者条件执行编辑命令。 sed 命令常用于一整行的处理，而 awk 比较、倾向于将一行分成多个 "" 字段 " 然后再进行处理。 awk 信息的读入也是逐行读取的，执行结果可以通过 print 的功能将字段数据打印显示。 在使用 awk 命令的过程中, 可以使用逻辑操作符 " &&" 表示 " 与 " 、 "|| 表示 " 或 " 、 "!" 表示非 "; 还可以进行简单的数学运算，如 + 、 *、 / 、 % 、 ^ 分别表示加、减、乘、除、取余和乘方。1.3、工作流程
man gawk----> pattern scanning and processing language 模式扫描和处理语言。 pattern [ ˈ pætn] 模式 ； process [ ˈ pr əʊ ses] 处理 任何 awk 语句都是由模式和动作组成，一个 awk 脚本可以有多个语句。模式决定动作语句的触发条件和触发时间1.4、 运行模式
- 正则表达式 : /root/ 匹配含有 root 的行 /*.root/
- 关系表达式： < > && || + *
- 匹配表达式： ~ ！~ 动作：
- 变量 命令 内置函数 流控制语句它的语法结构如下：
1.5、 执行流程
BEGIN 语句设置计数和打印头部信息，在任何动作之前进行 END 语句输出统计结果，在完成动作之后执行 AWK 执行的流程非常简单：读（ Read ）、执行（ Execute ）与重复（ Repeat ）。 下面的流程图描述出 了AWK 的工作流程
1.6、 基本语法
命令格式 awk 选项 ' 模式或条件 { 操作 }' 文件 1 文件 2 ... awk -f 脚本文件 文件 1 文件 2 ..格式： awk 选项 命令部分 '{xxxx}' 文件名AWK 支持两种不同类型的变量： 内建变量 ( 可直接使用 ) ， 自定义变量 内置变量（预定义变量） 如下所示：
- FS：指定每行文本的字段分隔符，默认为空格或制表位。
- NF：当前处理的行的字段个数。在执行过程中对应于当前的字段数，NF：列的个数
- NR：当前处理的行的行号（序数）。 在执行过程中对应于当前的行号
- RS:行分隔符。awk从文件上读取资料时,将根据Rs的定义把资料切割成许多条记录, 而awk一次仅读 入一条记录,以进行处理。预设值是" \n'
- $0：当前处理的行的整行内容。
- $n：当前处理行的第 n 个字段（第 n 列）。比如: $1 表示第一个字段，$2 表示第二个字段
- FILENAME：被处理的文件名(当前输入文件的名)。
- FNR 各文件分别计数的行号
- OFS 输出字段分隔符（默认值是一个空格）
- ORS 输出记录分隔符（默认值是一个换行符）
二、实战案列
2.1、内建变量
awk 包含几个特殊的内建变量（可直接用）如下所示： FS ：指定每行文本的字段分隔符，默认为空格或制表位。 NF ：当前处理的行的字段个数。 NR ：当前处理的行的行号（序数）。 $0 ：当前处理的行的整行内容。 $n ：当前处理行的第 n 个字段（第 n 列）。 FILENAME ：被处理的文件名。 RS: 行分隔符。 awk 从文件上读取资料时 , 将根据 Rs 的定义把资料切割成许多条记录 , 而 awk 一次仅读入一 条记录 , 以进行处理。预设值是 " \n' 简说：数据记录分隔，默认为 \n ，即每行为一条记录在打印一遍
awk '{print "hello" }' </etc/passwd
直接打印内容
自定义冒号为分隔符显示分隔之后的第五列
awk -F: '{print $5}' /etc/passwd
2.2、内置变量
awk 常用内置变量： $1 、 $2 、 NF 、 NR 、 $0 $1 ：代表第一列 $2 ：代表第二列以此类推 $0 ：代表整行 NF ：一行的列数 NR ：行数 awk -F: '/root/{print $0}' /etc/passwd 搜索包含root的整行内容
打印包含root的行的第 一列
打印包含root的行的 第一列和第六列
默认应该整行
打印每一行的列数
显示行号
多一个$0就多显示行内容
nr行数，可以不用print 直接默认显示
当然也可以加上效果一样
awk 'NR==2{print}' /etc/passwd //同上效果
打印最后每行一列
awk -F: '{print $NF}' /etc/passwd
awk -F: '{print "第" NR "行有" NF "列" }' /etc/passwd
扩展生产案列：网卡的ip、流量
查看流量
查看ip地址
查看磁盘空间
2.3、BEGIN 和 END 运算
逐行执行开始之前执行什么任务，结束之后再执行什么任务，用 BEGIN 、 END ，BEGIN一般用来做初始化操作，仅在读取数据记录之前执行一次 END 一般用来做汇总操作，仅在读取完数据记录之后执行一次。
小数也可以运算，不指定初始值，初始值就为0，如果是字符串，则默认为空。^和**都是幂运算，
BEGIN 在处理文件之前，所以后面不跟 文件名也不影响。 模糊匹配，用 ~ 表示包含， !~ 表示不包含
awk -F: '$1~/ro/' /etc/passwd //
模糊匹配，只要有
ro
就匹配上
awk -F: '$7!~/nologin$/{print $1,$7}' /etc/passwd
加“”代表精确查找
3到100列的
其他内置变量的用法
FS
（输入）、
OFS
、
NR
、
FNR
、
RS
、
ORS
FS
：输入字段的分隔符 默认是空格
OFS
：输出字段的分隔符 默认也是空格
FNR
：读取文件的记录数（行号），从
1
开始，新的文件重新重
1
开始计数
RS
：输入行分隔符
默认为换行符
ORS
：输出行分隔符
默认也是为换行符
FS的作用
在打印之前先定义字段分隔符为冒号
NR代表当前记录号（即当前行号，在整个输入文件中是唯一的）。$0代表当前记录的内容，即当前行的全部文本。
因此，'{print NR,$0}'这个动作的意思是“打印当前行号（NR）和当前行的全部内容（$0）”。
FNR区分文件给行号，NR不区分
RS
指定以什么为换行符，这里指定是冒号，指定的肯定是原文里存在的字符
ORS
把多行合并成一行 输出，输出的时候自定义以空格分隔每行，本来默认的是回车键
标签：shell,默认,etc,详解,awk,分隔符,print,NR
From： https://blog.csdn.net/YCyjs/article/details/140681419