awk 是一个强大的文本处理工具，它特别擅长对文本文件行列筛选。
基本语法：
awk [options] 'pattern { action }' files- [options]：awk 的命令行选项，例如 -F 用于指定字段分隔符。
- pattern：指定一个模式，awk 会根据这个模式来选择哪些行执行动作。如果没有指定模式，awk 会默认对所有行执行动作。
- { action }：当行匹配模式时执行的动作（一组命令），通常包括打印语句或其他文本处理命令。
- files：输入文件，如果没有指定文件，则从标准输入（stdin）读取。
常用选项和命令：
-
-F：指定字段分隔符，默认为空白字符（空格或制表符）。
awk -F, '{print $1}' file.csv # 使用逗号作为字段分隔符-
BEGIN 和 END：在处理任何行之前（BEGIN）和之后（END）执行的块。
awk 'BEGIN {print "Start Processing"} {print} END {print "End Processing"}' file.txt-
$1, $2, ...：访问当前记录的字段，$0 表示整行。
awk '{print $1, $3}' file.txt # 打印每行的第一个和第三个字段-
NR：当前记录的行号。
awk 'NR > 10 {print}' file.txt # 打印文件的第11行及之后的行-
gsub 和 sub：全局和单个字符串替换函数。
awk '{sub(/foo/, "bar"); print}' file.txt # 将每行中的 "foo" 替换为 "bar"-
split：将字符串分割为数组。
awk '{split($2, a, ":"); print a[1], a[2]}' file.txt # 假设 $2 包含 "user:score" 形式的字符串-
printf：格式化输出。
awk '{printf "Name: %s, Score: %d\n", $1, $3}' scores.txt-
条件语句：根据条件执行不同的动作。
awk '{if ($3 > 90) print "High Score:", $0}' file.txt # 如果第三个字段大于90，则打印整行-
for 循环和数组操作。
awk '{for (i = 1; i <= NF; i++) print $i}' file.txt # 打印每行的每个字段-
系统命令：在 awk 动作中执行系统命令。
复制
awk '{print $1}' file.txt | sort | uniq -c # 打印文件中每个唯一字段的数量awk 的功能非常强大，可以执行复杂的文本处理任务，包括文本分析、数据提取、报告
应用场景
awk 是一个功能丰富的文本处理工具，它在Unix和类Unix系统中被广泛用于文本和数据处理。awk 以其高效的模式扫描和处理能力而著称，适用于各种复杂的文本操作任务。以下是一些典型的 awk 应用场景：
数据提取
从日志文件或数据文件中提取特定字段。例如，从日志中提取访问IP和访问时间：
awk '/Access from/ {print $1, $3}' access.log报告生成
根据文本文件内容生成格式化的报告。例如，生成用户活动报告：
awk '{print $3, $7}' /var/log/wtmp > activity_report.txt数据统计
对文本文件中的数据进行统计和汇总。例如，计算某个值的出现次数：
awk '{count[$2]++} END {for (i in count) print i, count[i]}' file.txt文本替换和转换
在文件中查找并替换文本，或将文本从一种格式转换为另一种格式。例如，将所有逗号分隔的值转换为制表符分隔：
awk -F, '{for(i=1; i<=NF; i++) printf("%s\t", $i); print ""}' file.csv > file.tsv条件筛选
根据特定条件筛选文本行。例如，筛选出所有大于某个阈值的记录：
awk '$5 > 100' data.txt数据排序
对文本文件中的数据进行排序。例如，按第二列的数值排序：
awk '{print $2}' file.txt | sort -n交互式文本处理
在脚本中使用 awk 进行交互式文本处理，如读取用户输入并动态生成输出：
awk 'BEGIN {printf "Enter a number: "} {sum += $1} END {print "Sum: " sum}'多级数据处理
同时处理多个输入文件，并对它们进行比较、合并或其他操作：
awk -F'\t' 'NR==FNR {a[$1]=$2; next} $1 in a {print $1, a[$1], $2}' file1.txt file2.txt格式化输出
生成格式化的输出，如添加标题、列宽和边框：
awk 'BEGIN {print "Name", "Score"; print "-----", "-----"} {print $1, $2}' scores.txt脚本编程
在复杂的脚本中使用 awk 进行文本处理，与其他命令和工具结合使用：
复制
cat file.txt | awk '{print $0}' | sort | uniq -c | sort -nr > sorted_report.txt工作场景
awk 在日常工作中有许多实用的应用场景，特别是在处理和分析文本数据方面。以下是一些典型的 awk 工作场景：
1. 日志文件分析
分析Web服务器、系统日志或其他日志文件，提取和汇总关键信息，如访问次数、错误类型、用户活动等。
awk '/404/ {count["404"]++} END {for (error in count) print error, count[error]}' access.log2. 数据报告生成
从原始数据文件中生成格式化的报告，包括列标题、合计行和汇总统计。
awk 'NR>1 {print $1, $2, $3, $4}' data.txt | column -t3. 配置文件处理
批量修改配置文件中的参数，例如，更新所有用户的配额限制。
awk '$1 == "User" {$2 = "newlimit"} 1' config.txt > new_config.txt4. 文本数据转换
将数据从一种格式转换为另一种格式，例如，将CSV文件转换为TSV文件。
awk -F, 'NF {for (i=1; i<=NF; i++) printf("%s\t", $i); print ""}' file.csv > file.tsv5. 数据清洗和预处理
清洗文本数据，移除无用的行或列，或者标准化数据格式。
awk 'NR==1 || $1 !~ /#/ {print}' data.txt # 移除以#开头的注释行6. 脚本自动化
在shell脚本中使用awk来自动化复杂的文本处理任务，如日志轮转、数据备份等。
awk '{print $4}' access.log | xargs -I {} mv {} {}.bak7. 临时更改配置
在不修改原始配置文件的情况下，临时更改配置参数进行测试。
awk '$1 == "MaxClients" {$2 = "500"} 1' httpd.conf > temp.conf && source temp.conf8. 数据库和CSV文件操作
处理数据库导出的CSV文件，执行数据选择、过滤和聚合操作。
awk -F, '$2 == "success" {sum += $3} END {print sum}' transactions.csv9. 用户输入处理
在交互式脚本中使用awk来处理用户输入，动态生成报告或执行其他任务。
read -p "Enter a number: " num
awk -v var=$num '$1 ~ var {print $0}' data.txt10. 系统监控和警报
监控系统日志或性能数据，实时生成警报或通知。
复制
awk '/error/ {print}' /var/log/messages | mail -s "System Alert" [email protected]