首页 > 系统相关 >shell脚本三剑客之awk

shell脚本三剑客之awk

时间:2022-11-02 15:22:06浏览次数:39  
标签:shell END 指定 NF awk 分隔符 文本 三剑客

awk的概述

1、awk的概念

逐行读取文本,默认以空格或tab键为分隔符进行分隔,将分隔所得的各个字段保存到内建变量中,并按模式或者条件执行编辑命令

sed命令常用于一整行的处理,而awk比较倾向于将一行分成多个“字段”然后再进行处理。awk信息的读入也是逐行读取的,执行结果可以通过print的功能将字段数据打印显示

在使用awk命令的过程中,可以使用逻辑操作符“&&”表示“与”、“| |”表示“或”、“!“表示“非”;还可以进行简单的数学运算,如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方

$0 表示显示整行 ,$NF表示当前行分割后的最后一列($0和$NF均为内置变量)

注意,$NF 和 NF 要表达的意思是不一样的,对于awk来说,$NF表示最后一个字段,NF表示当前行被分隔符切开以后,一共有几个字段

也就是说,假如一行文本被空格分成了7段,那么NF的值就是7,$NF的值就是$7, 而$7表示当前行的第7个字段,也就是最后一列,那么每行的倒数第二列可以写为$(NF-1)

2、常见的内建变量(可直接用)

FS∶ 列分割符。指定每行文本的字段分隔符,默认为空格或制表位。与"-F"作用相同
NF∶ 当前处理的行的字段个数。
NR∶ 当前处理的行的行号(序数)。
$0∶当前处理的行的整行内容。
$n∶ 当前处理行的第n个字段(第n列)。
FILENAME∶ 被处理的文件名。
RS∶ 行分隔符。

awk包含两种特殊的模式:BEGIN 和 END

5 两种模式的概念

BEGIN 模式指定了处理文本之前需要执行的操作:

END 模式指定了处理完所有行之后所需要执行的操作:

BEGIN模式表示,在处理指定的文本之前,需要先执行BEGIN模式中指定的动作; awk再处理指定的文本,之后再执行END模式中指定的动作,END{}语句块中, 往往会放入打印结果等语句

awk的应用二:按字段输出文本

awk -F 指定分隔符

FS∶ 列分割符。指定每行文本的字段分隔符,默认为空格或制表位。与"-F"作用相同

强大的文本处理工具

比起sed和grep,awk不仅仅是一个小工具,也可以算得上一种小型的编程语言了,支持if判断分支和while循环语句还有它的内置函数等,是一个要比grep和sed更强大的文本处理工具,但也就意味着要学习的东西更多了。

下面来说一下awk的一些基础概念以及实际操作。

语法

常用

Usage: awk [POSIX or GNU style options] -f progfile [--] file ...

Usage: awk [POSIX or GNU style options] [--] 'program' file ...

类似数据库列的概念,但它是按照序号来指定的,比如我要第一个列就是1,第二列就是2,依此类推。$0就是输出整个文本的内容。默认用空格作为分隔符,当然你可以自己通过-F设置适合自己情况的分隔符。

模式

pattern 可以是

条件语句

正则

模式的两个特殊字段 BEGIN 和 END (不指定时匹配或打印行数)

BEGIN : 一般用来打印列名称。

END : 一般用来打印总结性质的字符。

动作

action 在{}内指定,一般用来打印,也可以是一个代码段。

OFS详解

OFS表示输出时可设置改变分割符

$1=$1是用来激活$0的重新赋值,也就是说

字段$1…和字段数NF的改变会促使awk重新计算$0的值,通常是在改变OFS后而需要输出$0时这样做


 

 

标签:shell,END,指定,NF,awk,分隔符,文本,三剑客
From: https://www.cnblogs.com/lnj0/p/16851108.html

相关文章

  • 通过ansible shell模块运行java程序问题记录
    问题1启动java进程没有反应描述我是通过shell模块执行一个启动脚本,脚本中通过java命令启动springboot的jar包,脚本的核心但是运行结束后没有反应。看起来进程并没有被执......
  • shell语法4-printf命令、test命令和判断符号[]、逻辑运算符&&和||
    一、printf命令printf命令用于格式化输出,类似于C/C++中的printf函数。默认不会在字符串末尾添加换行符!!!例如:printf"%10d.\n"123 #占10位,右对齐printf"%-10.2f.\n"......
  • linux 中 awk命令内使用cut命令
     001、[root@PC1test1]#lsa.txt[root@PC1test1]#cata.txt00100200300400500600700800901001101201301401501601701801902002102202302......
  • shell脚本应用(一)
    拓扑图:一、环境变量的定义1.定义局部环境变量(1)创建环境变量名字为a和b并赋值[root@centos7~]#a=benet[root@centos7~]#b=6.0(2)调用局部环境变量[root@centos7~]......
  • shell语法2-默认变量、数组
    一:文件参数变量1、在执行shell脚本时,可以向脚本传递参数。$1是第一个参数,$2是第二个参数,以此类推。特殊的,$0是文件名(包含路径)#!/bin/bashecho"文件名:"$0echo"第一个参......
  • shell语法1-概论、注释、变量、字符串
    如果感觉有点忘了或者有点懵,敲出来测试测试就好了一:概论Linux系统中一般默认使用bash,文件开头需要写#!/bin/bash,指明bash为脚本解释器chmod+xfilename:使脚本具有可执......
  • 练手项目-C实现交互式Shell
    项目描述利用C语言实现交互式Shell终端功能。先实现常用Linuxcommand。交互式Shell交互式shellIO实现remove-指定创建和删除文件IO-opendir-readdir文件IO......
  • shell-字符串处理学习笔记一
    计算字符串长度${#string}exprlength"$string"string有空格,则必须加双引号str="helloworld"#${#string}len=${#string}echo$len11#`exprlength"$stri......
  • shell脚本:条件语句
    导图1.条件测试1.1test命令测试格式1:test条件表达式格式2:[条件表达式]1.2test操作符-d:测试是否为目录(Directory)-e:测试目录或文件是否存在(Exist)-a:测试目录......
  • Linux学习笔记(第零篇)Linux文件系统及Shell
    ​​Linux学习笔记(第零篇)计算机基础​​Linux学习笔记(第零篇)Linux文件系统及ShellLinux学习笔记(第一篇)零散命令Linux学习笔记(第二篇)目录操作命令Linux学习笔记(第三篇)文件操......