Linux Shell脚本之正则表达式

一、常见的管道命令

sort命令

sort命令可针对文本文件的内容，以行为单位来排序

格式：sort [选项] 参数

常用选项

选项                                                    说明
-f 忽略大小写，会将小写字母都转换为大写字母来进行比较
-b                           忽略每行前面的空格
-n                           按照数字进行排序
-r 反向排序
-u                           等同于uniq，表示相同的数据仅显示一行
-t                            指定字段分隔符，默认使用[Tab]键分隔
-k                            指定排序字段
-o                           <输出文件>   将排序后的结果转存至指定文件

uniq命令

uniq 命令用于检查及删除文本文件中重复出现的行列，一般与 sort 命令结合使用

格式：uniq [选项] 参数

常用选项

选项                                            说明
-c                            进行计数，并删除文件中重复出现的行
-d                            仅显示连续的重复行
-u                            仅显示出现一次的行

tr命令

常用来对来自标准输入的字符进行替换、压缩和删除

格式：tr [选项] [参数]

常用选项

选项                                                            说明
-c                            保留字符集1的字符，其他的字符用（包括换行符\n）字符集2替换
-d                            删除所有属于字符集1的字符
-s                            将重复出现的字符串压缩为一个字符串；用字符集2 替换字符集1
-t 字符集2 替换字符集1，不加选项同结果

常用参数

参数说明

字符集1：指定要转换或删除的原字符集。当执行转换操作时，必须使用参数“字符集2”指定转换的目标字符集。但执行删除操作时，不需要参数“字符集2”

字符集2：指定要转换成的目标

cut命令

显示行中的指定部分，删除文件中指定字段

格式：cut [选项] 参数

常用选项

选项   说明
-f 通过指定哪一个字段进行提取。cut命令使用“TAB”作为默认的字段分割符
-d                                    “TAB”是默认的分隔符，使用此选项可更改为其他的分隔符
- -complement                  用于排除所指定的字段
- -output-delimiter 更改输出内容的分隔符

例：统计当前连接主机数

二、正则表达式

正则表达式的定义

正则表达式，又称正规表达式、常规表达式

使用字符串来描述、匹配一系列符合某个规则的字符串

正则表达式组成

普通字符包括大小写字母、数字、标点符号及一些其他符号

元字符是指在正则表达式中具有特殊意义的专用字符

常见元字符

支持的工具：find、grep、egrep、sed和awk

匹配符                                    表示含义
. 表示任意一个字符
[ ]                                       匹配括号中的一个字符
[^ ] 表示否定括号中出现字符类中的字符,取反
\转义字符                          用于取消特殊符号的含义
^                                       匹配字符串开始的位置
$ 匹配字符串结束的位置
{n}                                    匹配前面的子表达式n次
{n,}                                   匹配前面的子表达式不少于n次
{n,m} 匹配前面的子表达式n到m次
[:alnum:]                           匹配任意字母和数字
[:alpha:]                            匹配任意字母，大写或小写
[:lower:]                            小写字符a-z
[:upper:]                            大写字符A-Z
[:blank:]                            空格和TAB字符
[:space:]                            所有空白字符( 新行、空格、制表符)
[:digit:] 数字 0-9
[:xdigit:]                            16 进制数字
[:cntrl:] 控制字符

例：表示一个任意字符

例：[ ] 匹配括号中的一个字符

例：[^] 表示否定括号出现字符类中的字符，取反

例：[:alnum:] 匹配任意字母和数字

一定要在外面再套一个[ ]

例：元字符（.）

三、扩展正则表达式

支持的工具：egrep、awk 或 grep -E 和 sed -r

限定符说明
* 匹配前面子表达式0次或者多次
.* 任意长度的任意字符
？匹配前面子表达式0次或者1次，即：可有可无
+ 与星号相似，表示其前面字符出现一次或多次，但必须出现一次,>=1
{n,m} 匹配前面的子表达式n到m次
{m} 匹配前面的子表达式n次
{n,} 匹配前面的子表达式不少于n次 >=n
{，n} 匹配前面的子表达式最多n次，<=n
| 用逻辑OR（或）方式指定正则表达式要是用的模式
（）字符串分组，将括号中的字符串作为一个整体

例：* 匹配前面子表达式 0 此或者多次

例：{n，m} 匹配前面的子表达式 n 到 m 次

例：{n，} 匹配前面的子表达式不少于n次>=n

例：{，n} 匹配前面的子表达式最多n次，<=n

例：* 任意长度的任意字符

例：？匹配前面表达式0次或者1次，即：可有可无

例：+ 与星号相似，表示其前面字符出现一次或多次，但必须出现一次， >=1

例：| 逻辑 or （或）方式指定正则表达式要是用的模式

例：（）字符串分组，将括号中的字符串作为一个整体

例：提取IP地址

法一：

法二：

位置锚定

位置限定符说明
^ 行首锚定，用于模式的最左侧
$ 行尾锚定，用于模式的最右侧
^PATTERN^ 用于模式匹配整行
^$ 空行
^[[:space:]]*$ 空白行
\< 或 \b 词首锚定，用于单词模式的左侧（连续的数字，字母下划线都算）
\>或 \b 词尾锚定，用于单词的右侧
\<PATTERN\> 匹配整个单词

例：行尾锚定，用于模式的最右侧