date: 2019-06-25 20:28:18 +0800
tags:
- Python
1. 模式匹配与正则表达式笔记（第7章）(代码下载)
正则表达式，又称规则表达式。（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。
1.1 正则表达式匹配步骤
虽然在Python 中使用正则表达式有几个步骤，但每一步都相当简单。
- 用import re 导入正则表达式模块。
- 用re.compile()函数创建一个Regex 对象（记得使用原始字符串）。
- 向Regex 对象的search()方法传入想查找的字符串。它返回一个Match 对象。
- 调用Match 对象的group()方法，返回实际匹配文本的字符。
# 用import re 导入正则表达式模块
import re
# 创建了一个Regex对象
phoneNumRegex = re.compile(r'\d\d\d-\d\d\d-\d\d\d\d')
# 匹配字符串
mo = phoneNumRegex.search('My number is 415-555-4242.')
# group()方法返回实际匹配的字符串
print('phone num found is: ' + mo.group())
phone num found is: 415-555-4242
1.2 正则表达式匹配更多模式
- 利用括号分组
添加括号将在正则表达式中创建“分组”(\d\d\d)-(\d\d\d-\d\d\d\d)。然后可以使用group()匹配对象方法，从一个分组中获取匹配的文本。 - 用管道匹配多个分组
字符|称为“管道”。希望匹配许多表达式中的一个时，就可以使用它。例如，正则表达式r'Batman|Tina Fey'将匹配'Batman'或'Tina Fey'。 - 用问号实现可选匹配
有时候，想匹配的模式是可选的。就是说，不论这段文本在不在，正则表达式都会认为匹配。字符?表明它前面的分组在这个模式中是可选的。也可以理解为匹配这个问号之前的分组零次或一次。 - 用星号匹配零次或多次
*（称为星号）意味着“匹配零次或多次”，即星号之前的分组，可以在文本中出现任意次。它可以完全不存在，或一次又一次地重复。 - 用加号匹配一次或多次
加号+前面的分组必须“至少出现一次 - 用花括号匹配特定次数
- 如果想要一个分组重复特定次数，就在正则表达式中该分组的后面，跟上花括号包围的数字。例如，正则表达式(Ha){3}将匹配字符串'HaHaHa'。
- 除了一个数字，还可以指定一个范围，即在花括号中写下一个最小值、一个逗号和一个最大值。例如，正则表达式(Ha){1,2}将匹配 'Ha' 和 'HaHa'。
- 也可以不写花括号中的第一个或第二个数字，不限定最小值或最大值。例如，(Ha){3,}将匹配3 次或更多次实例。
- 用花括号和问号匹配非贪心模式
Python 的正则表达式默认是“贪心”的，这表示在有二义的情况下，它们会尽可能匹配最长的字符串。花括号的“非贪心”版本匹配尽可能最短的字符串，即在
结束的花括号后跟着一个问号。
1.3 findall()方法
search()将返回一个Match对象，包含被查找字符串中的“第一次”匹配的文本，而findall()方法将返回一组字符串，包含被查找字符串中的所有匹配。
import re
phoneNumRegex = re.compile(r'\d\d\d-\d\d\d-\d\d\d\d')
# search返回第一次匹配
mo = phoneNumRegex.search('Cell: 415-555-9999 Work: 212-555-0000')
mo.group()
'415-555-9999'
# findall返回所有结果
phoneNumRegex = re.compile(r'\d\d\d-\d\d\d-\d\d\d\d')
phoneNumRegex.findall('Cell: 415-555-9999 Work: 212-555-0000')
['415-555-9999', '212-555-0000']
1.4 字符分类
| 缩写字符分类 | 表示 |
|---|---|
| \d | 0 到9 的任何数字 |
| \D | 除0 到9 的数字以外的任何字符 |
| \w | 任何字母、数字或下划线字符（可以认为是匹配“单词”字符） |
| \W | 除字母、数字和下划线以外的任何字符 |
| \s | 空格、制表符或换行符（可以认为是匹配“空白”字符） |
| \S | 除空格、制表符和换行符以外的任何字符 |
1.5 建立自己的字符分类
- 有时候你想匹配一组字符，但缩写的字符分类（\d、\w、\s 等）太宽泛。你可
以用方括号定义自己的字符分类。例如，字符分类[aeiouAEIOU]将匹配所有元音字
符，不论大小写。
import re
vowelRegex = re.compile(r'[aeiouAEIOU]')
vowelRegex.findall('RoboCop eats baby food. BABY FOOD.')
['o', 'o', 'o', 'e', 'a', 'a', 'o', 'o', 'A', 'O', 'O']
- 可以使用短横表示字母或数字的范围。例如，字符分类[a-zA-Z0-9]将匹配所有小写字母、大写字母和数字。
import re
vowelRegex = re.compile(r'[a-zA-Z0-9]')
vowelRegex.findall('RoboCop eats baby food. BABY FOOD.')
['R',
'o',
'b',
'o',
'C',
'o',
'p',
'e',
'a',
't',
's',
'b',
'a',
'b',
'y',
'f',
'o',
'o',
'd',
'B',
'A',
'B',
'Y',
'F',
'O',
'O',
'D']
- 通过在字符分类的左方括号后加上一个插入字符（^），就可以得到“非字符类”。非字符类将匹配不在这个字符类中的所有字符。
import re
consonantRegex = re.compile(r'[^aeiouAEIOU]')
consonantRegex.findall('RoboCop eats baby food. BABY FOOD.')
['R',
'b',
'C',
'p',
' ',
't',
's',
' ',
'b',
'b',
'y',
' ',
'f',
'd',
'.',
' ',
'B',
'B',
'Y',
' ',
'F',
'D',
'.']
- 插入字符和美元字符
正则表达式的开始处使用插入符号（^），表明匹配必须发生在被查找文本开始处。
正则表达式的末尾加上美元符号，表示该字符串必须以这个正则表达式的模式结束。可以同时使用^和$，表明整个字符串必须匹配该模式。
1.6 通配字符
- .(句点)字符称为“通配符”。它匹配除了换行之外的所有字符。
- 用点-星（.*）表示“任意文本”。
- 通过传入re.DOTALL 作为re.compile()的第二个参数，可以让句点字符匹配所有字符，包括换行字符。
1.7 正则表达式符号总结
1.8 sub() 替换字符串
Regex对象的sub()方法需要传入两个参数。第一个参数是一个字符串，用于取代发现的匹配。第二个参数是一个字符串，即正则表达式。sub()方法返回替换完成后的字符串。
import re
namesRegex = re.compile(r'Agent \w+')
namesRegex.sub('CENSORED', 'Agent Alice gave the secret documents to Agent Bob.')
'CENSORED gave the secret documents to CENSORED.'
1.9 compile的第二个参数
- re.IGNORECASE 忽视大小写
- re.VERBOSE 编写注释
- re.DOTALL 句点表示所有字符（没有这个则表示除换行符外的所有字符）
2. 项目练习
2.1 电话号码和E-mail 地址提取程序
功能：在剪贴板的文本中查找电话号码和E-mail 地址，按一下Ctrl-A 选择所有文本，按下Ctrl-C 将它复制到剪贴板，然后运行程序。找到电话号码和E-mail地址，替换掉剪贴板中的文本。
文本例子地址：http://www.nostarch.com/contactus
主要步骤:
第1步：为电话号码创建一个正则表达式
第2步：为E-mail 地址创建一个正则表达式
第3步：在剪贴板文本中找到所有匹配
第4步：所有匹配连接成一个字符串，复制到剪贴板
#! python3
# Finds phone numbers and email addresses on the clipboard.
# text:
'''
Contact Us
No Starch Press, Inc.
245 8th Street
San Francisco, CA 94103 USA
Phone: 800.420.7240 or +1 415.863.9900 (9 a.m. to 5 p.m., M-F, PST)
Fax: +1 415.863.9950
Reach Us by Email
General inquiries: [email protected]
Media requests: [email protected]
Academic requests: [email protected] (Please see this page for academic review requests)
Help with your order: [email protected]
Reach Us on Social Media
Twitter
Facebook
Instagram
Pinterest
100.420.7240 x 123
'''
import pyperclip
import re
# 为电话号码创建一个正则表达式
# 电话号码 phone
phoneRegex = re.compile(r'''(
(\d{3}|\(\d{3}\))? # area code
(\s|-|\.)? # separator
(\d{3}) # first 3 digits
(\s|-|\.) # separator
(\d{4}) # last 4 digits
(\s*(ext|x|ext.)\s*(\d{2,5}))? # extension
)''', re.VERBOSE)
# 为E-mail 地址创建一个正则表达式
# Create email regex. 邮件
emailRegex = re.compile(r'''(
[a-zA-Z0-9._%+-]+ # username
@ # @ symbol
[a-zA-Z0-9.-]+ # domain name
(\.[a-zA-Z]{2,4}) # dot-something
)''', re.VERBOSE)
# TODO: Create email regex.
# TODO: Find matches in clipboard text.
# TODO: Copy results to the clipboard.
# Find matches in clipboard text.
# 获得剪切板文件
text = str(pyperclip.paste())
matches = []
a = phoneRegex.findall(text)
for groups in phoneRegex.findall(text):
# 读取数字
phoneNum = '-'.join([groups[1], groups[3], groups[5]])
# 如果没有分号
if groups[8] != '':
phoneNum += ' x' + groups[8]
matches.append(phoneNum)
for groups in emailRegex.findall(text):
matches.append(groups[0])
# Copy results to the clipboard.
if len(matches) > 0:
pyperclip.copy('\n'.join(matches))
print('Copied to clipboard:')
print('\n'.join(matches))
else:
print('No phone numbers or email addresses found.')
Copied to clipboard:
800-420-7240
415-863-9900
415-863-9950
100-420-7240 x123
[email protected]
[email protected]
[email protected]
[email protected]
2.2 强口令检测
写一个函数，它使用正则表达式，确保传入的口令字符串是强口令。强口令的定义是：长度不少于8 个字符，同时包含大写和小写字符，至少有一位数字。
import re
import pyperclip
def detect(text):
if len(text)<8:
return False
test1=re.compile(r'([0-9])')
result1=test1.search(text)
if result1==None:
return False
test2=re.compile(r'([A-Z])')
result2=test2.search(text)
if result2==None:
return False
test3=re.compile(r'([a-z])')
result3=test3.search(text)
if result3==None:
return False
return True
text='uusssZmi0546'
status=detect(text)
print(status)
True
2.3 strip()的正则表达式版本
写一个函数，它接受一个字符串，做的事情和strip()字符串方法一样。如果只传入了要去除的字符串，没有其他参数，那么就从该字符串首尾去除空白字符。否
则，函数第二个参数指定的字符将从该字符串中去除。
import re
def my_strip(text,param=''):
if len(param)<1:
param='\s'
params_begin= r'^[{}]*'.format(param)
params_end= r'[{}]*$'.format(param)
my_begin=re.compile(params_begin,re.I)
my_end=re.compile(params_end,re.I)
my=my_begin.sub('', text)
text=my_end.sub('', my)
return text
text='SpamSpamBaconSpamEggsSpamSpam'
param='SPAM'
text=my_strip(text,'SPAM')
print(text)
BaconSpamEgg