今天以爬取笔趣阁小说网站为例，练习 Python 爬虫技术。
通过这个爬虫，可以完成批量爬取一本小说的所有章节，并将所有章节内容按顺序保存到一个 txt 文档内，下面我们就开始吧。
首先，百度搜索“笔趣阁”，发现有很多网站都叫笔趣阁。
我们可以随便挑选一个网站尝试，本文我以‘https://www.biquge11.cc/’这个网站为例。
以爬取《斗破苍穹》这本热门小说为例，《斗破苍穹》是网络作家天蚕土豆所著的系列长篇玄幻小说，首次在 2009 年 4 月 14 日于起点中文网连载，于 2011 年 7 月 20 日完结。这本小说全文有 1600 多章节，大约 530 万字，如果这个都能顺利爬下来，换个别的小说爬也不在话下。
在网站内搜索《斗破苍穹》，我们来到了小说主页，网址是https://www.biquge11.cc/read/12972/
通过分析网页源代码，可以发现每个章节的网址都是https://www.biquge11.cc拼接上/read/12972/XXXX.html这种固定格式，也就是下面图片中红框内容，我们可以用正则表达式轻松拿下。
分析一下思路，我们可以：
第 1 步：用 requests 库请求https://www.biquge11.cc/read/12972/这个网址，将返回的网页信息转为text，再用re库的正则表达式取出每一章节的地址，放在一个info_lists列表里。
第 2 步：用 requests 库循环请求每个章节的地址，也就是 info_lists 列表的链接，获取每个章节的网页内容，并且用 re 库正则表达式取出小说的正文内容。
第 3 步：将第 2 步获取到的每章节的正文，进行换行处理，拼接写入到一个 txt 文件里。
这样，我们就能完整的爬取到一本小说的所有章节，并且保存到一个 txt 文档内。完整代码如下：
import requests
import re
headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36"}
if __name__ == '__main__':
#main_url是小说首页地址，切换成你想要爬的小说网页
main_url = 'https://www.biquge11.cc/read/12972/'
#发送请求
mainText = requests.get(main_url, headers = headers).text
info_lists = re.findall('<dd><a href ="(.*?)">(.*?)</a></dd>',mainText)
for info in info_lists:
url = 'https://www.biquge11.cc' + info[0]
#获取数据
response = requests.get(url)
html_data = response.text
#解析数据
content = re.findall('<div id="chaptercontent" class="Readarea ReadAjax_content">(.*?)<br /><br /> 请收藏本站：https://www.biquge11.cc。笔趣阁手机版：https://m.biquge11.cc <br /><br />',html_data)[0]
#替换换行符
text ='\n\n' + info[1] + '\n\n'
text+= content.replace("<br /><br />", '\n')
print("正在获取" + info[1] + url)
#保存到文件
f = open('斗破苍穹.txt',mode='a',encoding='utf-8')
f.write(text)
爬取过程 pycharm 控制台输出如下：
结果，我们顺利爬取了《斗破苍穹》这本小说，保存为斗破苍穹.txt 文档，这个 txt 文档 15.3MB。
END
学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后这里免费分享给大家一份Python全套学习资料，希望能给想学习 Python 的小伙伴们一点帮助！
有编程资料、学习路线图、源代码、软件安装包等！文末免费领取
这份完整版的Python全套学习资料已经上传，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】。
