今天有个客户需求,从网站上下载会员试题,需要在登录状态下载,然后将网页中展示的试题保存在word中。
网站上展示的所有试题要保存在一个word文档中,但是每一个试题结束下一个试题开始都是分开页码,一道新的试题需要在新的一页word中保存。
由于网站需要登录状态,我们使用requests库中的session,保持登录状态。
# 创建session session = requests.session() # 网页路径 url ='http://hkgovjob.com/?page_id=2351' data = { # 请求携带的FormData数据 'username': HKGOVJOB_USERNAME, 'password': HKGOVJOB_PASSWORD, '_n': 'b16bf5025f', '_wp_http_referer': '/?page_id=2351', 'redirect': '', 'login': '登錄' } session.post(url, headers=headers, data=data)
保持登录状态后,我们就可以使用session发送请求,获取我们需要的试题网页内容了。
使用for循环访问试题每一页,获取到数据。
for page in range(1, 34): # 发送get请求,获取数据 url = f'http://hkgovjob.com/?page_id=3237&paged={page}' res = session.get(url, headers=headers)
获取到数据之后,我们使用xpath解析获取到网页源码的数据。
# 使用xpath解析数据 tree = etree.HTML(res.text) article_list = tree.xpath('//div[@class="template-blog"]/article')
下面就是我们需要哪里的数据,在网页的标签中获取。
最后要注意的一点是,我们要求每一道试题都要在新的一页上面,所以在保存一道试题之后,我们需要使用python-docx库中的add_page_break()方法,切换到下一页进行保存下一个试题。
https://github.com/zyh364267040/part_time_job/tree/main/hkgovjob
在本文中我们展示了requests库中session的用法,希望对你有帮助。
欢迎扫码关注公众号
标签:试题,登录,python,爬虫,headers,session,url,page From: https://www.cnblogs.com/zhouyh886/p/16755081.html