开发工具
Python版本: 3.6
相关模块:
requests模块
time模块
parsel模块
re模块
time模块
环境搭建
安装Python并添加到环境变量,pip安装需要的相关模块即可。
数据来源查询分析
浏览器中打开我们要爬取的页面 按F12进入开发者工具,查看我们想要的酷狗音乐飙升榜在哪里 这里我们需要页面数据就可以了
核心代码实现
url = 'https://xxx.com/yy/html/rank.html'
# 请求头: 把python代码伪装成浏览器对服务器发送请求, 服务接收到请求,确认无误 会返回一个响应体数据 (response)
# user-agent : 浏览器基本信息
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/