python实战项目47：Selenium采集百度股市通数据

python实战项目47：Selenium采集百度股市通数据

• 一、思路分析
• 二、完整代码

一、思路分析

这里以获取百度股市通股评下的投票数据为例，页面中的其他数据同理。由于此页面数据是js动态加载的，所以采用Selenium获取数据。思路很简单，通过Selenium打开页面，然后定位到“股评”选项卡，再模拟点击“今日”或者“本周”“本月”“今年”，接下来获取页面源代码，再使用xpath解析页面数据。但需要注意的是，使用Selenium打开的页面过多的话，会遇到cookie反爬。这里重点解决的是，在每次打开页面操作之前和之后，需要使用Selenium的delete_all_cookies()方法删除cookie，这样便可以绕过cookie反爬，亲测有效。

二、完整代码

import csv
import time
import re
import pandas