目录
一、selenium模块介绍
selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题。selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器。但是它的使用必须配合浏览器驱动而且浏览器版本也要一样才可以。正式使用之前需要做一些准备工作。浏览器和浏览器驱动的话推荐使用谷歌浏览器(因为这个浏览器支持selenium的最好)
怎么查看谷歌浏览器的版本
浏览器右上角》点三个点点》往下找帮助并点击》之后再点关于Google Chrome就可以查看版本
确定自己浏览器版本之后下载对应的驱动
点击这里下载
谷歌浏览器驱动
准备下载驱动的时候发现驱动和浏览器版本无法完全一致，我这里有两个不用纠结二选一即可。
再根据自己的电脑的操作系统选择即可
所有的准备工作已完成接下来咱学习如何使用selenium模块吧
二、selenium基本使用
- 下载selenium模块
pip install selenium
-
下载好了的驱动拖到项目路径下
-
写代码控制谷歌浏览器
from selenium import webdriver
# 第一步：打开谷歌浏览器
my_browser = webdriver.Chrome(executable_path='chromedriver.exe')
# 第二步：在地址栏中输入网址
page_source = my_browser.get('https://www.cnblogs.com/almira998/p/17226553.html')
# 第三步：完成任务就关闭浏览器
my_browser.close()
三、无界面浏览器
无界面浏览器指的就是隐藏浏览器图形化界面但是数据照样能拿到，有这个模块我就不需要费心费力的用requests模块了。那么怎么操作呢？请继续看下面代码框
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument('--hide-scrollbars') # 隐藏滚动条
chrome_options.add_argument('blink-settings=imagesEnabled=false') # 不加载图图片
chrome_options.add_argument('--headless') # 不提供可视化界面
my_browser = webdriver.Chrome(executable_path='chromedriver.exe', chrome_options=chrome_options)
my_browser.get('https://www.cnblogs.com/')
print(my_browser.page_source)
my_browser.close()
四、selenium用法
1. 查找标签
可以按id，标签名，name属性名，类名，a标签的文字，a标签的文字模糊匹配，css选择器，如果有id那就优选选择id，因为id具有唯一性，查找标签最准确
# 两个方法
bro.find_element 找一个
bro.find_elements 找所有
input_1=bro.find_element(by=By.ID,value='wd')
input_1 = bro.find_element(by=By.NAME, value='wd')
input_1=bro.find_element(by=By.TAG_NAME,value='input')
input_1=bro.find_element(by=By.CLASS_NAME,value='s_ipt')
input_1=bro.find_element(by=By.LINK_TEXT,value='登录')
input_1=bro.find_element(by=By.PARTIAL_LINK_TEXT,value='录')
input_1 = bro.find_element(by=By.CSS_SELECTOR, value='#su')
2. 获取标签
通过tag.的方式获取标签的属性、id、文本、位置、大小、标签名
print(tag.get_attribute('src')) # 用的最多
print(tag.id)
print(tag.text)
print(tag.location)
print(tag.size)
print(tag.tag_name)
3. 元素操作
可以操作点击、输入内容、清空内容、浏览器对象最大化、截全屏幕、还可以控制代码运行(代码执行很快，有的标签没来的及加载，直接查找就会报错，设置等待)
# 点击
tag.click()
# 输入内容
tag.send_keys()
# 清空内容
tag.clear()
# 浏览器对象 最大化
bro.maximize_window()
#浏览器对象 截全屏
bro.save_screenshot('main.png')
# 设置等待：所有标签，只要去找，找不到就遵循 等10s的规则
bro.implicitly_wait(10)
4. 执行JS代码
可以干的事情：获取当前访问的地址、打开新的标签、滑动屏幕、获取cookie，获取定义的全局变量(如果获取到cookie那么爬虫一个大难点就解决了，具体如何获取后面继续学)
bro.execute_script('alert("美女")') # 引号内部的相当于 用script标签包裹了
5. 切换选项卡
import time
from selenium import webdriver
browser=webdriver.Chrome(executable_path='chromedriver.exe')
browser.get('https://www.baidu.com')
browser.execute_script('window.open()')
print(browser.window_handles) #获取所有的选项卡
browser.switch_to.window(browser.window_handles[1])
browser.get('https://www.taobao.com')
time.sleep(2)
browser.switch_to.window(browser.window_handles[0])
browser.get('https://www.sina.com.cn')
browser.close()
6. 控制前进后退
import time
from selenium import webdriver
browser=webdriver.Chrome(executable_path='chromedriver.exe')
browser.get('https://www.baidu.com')
browser.get('https://www.taobao.com')
browser.get('http://www.sina.com.cn/')
browser.back()
time.sleep(2)
browser.forward()
browser.close()
7. 异常处理
import time
from selenium import webdriver
browser=webdriver.Chrome(executable_path='chromedriver.exe')
try:
except Exception as e:
print(e)
finally:
browser.close()
五、模拟登录百度
from selenium import webdriver
from selenium.webdriver.common.by import By
import time
# 1.打开浏览器
browser = webdriver.Chrome(executable_path='chromedriver.exe')
# 2.打开百度官网
browser.get('https://www.baidu.com')
browser.implicitly_wait(10)
# 3.找到登录按钮并点击
login_btn = browser.find_element(by=By.LINK_TEXT, value='登录')
login_btn.click()
time.sleep(2)
# 4.选择账号登录方式并点击
login_by_pwd = browser.find_element(by=By.CSS_SELECTOR, value='#TANGRAM__PSP_11__changePwdCodeItem')
login_by_pwd.click()
time.sleep(2)
# 5.输入用户名和密码
username = browser.find_element(by=By.ID, value='TANGRAM__PSP_11__userName')
password = browser.find_element(by=By.ID, value='TANGRAM__PSP_11__password')
username.send_keys('18963884980')
password.send_keys('almira10054X')
time.sleep(2)
# 6.最后点击登录
commit_btn = browser.find_element(by=By.ID, value='TANGRAM__PSP_11__submit')
commit_btn.click()
time.sleep(10)
# 关闭浏览器
browser.close()