selenium提取数据
知识点：
- 了解 driver对象的常用属性和方法
- 掌握 driver对象定位标签元素获取标签对象的方法
- 掌握 标签对象提取文本和属性值的方法
1. driver对象的常用属性和方法
在使用selenium过程中，实例化driver对象后，driver对象有一些常用的属性和方法
-
driver.page_source 当前标签页浏览器渲染之后的网页源代码 -
driver.current_url 当前标签页的url -
driver.close() 关闭当前标签页，如果只有一个标签页则关闭整个浏览器 -
driver.quit() 关闭浏览器 -
driver.forward() 页面前进 -
driver.back() 页面后退 -
driver.screen_shot(img_name) 页面截图
知识点：了解 driver对象的常用属性和方法
2. driver对象定位标签元素获取标签对象的方法
在selenium中可以通过多种方式来定位标签，返回标签元素对象
find_element_by_id (返回一个元素)
find_element(s)_by_class_name (根据类名获取元素列表)
find_element(s)_by_name (根据标签的name属性值返回包含标签对象元素的列表)
find_element(s)_by_xpath (返回一个包含元素的列表)
find_element(s)_by_link_text (根据连接文本获取元素列表)
find_element(s)_by_partial_link_text (根据链接包含的文本获取元素列表)
find_element(s)_by_tag_name (根据标签名获取元素列表)
find_element(s)_by_css_selector (根据css选择器来获取元素列表)
- 注意：
- find_element和find_elements的区别：
- 多了个s就返回列表，没有s就返回匹配到的第一个标签对象
- find_element匹配不到就抛出异常，find_elements匹配不到就返回空列表
- by_link_text和by_partial_link_tex的区别：全部文本和包含某个文本
- 以上函数的使用方法
-
driver.find_element_by_id('id_str')
知识点：掌握 driver对象定位标签元素获取标签对象的方法
3. 标签对象提取文本内容和属性值
find_element仅仅能够获取元素，不能够直接获取其中的数据，如果需要获取数据需要使用以下方法
- 对元素执行点击操作
element.click()
- 对定位到的标签对象进行点击操作
- 向输入框输入数据
element.send_keys(data)
- 对定位到的标签对象输入数据
- 获取文本
element.text
- 通过定位获取的标签对象的
text属性，获取文本内容
- 获取属性值
element.get_attribute("属性名")
- 通过定位获取的标签对象的
get_attribute函数，传入属性名，来获取属性的值
- 代码实现，如下：
from selenium import webdriver
driver = webdriver.Chrome()
driver.get('http://www.baidu.cn/')
ret = driver.find_elements_by_tag_name('h2')
print(ret[0].text) #
ret = driver.find_elements_by_link_text('百度一下')
print(ret[0].get_attribute('href'))
driver.quit()
知识点：掌握 元素对象的操作方法