bs4搜索文档树
rom bs4 import BeautifulSoup
html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p id="my p" class="title">asdfasdf<b id="bbb" class="boldest">The Dormouse's story</b>
</p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
soup = BeautifulSoup(html_doc, 'lxml')
注意:
'''
索文档树 find:找一个 find_all:找所有
5 种搜索方式:字符串、正则表达式、列表、True、方法
'''
1.字符串 ==>可以按照标签名,属性名查找
res = soup.find(name='a', id='link2')
res = soup.find(href='http://example.com/tillie')
res = soup.find(class_='story')
res = soup.find('p')
res = soup.find(string='Elsie')
res = soup.find(attrs={'class':'sister'})
print(res)
2.正则表达式 ==>标签名,属性可以使用正则匹配
import re
res = soup.find_all(name=re.compile('^b'))
res = soup.find_all(href=re.compile('^http'))
for item in res:
url = item.attrs.get('href')
print(url)
# request-html #获取到页面所有的链接地址
res = soup.find(attrs={'href':re.compile('^a')})
print(res)
3.列表 ==》签名,属性名等于列表或者条件
res = soup.find_all(class_=['story', 'sister']) # 中间,是或的条件
res = soup.find_all(name=['a', 'p']) # 或的条件
print(res)
# True ==>签名名,属性名等于布尔
res = soup.find_all(name=True) # 有标签名的所有标签
print(res)
# 拿出页面中所有图片
res = soup.find_all(src=True)
for item in res:
url = item.attrs.get('href')
print(url)
4.方法 ==》标签名或属性名 = 方法
def has_class_but_no_id(tag):
return tag.has_attr('class') and not tag.has_attr('id')
print(soup.find_all(has_class_but_no_id))
总结:
'''
总结:
1.find 和 find_all
2.字符串、正则表达式、列表、True、方法
3.结合遍历文档树一起使用会提交查询速度
4. find 和 find_all 的属性基本上是一样的。
但是在 find_all 的其他属性limit、recursive。
① res = soup.find_all(name='a', limit=2)
find的本质是find_all + limit = 1,限制查询出来的条数。
② res = soup.find_all(name='p', id=False).find_all(name='a', recursive=False)
recursive=False 不递归,表示只找一层。
recursive=True 递归, 表示当前父层次下递归所有子标签。
'''
css选择器
- bs4 可以通过遍历、搜索、css选择器选择标签。
from bs4 import BeautifulSoup
html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p id="my p" class="title">asdfasdf<b id="bbb" class="boldest">The Dormouse's story</b>
</p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
soup = BeautifulSoup(html_doc, 'lxml')
res = soup.select('a')
res = soup.select('#link1')
res = soup.select('.sister')
res = soup.select('body>p>a')
--------------------------------------------------
res = soup.select('body>p>a:nth-child(2)') # 子标签2个a标签内容
res = soup.select('body>p>a:nth-last-child(1') # 子标签最后一个a标签内容
# [attribute=value]
res = soup('a[href="http://example.com/tillie"]')
print(res)
注意:
'''
通用选择器:
①CSS_SELECTOR:css选择器
②.XPATH
只需要会css选择,几乎所有的解析器[bs4,lxml...],都会支持css和xpath
'''
'''
1 标签名
2 .类名
3 #id号
4 body a body下的所有子子孙孙中的a
5 body>a body下的子的a,没有孙下的a
6 其他的参照css选择器
'''
selenium基本使用
# requests 发送http请求获取数据,获取数据是xml使用bs4解析,解析出想要的数据。
'''
1.使用requests获取回来的数据,跟直接在浏览器中看到的数据,可能不一样。
===>原因是requests不能直接执行js代码
2.如果使用requests,需要分析发出多少个请求,将要模拟那些请求都要发送一次才能拼凑出网页完整的数据。
3.selenium:操作浏览器,控制浏览器,模拟人的行为在浏览器上进行点击,滑动,打开浏览器等行为。
①:selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码问题。
②:selenium本质就是驱动浏览器,完全模拟浏览器的操作,比如:跳转,输入,点击,下拉等,来拿到网页渲染之后的结果,可支持多种浏览器。
'''
'''
安装模块:pip install selenium
下载浏览器驱动:selenium操作浏览器,需要浏览器(谷歌浏览器)
谷歌浏览器驱动:-https://registry.npmmirror.com/binary.html?path=chromedriver/
需要下载对应谷歌版本的谷歌浏览器驱动
rpa:自动化流程机器人,人为做的体力活。
'''
# 代码测试:
from selenium import webdriver
import time
# 驱动放到环境变量中,就不用传参数了。
# 打开一个浏览器
bro = webdriver.Chrome(executable_path='./chromedriver.exe')
# 在地址栏输入-->网址
bro.get('http://www.baidu.com')
time.sleep(3)
bro.close() # 关闭tab页
bro.quit() # 关闭浏览器
无界面浏览器
- 做爬虫,不希望有一个浏览器打开。
- 谷歌支持无头浏览器,后台运行,没有浏览器的图形化(GUI)界面
import code
from selenium import webdriver
from selenium.webdriver.common.by import By
import time
bro = webdriver.Chrome(executable_path='./chromedriver.exe')
bro.get('http://www.baidu.com')
bro.implicitly_wait(10) # 等待10秒去找一个标签,如果标签没加载出来等一会。
bro.maximize_window() # 全屏
# 通过 a标签文字内容找标签的方式
a = bro.find_element(by=By.LINK_TEXT, value='登录')
# 点击表签
a.click()
# 页面中id是唯一标识的,如果有id优先用id
input_name = bro.find_element(by=By.ID, value='TANGRAM__PSP_11__userName')
# 输入用户名
input_name.send_keys('[email protected]')
time.sleep(1)
input_password = bro.find_element(by=By.ID, value='TANGRAM__PSP_11__password')
input_password.send_keys('xcc12345')
time.sleep(1)
input_submit = bro.find_element(by=By.ID, value='TANGRAM__PSP_11__submit')
# 点击
input_submit.click()
time.sleep(5)
bro.close()
获取位置属性大小,文本
# 查找标签
bro.find_element(by=By.ID, value='id号')
bro.find_element(by=By.LINK_TEXT, value='a标签文本内容')
bro.find_element(by=By.PARTIAL_LINK_TEXT, value='a标签文本内容模糊匹配')
bro.find_element(by=By.CSS_SELECTOR, value='类名')
bro.find_element(by=By.TAG_NAME, value='标签名')
bro.find_element(by=By.NAME, value='属性name')
# 通用的选择器
bro.find_element(by=By.CSS_SELECTOR, value='css选择器')
bro.find_element(by=By.XPATH, value='xpath选择器')
# 获取标签位置大小
print(code.location)
print(code.size)
print(code.tag_name)
print(code.id)
'''
jd截图片方法:
bro.get('https://www.jd.com/')
bro.implicitly_wait(10)
bro.maximize_window()
'''
小案例,自动登录百度
from selenium import webdriver
from selenium.webdriver.common.by import By
import time
import base64
bro = webdriver.Chrome(executable_path='./chromedriver.exe')
bro.get('https://kyfw.12306.cn/otn/resources/login.html')
# # bro.get('https://www.jd.com/')
# bro.implicitly_wait(10)
# # bro.maximize_window()
#
# # 找到扫码登录的标签,搜索标签
# bro.find_element(by=By.ID,value='id号')
# bro.find_element(by=By.LINK_TEXT,value='a标签文本内容')
# bro.find_element(by=By.PARTIAL_LINK_TEXT,value='a标签文本内容模糊匹配')
# bro.find_element(by=By.CLASS_NAME,value='类名')
# bro.find_element(by=By.TAG_NAME,value='标签名')
# bro.find_element(by=By.NAME,value='属性name')
# # -----通用的----
# bro.find_element(by=By.CSS_SELECTOR,value='css选择器')
# bro.find_element(by=By.XPATH,value='xpath选择器')
#
#
a = bro.find_element(by=By.LINK_TEXT, value='扫码登录')
# a = bro.find_element(by=By.CSS_SELECTOR, value='.login-hd-account>a')
a.click()
code = bro.find_element(by=By.ID, value='J-qrImg')
# code = bro.find_element(by=By.CSS_SELECTOR, value='#J-qrImg')
#
#
# # code = bro.find_element(by=By.CSS_SELECTOR, value='.logo_scene_img')
# # print(code)
#
# # 方案一:通过位置,和大小,截图截出来
# print(code.id)
# print(code.location)
# print(code.tag_name)
# print(code.size)
# # 方案二:通过src属性获取到图片
print(code.location)
print(code.size)
print(code.id) # 不是标签的id号
print(code.tag_name) # 是标签的名字
s = code.get_attribute('src')
print(s)
with open('code.png', 'wb') as f:
res = base64.b64decode(s.split(',')[-1])
f.write(res)
time.sleep(3)
bro.close()
等待元素被加载
- 代码执行很快,有些标签还没加载出来,直接取,取不到。
'''
1.显示等待:一般不用需要指定等待哪个标签,如果标签很多,每个人都要设置比较麻烦
2.隐士等待:
bro.implicitly_wait(10)
find找标签的时候,如果找不到等10s
'''
元素操作
'''
# 点击
标签.click()
# input写文字
标签.send_keys('文字')
# input清空文字
标签.clear()
# 模拟键盘操作
from selenium.webdriver.common.keys import Keys
input_search.send_keys(Keys.ENTER)
'''
执行js代码
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
bro = webdriver.Chrome(executable_path='./chromedriver.exe')
bro.get('https://www.jd.com/')
# 1 能干很多事情,打印了cookie
# bro.execute_script('alert(document.cookie)')
# 2 滚动页面,到最底部
# 一点点滑动
# for i in range(10):
# y=400*(i+1)
# bro.execute_script('scrollTo(0,%s)'%y)
# time.sleep(1)
# 一次性直接滑动到最底部
bro.execute_script('scrollTo(0,document.body.scrollHeight)')
time.sleep(3)
bro.close()
切换选项卡
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
bro = webdriver.Chrome(executable_path='./chromedriver.exe')
bro.get('https://www.jd.com/')
## 使用js打开的选项卡
bro.execute_script('window.open()')
## 切换到这个选项卡上面,刚刚打开的是第一个
bro.switch_to.window(bro.window_handles[1])
bro.get('http://www.taobao.com')
time.sleep(2)
bro.switch_to.window(bro.window_handles[0])
time.sleep(3)
bro.close()
bro.quit()
浏览器前进后退
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
bro = webdriver.Chrome(executable_path='./chromedriver.exe')
bro.get('https://www.jd.com/')
time.sleep(2)
bro.get('https://www.taobao.com/')
time.sleep(2)
bro.get('https://www.baidu.com/')
## 后退一下
bro.back()
time.sleep(1)
## 前进一下
bro.forward()
time.sleep(3)
bro.close()
异常处理
from selenium.common.exceptions import TimeoutException,NoSuchElementException,NoSuchFrameException
try:
print('xxxx')
except Exception as e:
print(e)
finally:
bro.close()
selenium登录cnblogs获取cookie
'''
1.操作浏览器登录,登录成功就可以获取cookie,可以保存到本地
2.如果有很多小号,会有很多的cookie,搭建cookie池
'''
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import json
# # 登录过程
# bro = webdriver.Chrome(executable_path='./chromedriver.exe')
# bro.get('https://www.cnblogs.com/')
#
# bro.implicitly_wait(10)
# try:
# # 找到登录按钮
# submit_btn = bro.find_element(By.LINK_TEXT, value='登录')
# submit_btn.click()
# time.sleep(1)
# username = bro.find_element(By.ID, value='mat-input-0')
# password = bro.find_element(By.ID, value='mat-input-1')
# username.send_keys("bjyxxc")
# password.send_keys('bwcx152xc')
#
# submit = bro.find_element(By.CSS_SELECTOR,
# value='body > app-root > app-sign-in-layout > div > div > app-sign-in > app-content-container > div > div > div > form > div > button')
#
# time.sleep(20)
# submit.click()
# # 会有验证码,滑动,手动操作完了,敲回车,程序继续往下走
# input()
# # 已经登录成功了就会有cookie
#
# cookie = bro.get_cookies()
# print(cookie)
# with open('cnblogs.json', 'w', encoding='utf-8') as f:
# json.dump(cookie, f)
#
# time.sleep(5)
# except Exception as e:
# print(e)
# finally:
# bro.close()
# ##打开cnblose,自动写入cookie,我就是登录状态
bro = webdriver.Chrome(executable_path='./chromedriver.exe')
bro.get('https://www.cnblogs.com/')
bro.implicitly_wait(10)
time.sleep(3)
## 把本地的cookie写入就登录了
with open('cnblogs.json', 'r', encoding='utf-8') as f:
cookie = json.load(f)
for item in cookie:
bro.add_cookie(item)
## 需要刷新一下页面
bro.refresh()
time.sleep(10)
bro.close()
抽屉半自动点赞
'''
1.selenium登录到抽屉,使用requests获取,自动点赞
2.使用requests登录,非常难登录,因为有验证码
'''
from selenium import webdriver
from selenium.webdriver.common.by import By
import time
import json
import requests
bro = webdriver.Chrome(executable_path='./chromedriver.exe')
bro.get('https://dig.chouti.com/')
bro.implicitly_wait(10)
try:
submit = bro.find_element(by=By.ID, value='login_btn')
bro.execute_script("arguments[0].click()", submit)
# submit.click() # 有的页面button能找到,但是点击不了,报错,可以使用js点击它
time.sleep(2)
username = bro.find_element(by=By.NAME, value='phone')
username.send_keys('18953675221')
password = bro.find_element(by=By.NAME, value='password')
password.send_keys('lqz123')
time.sleep(3)
submit_button = bro.find_element(By.CSS_SELECTOR,
'body > div.login-dialog.dialog.animated2.scaleIn > div > div.login-footer > div:nth-child(4) > button')
submit_button.click()
# 验证码
input()
cookie = bro.get_cookies()
print(cookie)
with open('chouti.json', 'w', encoding='utf-8') as f:
json.dump(cookie, f)
# 找出所有文章的id号
div_list = bro.find_elements(By.CLASS_NAME, 'link-item')
l = []
for div in div_list:
article_id = div.get_attribute('data-id')
l.append(article_id)
except Exception as e:
print(e)
finally:
bro.close()
# 继续往下写,selenium完成它的任务了,登录---》拿到cookie,使用requests发送[点赞]
with open('chouti.json', 'r', encoding='utf-8')as f:
cookie = json.load(f)
# 小细节,selenium的cookie不能直接给request用,需要有些处理
request_cookies = {}
for item in cookie:
request_cookies[item['name']] = item['value']
print(request_cookies)
header = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36'
}
for i in l:
data = {
'linkId': i
}
res = requests.post('https://dig.chouti.com/link/vote', data=data, headers=header, cookies=request_cookies)
print(res.text)
标签:bro,python,res,value,element,学习,import,find,Day93
From: https://www.cnblogs.com/bjyxxc/p/16926485.html