今日内容概要
- 爬虫介绍
- requests模块发送get请求
- get请求携带参数
- 携带请求头
- 携带cookie
- 发送post请求
- 响应Response
- 获取二进制数据
- 解析json
今日内容详细
爬虫介绍
爬虫:spider,网络蜘蛛
# 本质原理
-现在所有的软件原理:大部分都是基于http请求发送和获取数据的
-pc端的网页
-移动端app
-模拟发送http请求,从别人的服务端获取数据
-绕过反扒:不同程度反扒措施不一样,比较复杂
# 爬虫原理
发送http请求【requests,selenium】--->第三方服务端--->服务端响应数据解析出想要的数据【selenium,bs4】--->入库(文件,excel,mysql,redis,mongodb..)
scrapy:专业的爬虫框架
# 爬虫是否合法
爬虫协议:每个网站根路径下都有robots.txt,这个文件规定了该网站哪些可以爬取,哪些不能爬
# 百度:大爬虫
-百度搜索框中输入搜索内容,回车,返回的数据,是百度数据库中的数据
-百度一刻不停的在互联网中爬取各个页面,链接地址--->爬完存到自己的数据库
-当你点击,跳转到真正的地址上去了
-核心:搜索,海量数据中搜索出想要的数据
-seo:免费的搜索,排名靠前
-sem:花钱买关键字
requests模块发送get请求
# 模拟发送http请求的模块:requests不仅仅做爬虫用它,后期调用第三方接口,也是要用它的
# 安装
pip3 install requests
# 代码演示
import requests
res=requests.get('https://www.cnblogs.com/liuqingzheng/p/16005866.html')
print(res.text) # http响应体的文本内容
get请求携带参数
方式一:地址栏中拼接
res=requests.get('https://www.cnblogs.com/?name=lqz&age=19')
print(res.text)
方式二:使用params参数
res=requests.get('https://www.cnblogs.com/',params={'name':'lqz','age':19})
print(res.text)
小注意:如果中文涉及到 url的编码和解码
from urllib import parse
res=parse.quote('美女')
print(res)
res=parse.unquote('%E7%BE%8E%E5%A5%B3')
print(res)
携带请求头
http 请求有请求头,有的网站通过某些请求头来做反扒,只要在请求头中添加user-agent参数即可,还有图片防盗链,还有除了首页外,上一个地址不是我们自己的地址,就禁掉。
# 请求头中带数据---->爬取某个网站,不能正常返回,模拟的不像
# 网站做反扒,禁掉没有携带请求头中的客户端类型
# User-Agent:客户端类型:有浏览器,手机端浏览器,爬虫类型,程序,scrapy。。一般伪造成浏览器
# referer:上次访问的地址:Referer: https://www.lagou.com/gongsi/
# 如果要登录,模拟向登录接口发请求,正常操作必须在登录页面上才能干这事,如果没有携带referer,它就认为你是恶意的,拒绝调用
# 图片防盗链
header={
# 客户端类型
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36'}
res=requests.get('https://dig.chouti.com/',headers=header)
print(res.text)
携带cookie
方式一:直接带在请求头中
# 模拟点赞
data={
'linkId':'36996038'
}
header={
# 客户端类型
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36',
#携带cookie
'Cookie':''
}
res=requests.post('https://dig.chouti.com/link/vote',data=data,headers=header) print(res.text)
方式二:通过cookie参数:因为cookie很特殊,一般都需要携带,模块把cookie单独抽取成一个参数,是字典类型,以后可以通过参数传入
data={
'linkId':'36996038'
}
header={
# 客户端类型
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36',
}
res=requests.post('https://dig.chouti.com/link/vote',data=data,headers=header,cookies={'key':'value'})
print(res.text)
发送post请求
# 发送post请求
data = {
'username': '[email protected]',
'password': 'lqz123',
'captcha': 'cccc',
'remember': 1,
'ref': 'http://www.aa7a.cn/',
'act': 'act_login'
}
res = requests.post('http://www.aa7a.cn/user.php', data=data)
print(res.text)
print(res.cookies) # 响应头中得cookie,如果正常登录,这个cookie 就是登录后的cookie CookieJar:当成字典
# 访问首页,携带cookie,
# res2 = requests.get('http://www.aa7a.cn/', cookies=res.cookies)
res2 = requests.get('http://www.aa7a.cn/')
print('[email protected]' in res2.text)
# post请求携带数据 data={} , json={} drf后端,打印 request.data
# data=字典是使用默认编码格式:urlencoded
# json=字典是使用json 编码格式
res = requests.post('http://www.aa7a.cn/user.php', json={})
# request.session的使用:当request使用,但是它能自动维护cookie
session=requests.session()
data = {
'username': '[email protected]',
'password': 'lqz123',
'captcha': 'cccc',
'remember': 1,
'ref': 'http://www.aa7a.cn/',
'act': 'act_login'
}
res = session.post('http://www.aa7a.cn/user.php', data=data)
res2 = session.get('http://www.aa7a.cn/')
print('[email protected]' in res2.text)
响应Response
# Response对象,有很多属性和方法
import requests
header = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36',
}
respone = requests.get('https://www.jianshu.com', params={'name': 'lqz', 'age': 19},headers=header)
# respone属性
print(respone.text) # 响应体的文本内容
print(respone.content) # 响应体的二进制内容
print(respone.status_code) # 响应状态码
print(respone.headers) # 响应头
print(respone.cookies) # 响应cookie
print(respone.cookies.get_dict()) # cookieJar对象,获得到真正的字段
print(respone.cookies.items()) # 获得cookie的所有key和value值
print(respone.url) # 请求地址
print(respone.history) # 访问这个地址,可能会重定向,放了它冲定向的地址
print(respone.encoding) # 页面编码
获取二进制数据
# 获取二进制数据 :图片,视频
res = requests.get(
'https://upload.jianshu.io/admin_banners/web_images/5067/5c739c1fd87cbe1352a16f575d2df32a43bea438.jpg')
with open('美女.jpg', 'wb') as f:
f.write(res.content)
# 一段一段写
res=requests.get('https://vd3.bdstatic.com/mda-mk21ctb1n2ke6m6m/sc/cae_h264/1635901956459502309/mda-mk21ctb1n2ke6m6m.mp4')
with open('美女.mp4', 'wb') as f:
for line in res.iter_content():
f.write(line)
解析json
# 前后分离后,后端给的数据,都是json格式,
# 解析json格式
res = requests.get(
'https://api.map.baidu.com/place/v2/search?ak=6E823f587c95f0148c19993539b99295®ion=%E4%B8%8A%E6%B5%B7&query=%E8%82%AF%E5%BE%B7%E5%9F%BA&output=json')
print(res.text)
print(type(res.text))
print(res.json()['results'][0]['name'])
print(type(res.json()))
标签:入门,get,res,爬虫,data,com,print,requests,入狱
From: https://www.cnblogs.com/wwjjll/p/16920149.html