标签：http res 爬虫 --- 初识 cookie print requests

目录

• 爬虫初识
  • 昨日回顾
  • 今日内容详细
    • 1 爬虫介绍
    • 2 request模块介绍
    • 3 request发送get请求
    • 4 request携带参数
    • 5 url编码解码
    • 6 携带请求头
    • 7 发送post请求 携带数据
    • 8 自动登录 携带cookie的两种方式
    • 9 requests.session的使用
    • 10 补充post请求携带数据编码格式
    • 11 响应Response对象
    • 12 编码问题
    • 13 下载图片 视频

爬虫初识

昨日回顾

# 1 上线架构图

# 2 购买云服务器

# 3 远程链接云服务器
	xshell
    fianlshell

# 4 安装mysql
	下载rpm包
    安装
    修改root用户密码
    
# 5 redis 源码
	在不同平台编译
    make make install
    做软链接
    
# 6 python3.8
	安装前置软件
    下载源码包
    解压
    
# 7 安装uwsgi

# 8 安装虚拟环境
	workon 虚拟环境名字 ---> 进入虚拟环境
    deactivate 虚拟环境名字 ---> 退出虚拟环境
    
# 9 安装nginx
	1 启动
    	nginx
        
    2 关闭nginx
    	nginx -s stop
        
    3 重启nginx
    	nginx -s reload
        
    4 查看端口 强行关闭
    	ps -aux|grep nginx  ---> 过滤并查看端口
        kill <pid:进程编号>
        
# 10 上线前端
	编译vue: npm run build ---> dist文件夹下
    传到服务器：lrzsz
    解压zip：unzip
    copy到 /home/html
    
    修改nginx配置文件 让它能够代理前端静态文件
    
# 11 后端上线
	修改后的代码 提交到git上
    云服务器： git clone下来
    	logs文件必须有 因为要用到 不然报错
        
    安装所有依赖：先装能装的
    uwsgi上线：虚拟环境也要装
    uwsgi配置文件
    
    nginx 增加一个新增的server
    
# 12 数据库配置
	创建数据库
    新增用户 设置用户权限
    录入数据
    
# 13 处理前端静态文件
	STAIC_ROOT = ''
    python manage_pro.py collectstatic
    
    nginx代理
    
# 14 域名解析


# 开源项目赏析
	https://gitee.com/huap/projects

今日内容详细

1 爬虫介绍

# 爬虫是什么
	爬虫就是程序---> 从互联网中 各个网站上 爬取数据【你能浏览的页面才能爬】 做数据清洗 入库
    
# 爬虫的本质
	模拟方式http请求 获取数据---> 入库
    	网站
        app：抓包
        
# 补充：百度就是一个大爬虫
	百度爬虫一刻不停的在互联网中爬取各个页面---> 爬取完后---> 保存到自己的数据库中
    你在百度搜索框中搜索---> 百度自己的数据库查询关键字---> 返回数据回来
    点击某个页面---> 跳转到真正的地址上
    seo：SEO,全称是搜索引擎优化(Additional Search Optimization,简称 SEO),是指搜索引擎优化系统借助技术和算法改进，实现网站优化工作目标的一种推广手段。其本质是利用搜索引擎（包括百度、谷歌、搜狗等）搜索用户想要浏览的网页，然后通过技术将其展示给目标用户，让用户找到该页面，并实现转化
    sem：充钱的 搜索引擎营销：英文Search Engine Marketing ，我们通常简称为“SEM”。简单来说，搜索引擎营销就是基于搜索引擎平台的网络营销，利用人们对搜索引擎的依赖和使用习惯，在人们检索信息的时候将信息传递给目标用户。搜索引擎营销的基本思想是让用户发现信息，并通过点击进入网页，进一步了解所需要的信息。企业通过搜索引擎付费推广，让用户可以直接与公司客服进行交流、了解，实现交易。
    
# 咱们学习的
	模拟发送http请求
    	requests模块
        selenium
        反扒：封ip：ip代理 封账号：cookie池
        
    解析数据：bs4
    入库：mysql redis 文件中
    
    爬虫框架：scrapy

2 request模块介绍

# 使用python如何发送http请求
# 模块：requests模块 封装了python内置模块urllib
	使用requests可以模拟浏览器的请求(http) 比起之前用到的urllib requests模块的api更加便捷(本质就是封装了urllib3)
    
# 安装
pip3 install requests

3 request发送get请求

import requests
#
# res = requests.get('https://www.cnblogs.com/liuqingzheng/p/16005866.html')
# print(res.text)


# 如果有的网站 发送请求 不返回数据 人家做了反扒---> 拿不到数据 学校如何反扒
# res = requests.get('https://dig.chouti.com/')
# print(res.text)

4 request携带参数

import requests

# 方式一：直接拼接到路径中
# res = requests.get('https://www.cnblogs.com/liuqingzheng/p/16005866.html?name=lqz&age=19')
# 方式二：使用params参数
res = requests.get('https://www.cnblogs.com/liuqingzheng/p/16005866.html',params={'name':"lqz",'age':19})
# print(res.text)
print(res.url)

5 url编码解码

import requests
from urllib.parse import quote, unquote

res = requests.get('https://www.cnblogs.com/liuqingzheng/p/16005866.html',params={'name':"彭于晏",'age':19})

# 如果是中文 在地址栏中会做url的编码：彭于晏：%E5%BD%AD%E4%BA%8E%E6%99%8F
print(res.url)  # https://www.cnblogs.com/liuqingzheng/p/16005866.html?name=%E5%BD%AD%E4%BA%8E%E6%99%8F&age=19

# 编码：
res1 = quote('彭于晏')
print(res1)  # %E5%BD%AD%E4%BA%8E%E6%99%8F
# 解码
res2 = unquote(res1)
print(res2)  # 彭于晏

6 携带请求头

import requests
# http请求头：User-Agent cookie Connection

# http协议版本间的区别
# Connection：keep-alive
# http协议有版本：主流1.1 0.9 2.x  新出的有3.x
# http基于TCP 如果建立一个http链接---> 底层创建一个tcp链接
# 1.1比之前多了keep-alive
# 2.x比1.x多了 多路复用
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36'
}
res = requests.get('https://dig.chouti.com/', headers=headers)
print(res.text)
# 就可以请求成功

7 发送post请求 携带数据

import requests

# 携带登录信息 携带token
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36',
    'Cookie': ''
}
# post请求 携带参数
data = {
    'linkId': '38063872'
}
res = requests.post('https://dig.chouti.com/link/vote', headers=headers, data=data)
print(res.text)


# 双token认证

8 自动登录 携带cookie的两种方式

# 登录功能 一般都是post

import requests

data = {
    'username': '',
    'password': '',
    'captcha': '3456',
    'remember': 1,
    'ref': 'http://www.aa7a.cn/',
    'act': 'act_login'
}
res = requests.post('http://www.aa7a.cn/user.php',data=data)
print(res.text)
# 响应中会有登录成功的cookie
print(res.cookies)  # RequestsCookieJar 跟字典一样
# 拿着这个cookie 发请求 就是登录状态

# 访问首页 get请求 携带cookie 首页返回的数据一定会有 我的账号
# 携带cookie的两种方式 方式一是字符串 方式二是字典或CookieJar对象
# 方式二：放到cookie参数中
res1 = requests.get('http://www.aa7a.cn/',cookies=res.cookies)

print('[email protected]' in res1.text)  # True则证明登录成功

9 requests.session的使用

# 为了保存cookie 以后不需要携带cookie

import requests

data = {
    'username': '',
    'password': '',
    'captcha': '3456',
    'remember': 1,
    'ref': 'http://www.aa7a.cn/',
    'act': 'act_login'
}

session = requests.session()
res = session.post('http://www.aa7a.cn/user.php', data=data)
print(res.text)

res1 = session.get('http://www.aa7a.cn/')  # 自动保持登录状态 自动携带cookie

print('[email protected]' in res1.text)xxxxxxxxxx # 为了保存cookie 以后不需要携带cookie# 为了保存cookie 以后不需要携带cookieimport requestsdata = {    'username': '',    'password': '',    'captcha': '3456',    'remember': 1,    'ref': 'http://www.aa7a.cn/',    'act': 'act_login'}session = requests.session()res = session.post('http://www.aa7a.cn/user.php', data=data)print(res.text)res1 = session.get('http://www.aa7a.cn/')  # 自动保持登录状态 自动携带cookieprint('[email protected]' in res1.text)

10 补充post请求携带数据编码格式

import requests

# data对应字典 这样写 编码方式是urlencoded
requests.post(url='xxxxxxxx',data={'xxx':'yyy'})
# json对应字典 这样写 编码方式是json
requests.post(url='xxxxxxxx',json={'xxx':'yyy'})
# 终极方案 编码就是json格式
requests.post(url='', data={'':1},headers={'content-type':'application/json'})

11 响应Response对象

# Response相应对象的属性和方法
import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36'
}

response = requests.get('http://www.jianshu.com',headers=headers)
# response属性
print(response.text)  # 响应体转成了字符串
print(response.content)  # 响应体的二进制内容

print(response.status_code)  # 响应状态码
print(response.headers)  # 响应头
print(response.cookies)  # cookie是在响应头 cookie很重要 它单独做成了一个属性
print(response.cookies.get_dict())  # cookieJar对象---> 转成字段
print(response.cookies.items())  # cookie的键值对

print(response.url)  # 请求地址
print(response.history)  # 不用关注

print(response.encoding)  # 响应编码格式

12 编码问题

# 有的网站 打印
res.text---> 发现乱码---> 请求回来的二进制---> 转成了字符串---> 默认用utf8转
response.encoding='gbk'
再打印res.text就用gbk转码

13 下载图片 视频

import requests

# res=requests.get('http://pic.imeitou.com/uploads/allimg/230224/7-230224151210-50.jpg')
# # print(res.content)
# with open('美女.jpg','wb') as f:
#     f.write(res.content)
#


res=requests.get('https://vd3.bdstatic.com/mda-pcdcan8afhy74yuq/sc/cae_h264/1678783682675497768/mda-pcdcan8afhy74yuq.mp4')
with open('致命诱惑.mp4','wb') as f:
    for line in res.iter_content():
        f.write(line)

标签：http,res,爬虫,---,初识,cookie,print,requests
From： https://www.cnblogs.com/zpf1107/p/17220133.html