首页 > 编程语言 >Python爬虫学习之Requests库

Python爬虫学习之Requests库

时间:2023-05-18 20:47:43浏览次数:38  
标签:get Python 爬虫 response 响应 requests Requests

Requests请求库

Requests 是⽤Python语⾔编写,基于urllib,采⽤Apache2 Licensed开源协议的 HTTP 库。它⽐ urllib 更加⽅便,可以节约我们⼤量的⼯作,完全满⾜HTTP测试需求。

⼀句话——Python实现的简单易⽤的HTTP库

1. 了解requests库

requests库的介绍

requests是一个优雅而简单的Python HTTP请求库

requests的作用是发送请求获取响应数据

requests安装

进入命令行win+R执行

命令:pip install requests

项目导入:import requests

注意:

如果你要安装python虚拟环境中,先进行虚拟机环境在进行上述命令

如果系统中既安装了python2,又安装了python3,需要安装python3环境中:pip3 install requests

2. requests的基本使用

 导入模块

import requests

 

 发送get请求,获取响应

response= requests.get('http://www.baidu.com')

 

 从响应中获取数据

resp.encoding = 'utf-8')    #进行编码,设置为utf-8

print(response.text)

print(response.content.encode())

content响应的二进制数据,再使用encode进行解码。

 

response常见属性

response.ext:响应体str类型

response.encoding: 二进制转换字符使用的编码

response.content: 响应体bytes类型

 

 

3.案例:请求疫情首页

案例:需求,获取疫情数据

代码:

 # 导入模块
import requests


 # 发送get请求,获取响应
response= requests.get('http://ncov.dxy.cn/ncovh5/view/pneumonia')


 # 从响应中获取数据
response.encoding = 'utf-8'    #进行编码,设置为utf-8

print(response.text)

print(response.content.decode())

 

 

标签:get,Python,爬虫,response,响应,requests,Requests
From: https://www.cnblogs.com/beichens/p/17413225.html

相关文章

  • python day 06 部分循环和部分数据类型内置方法
    while+continue#请听题:循环打印出0-10之间的数字#请听题:循环打印出0-9之间的数字,但是不打印6count=0whilecount<10:ifcount==6:count+=1continue#是跳出本次循环,整体循环还在继续print(count)count+=1while+elsecount......
  • python包管理工具:Conda和pip比较
    Conda和pip通常被认为几乎完全相同。虽然这两个工具的某些功能重叠,但它们设计用于不同的目的。Pip是PythonPackagingAuthority推荐的用于从PythonPackageIndex安装包的工具。Pip安装打包为wheels或源代码分发的Python软件。后者可能要求系统安装兼容的编译器和库。Conda是......
  • 使用Python复制某文件夹下子文件夹名为"数据"文件夹下的所有以"DD"开头的文件夹到桌面
    大家好,我是皮皮。一、前言前几天在Python最强王者群【魏哥】问了一个Python自动化办公处理的问题,这里拿出来给大家分享下。二、实现过程这里他自己有一个原始代码,但是实现的效果不尽人意。importshutilimportos#importsys#导入sys模块#sys.setrecursionlimit(10......
  • Python的基础语法“四” 数据类型内置方法
    数据类型内置方法1.整型1.语法: int()2.作用: 将括号内数据转化为整型还可以进行进制转换2.1、我们常见的进制有哪些?#常见的进制数:二进制、八进制、十进制、十六进制(ABCDEF)#二进制和十进制之间转换#十进制转二进制:除2取余法#......
  • \033[0m 有什么用——python 输出颜色自定义
    "\033"是什么?\033或\33相当于python中的关键字,可以改变输出字体的属性,具体参考ECMA-48标准《ControlFunctionsforCodedCharacterSets》参数有什么?字颜色:30-----------3730:黑31:红32:绿33:黄34:蓝色35:紫色36:深绿37:白色字背景颜色范围:40----47......
  • python基础06
    练习#猜年龄的游戏#1.如果猜正确了,就直接结束程序#2.猜错的话,继续让它猜,给三次机会,三次全猜错,程序不要结束,问:是否继续猜,是,在给三次机会,否则退出'''先定义一个正确的值'''age=21count=0#计数器whileTrue:ifcount==3:j=input('三次机会用......
  • 【python】dumpall工具使用
    dumpall:一款信息泄漏利用工具,适用于.git/.svn/.DS_Store泄漏和目录列出  git地址:https://github.com/0xHJK/dumpall  安装使用:#unzipdumpall-master.zip#cddumpall-master#python37dumpall.py--version#查看版本#python37dumpall.py-uhttps:......
  • 2023最佳python编辑器和IDE
    IDE没有统一的标准,自己习惯就是最好的。本文列出一些较常用的IDE,供大家参考。一般而言,WingIDE、PyCharm、Spyder、Vim是比较常用的IDE。SpyderSpyder是Python(x,y)的作者为它开发的一个简单的集成开发环境。和其他的Python开发环境相比,它最大的优点就是模仿MATLAB的"工作空间"......
  • 利用python解析log日志,json文件,配置文件。
    对于喜欢偷懒的我来说,重复同样的工作是很令人头疼的事情,总想找到一条捷径,最好是一劳永逸。本次跟大家分享的是对log日志,json文件以及配置文件的解析,读取。首先是log日志的读写:读取数据:f=open("spring05注意事项.txt",mode='r',encoding='utf-8')line=f.readline()whileline......
  • Python字符串替换的3种方法
    Python字符串替换笔记主要展示了如何在Python中替换字符串。Python中有以下几种替换字符串的方法,本文主要介绍前三种。replace方法(常用)translate方法re.sub方法字符串切片(根据Python字符串切片方法替换字符)1.replace方法Pythonreplace方法把字符串中的old(旧字符串)替换成......