首页 > 编程语言 >Python爬虫学习经历

Python爬虫学习经历

时间:2022-12-31 20:00:34浏览次数:41  
标签:Python 反爬 爬虫 学习 headers 537.36 url requests UA

requests模块

1.处理一个UA反爬

import requests
content = input("请输入你要搜索的内容:")
url = f"https://www.sogou.com/web?query={content}"
headers = {
# 添加一个请求头信息.UA
"user-agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"
}
# 处理一个反爬
a = requests.get(url,headers = headers)
print(a.text)


标签:Python,反爬,爬虫,学习,headers,537.36,url,requests,UA
From: https://blog.51cto.com/u_15922866/5982215

相关文章

  • 掌握Python中列表生成式的五个原因
    1.引言在Python中我们往往使用列表生成式来代替for循环,本文通过引入实际例子,来阐述这背后的原因。闲话少说,我们直接开始吧!2.简洁性列表生成式允许我们在一行代码中创建一......
  • Python__19--函数调用的参数传递与变量的作用域
    1函数调用的参数传递形参(形式参数):在函数定义的时候用到的参数没有具体值,只是一个占位的符号,成为形参;实参(实际参数):在调用函数的时候输入的值。实际参数和形式参......
  • pycharm配置python环境
    打开pycharm,找到settings中的pythoninterpreter点击addinterpreter,addlocalinterpreter选择python安装路径就可以了......
  • 类欧几里得算法学习笔记
    题目求\(f(a,b,c,n)=\sum\limits_{i=0}^n\lfloor\frac{ai+b}c\rfloor\)题解当\(a\gec\)或\(b\gec\)时,\(\begin{aligned}\sum\limits_{i=0}^n\lfloor\frac{ai+b......
  • python中字典介绍
    #字典学习可变容器模型#创建字典的字面量语法scores={'刘德华':95,'白元芳':78,'狄仁杰':82}print(scores)#{'刘德华':95,'白元芳':78,'狄仁杰':82}......
  • Rust中的生命周期注解 - 学习笔记
    Rust生命周期注解是为了保证【依赖有效】简单地说:假设变量a依赖于b,那么b的生命周期应该大于a,否则不安全。 Rust中生命周期注解的用法示例1//通过'a标注相同的生命......
  • FOFA-Python-SDK使用说明
    FOFASDK使用说明文档FOFAAPIFOFAAPI是资产搜索引擎FOFA为开发者提供的RESTfulAPI接口,允许开发者在自己的项目中集成FOFA的功能。FOFASDK基于FOFAAPI......
  • 极客编程python入门-操作文件和目录
    操作文件和目录Python内置的os模块也可以直接调用操作系统提供的接口函数。>>>importos>>>os.name#操作系统类型'posix'如果是​​posix​​,说明系统是​​Linux​​、......
  • 三余弦等定理的学习
    三余弦定理如图,有\(\cos\beta=\cos\alpha\cdot\cos\gamma\)。(小注:看许多资料上都用了这个图,所以我也恬不知耻地拿来用了,侵权立删,下同)由此可以得出最小角定理,即......
  • python中元组的介绍
    ###使用元组#原则与列表类似,是一种容器数据类型#定义元组t=('骆昊',30,True,'武汉')print(t)#获取元组中的元素print(t[0])#遍历元组中的值formemberint:......