首页 > 编程语言 >Python爬虫零基础教学第二天

Python爬虫零基础教学第二天

时间:2023-05-08 23:26:03浏览次数:30  
标签:Python 08 代理 爬虫 调试模式 requests 教学

Python爬虫高级开发/大数据抓取/从入门到精通/商业项目实战(2)

开始时间2023-05-08 21:26:37

结束时间2023-05-08 23:08:20

一、调试模式的介绍

 鼠标右键,在出现的选项中找到检查进入调试模式,或者按键盘上的f12键进入调试模式。

 

 二、Cookie

使用cookie进行会话保持

 

 模拟登录——使用requests

 模拟登录——使用session

 三、代理、禁止重定向

1.透明代理

2.普通匿名代理

3.高匿代理

4.禁止重定向

5.超时代理

 6.retrying模块

 实战操作

import requests


url = "https://new.qq.com/ch/tech/"


response = requests.get(url)


print(response.text)

 

 交互模式

 总结:试着用爬虫遨游网络世界吧!

每日一mo:今天下午的梦,睡了好久好久,他们也叫我范天齐呢....

标签:Python,08,代理,爬虫,调试模式,requests,教学
From: https://www.cnblogs.com/R-f-12/p/17383478.html

相关文章

  • 在 Python 中将 Tqdm 与 Asyncio 结合使用
    动动发财的小手,点个赞吧!简介困扰在Python中使用并发编程来提高效率对于数据科学家来说并不罕见。在后台观察各种子进程或并发线程以保持我的计算或IO绑定任务的顺序总是令人满意的。但是还有一点困扰我的是,当我在后台并发处理成百上千个文件或者执行成百上千个进程时,我总......
  • Python - 并发模型
    importitertoolsimporttimefromthreadingimportThread,Eventdefspin(msg:str,done:Event)->None:forcharinitertools.cycle(r'\|/-'):#1status=f'\r{char}{msg}'#2print(status,end=''......
  • python14:递归函数
    概念:在一个函数内部不调用其他函数,而是自己本身的话,这个函数就是递归函数。优点:看起来简单缺点:容易导致栈溢出,占内存。例子:defjiecheng(n):#result=1#foriteminrange(1,n+1):#result*=item#pass#returnresult##print('结果为:{}'.form......
  • Python + Selenium,分分钟搭建 Web 自动化测试框架!
    在程序员的世界中,一切重复性的工作,都应该通过程序自动执行。「自动化测试」就是一个最好的例子。随着互联网应用开发周期越来越短,迭代速度越来越快,只会点点点,不懂开发的手工测试,已经无法满足如今的业务要求,只能被企业逐步裁员淘汰。「自动化测试和持续测试」就成为了业界主流。......
  • python GUI(beeware) + uiautomator2 实现root后的安卓手机自动执行脚本
    python环境:python3.81:安装beewarebeeware教程:https://docs.beeware.org/en/latest/tutorial/tutorial-2.html2:安装python模块uiautomator23:测试代码代码结构 app.py"""Myfirstapplication"""fromtoga.styleimportPackfrom.dy_dianzanim......
  • 深入理解 python 虚拟机:描述器的王炸应用-property、staticmethod 和 classmehtod
    深入理解python虚拟机:描述器的王炸应用-property、staticmethod和classmehtod在本篇文章当中主要给大家介绍描述器在python语言当中有哪些应用,主要介绍如何使用python语言实现python内置的proterty、staticmethod和classmethod。property当你在编写Python代码......
  • Python实操面试题
    1、一行代码实现1--100之和#利用sum()函数求和sum(range(1,101))2、如何在一个函数内部修改全局变量#利用global在函数声明修改全局变量a=5deffunc(): globalaa=10func()print(a)#结果:103、列出5个python标准库'''os:提供了不少与操作系统......
  • python-Queue队列
    队列Queue提供同步的、线程安全的队列类,可以用于线程之间的线程通信。queue模块实现了多生产者、多消费者队列。这特别适用于消息必须安全地在多线程交换的线程编程。该模块实现了三种类型的队列,它们的区别是任务取回的顺序。在FIFO队列中,先添加任务的先取回。在LIFO队列中,最......
  • 时间序列的STL分解Python代码——以验潮站数据为例
    1.时间序列分解的作用和意义时间序列通常包括如下几种成分:一个时间序列包含三种影响因素: 长期趋势:在一个相当长的时间内表现为一种近似直线的持续向上、向下或平稳的趋势。季节变动:受季节变化影响所形成的一种长度和幅度固定的短期周期波动周期变动:与季节变动类似,但是波动......
  • python-手动借助google翻译来翻译文档
    1importos2importre3'''4读取指定的html文件5去掉所有的换行符6正则匹配特定项目:(?<=<divclass="block">).+?(?=</div>)7然后替换掉:</code>|<code>|<i>|</i>==>""8......