首页 > 其他分享 >代理池的使用

代理池的使用

时间:2024-02-20 15:26:13浏览次数:23  
标签:http get res redis 代理 proxy 使用

搭建并使用代理的步骤

1 搭建免费代理池

项目下载地址:https://github.com/jhao104/proxy_pool


2 使用虚拟环境安装依赖


3 修改配置文件中的redis配置

DB_CONN = 'redis://127.0.0.1:6379/2'

4 启动爬虫获取免费代理并存入redis

python proxyPool.py schedule

5 启动web服务

python proxyPool.py server

6 访问获取代理网址

http://127.0.0.1:5010/get/

7 使用代理发送请求代码实例

import requests

res=requests.get('http://192.168.1.252:5010/get/?type=http').json()
# 获取当前代理ip
print(res['proxy'])

# 使用代理向百度首页发起请求
res1 = requests.get('http://www.baidu.com', proxies={'http': res['proxy']})
print(res1.text)

标签:http,get,res,redis,代理,proxy,使用
From: https://www.cnblogs.com/wellplayed/p/18023185

相关文章

  • 使用Java将视频中某一帧抽取为封面图片
    由于业务需求需将视频中的某帧进行截取作为该视频封面,网上太多教程过于复杂麻烦,经本人研究发现可以使用Java调用FFmpeg来进行处理。/***获取指定的视频文件后进行封面截图为png并保存到指定目录**@paramvideoFile视频媒体文件*@paramfileName文件名*/publicS......
  • IDEA使用过程中src文件夹显示不出来的解决方法
    IDEA加载项目没有src目录_idea导入项目没有src-CSDN博客总结:删除本地项目目录中的idea文件夹后重新打开项目......
  • Vue.JS:使用Vite工具创建项目 及 后续的主要配置
    原文地址:https://mp.weixin.qq.com/s/QelQEAMYSoNC0uYKfbO9Gw01 使用Vite工具创建Vue.JS项目 命令:npmcreatevite@latest 首先,要提供的是你项目的名称: 然后,选择一个框架:这一段的全部代码如下:adamhuan@192PycharmProjects%pwd/Users/adamhuan/PycharmProjectsad......
  • SpringBoot中使用PageHelper插件实现Mybatis分页
    场景SpringBoot中整合Mybatis时一般添加的依赖为       <dependency>           <groupId>org.mybatis.spring.boot</groupId>           <artifactId>mybatis-spring-boot-starter</artifactId>           <version>2.2.1</vers......
  • 使用油猴插件,修改和简化美化博客园的随笔编辑界面
    包含内容开局自动打开实时预览编辑区域高度放大左侧菜单栏区域缩小下方菜单栏隐藏,点击恢复可再现待续//==UserScript==//@name博客园修改//@namespacehttp://tampermonkey.net///@version2024-02-20//@descriptiontrytotakeover......
  • Go语言精进之路读书笔记第30条——使用接口提高代码的可测试性
    Go语言有一个惯例是让单元测试代码时刻伴随着你编写的Go代码。单元测试是自包含和自运行的,运行时一般不会依赖外部资源(如外部数据库、外部邮件服务器等),并具备跨环境的可重复性(既可在开发人员的本地运行,也可以在持续集成的环境中运行)。30.1实现一个附加免责声明的电子邮件发送函......
  • 多线程系列(三) -synchronized 关键字使用详解
    一、简介在之前的线程系列文章中,我们介绍了线程创建的几种方式以及常用的方法介绍。今天我们接着聊聊多线程线程安全的问题,以及解决办法。实际上,在多线程环境中,难免会出现多个线程对一个对象的实例变量进行同时访问和操作,如果编程处理不当,会产生脏读现象。二、线程安全问题介......
  • 软件测试/人工智能|熟练使用web控件定位技巧,提升测试工作效率!
    简介在做Web自动化时,最根本的就是操作页面上的元素,首先要能找到这些元素,然后才能操作这些元素。工具或代码无法像测试人员一样用肉眼来分辨页面上的元素。那么要如何定位到这些元素,本章会介绍各种定位元素的方法。web控件定位id定位Python实现driver.find_element(By.I......
  • Hbuilder使用快捷键
    Hbuilder的使用1、Hbuilder基本操作​设置基本外观文字大小,申请账号。​2、Hbuilder快捷键​-新建菜单:ctrl+N​-新建:ctrl+N​-关闭:ctrl+w​-保存:ctrl+s​-激活代码助手:Alt+/​-撤销:Ctrl+Z​-整理代码格式:Ctrl+Shift+F(注意和输入法快捷键冲突)​-......
  • Qt QLineEdit用作密码输入时的使用
    1#include"testqt.h"2#include<QIntValidator>34testqt::testqt(QWidget*parent)5:QWidget(parent)6{7ui.setupUi(this);8/*9enumEchoMode{Normal,//默认普通模式10NoEcho,//输入内容有但是显示不出来(......