首页 > 其他分享 >技术分享:Proxy-Pool代理池搭建IP代理

技术分享:Proxy-Pool代理池搭建IP代理

时间:2023-04-06 16:01:40浏览次数:31  
标签:IP cmd redis 代理 命令 Proxy 输入

技术分享:Proxy-Pool代理池搭建IP代理

 

前言
本章内容仅供参考,不涉及实际使用,主要使用Python环境和Redis数据库进行环境搭建,工具网盘存储如下,有问题可以私聊我。
网址:https://wwgn.lanzoul.com/b03w0tvja 密码:am5m

一、环境准备
1、Python3.10/.7
2、Redis5.0.10
3、Proxy-pool2.4.1

二、搭建过程

1.Redis数据库搭建

1、首先确定好环境是否准备好,提前安装好Python3.10.7环境。

 2、环境准备好后,首先配置Redis数据库环境,进入到Redis数据库的根目录文件夹,在文件夹中打开cmd窗口,输入命令启动redis服务。
命令:redis-server.exe redis.windows.conf

3、确定能够启动redis服务后,将该窗口关闭,接下来需要将redis服务安装到Windows服务中,新开一个cmd窗口,输入命令将redis安装到Windows服务中,安装完成后,打开运行框输入services.msc打开服务,查看是否成功安装redis服务。
命令:redis-server.exe --service-install redis.windows.conf

 4、确定添加成功后,再次通过命令启动redis服务,关闭所有cmd窗口,再打开一个新的cmd窗口,输入命令启动redis服务。(start代表开启,stop代表关闭)
命令:redis-server.exe --service-start

 5、接下来测试是否成功开启redis服务,输入命令,如出现下列信息则代表开启成功。
命令:redis-cli.exe -h 127.0.0.1 -p 6379

2.Proxy-Pool代理池搭建

1、首先要安装依赖环境,这里需要注意Python版本问题,由于Proxy-pool代理池是基于Python3.6制作的,所以需要将依赖文件中的版本号进行删除,交给pip进行适应版本下载,打开requirements.txt文件,将后面的版本号连同等于号一起删除,保留如下。

 2、修改完毕后,使用PIP安装依赖环境,输入命令。
命令:pip install -r requirements.txt

 3、环境依赖安装完毕后,需要将Proxy-pool的配置文件进行修改,打开setting.py文件,修改数据库密码,端口号等信息,根据自己的需求进行修改。

 4、配置完毕后启动项目,这里需要启动两个程序,分别是调度程序和代理池的API接口程序。首先启动调度程序,打开cmd输入命令。
命令:python proxyPool.py schedule

 5、如图所示开始采集IP地址,等待IP地址采集稳定后,开启API接口程序,新开一个cmd输入命令。
命令:python proxyPool.py server

 6、两个程序开启以后,测试API调用是否成功,打开浏览器,输入网址进行查看,发现IP地址每次刷新都会改变,证明API接口调用成功,实验完成。
地址:http://127.0.0.1:5010/get/

 

标签:IP,cmd,redis,代理,命令,Proxy,输入
From: https://www.cnblogs.com/redHskb/p/17293058.html

相关文章

  • javascript实现代码高亮
    9款有用的Javascript代码高亮脚本 语法突出显示非常重要,尤其是当我们想在博客上展示我们的代码示例时。通过在博客上启用语法突出显示,读者可以更轻松地阅读代码块。 我们周围有很多免费且有用的语法突出显示脚本。大多数脚本都是使用Javascript编写的,尽管其中一些脚本由其他编程......
  • 拿ip 工具类
    IpUtils:完整代码;点击查看代码importorg.apache.commons.lang3.StringUtils;importjavax.servlet.http.HttpServletRequest;publicclassIpUtils{publicstaticStringgetIpAddr(HttpServletRequestrequest){Stringunknown="unknown";......
  • 思考 TypeScript namespace,复习 class 语法
    前言据我所知,早期JavaScript没有class语法,很多都是函数,即便是现在的class本质上也是一个函数。在这里不说函数与class之间的关系和区别。下面将从class语法上讲解,阐述为什么有class以及作用;对class语法进行了探讨之后,再思考TypeScript的namespace给我们带来......
  • JavaScript超大文件上传解决方案:分片断点上传(一)
    ​ 前段时间做视频上传业务,通过网页上传视频到服务器。视频大小小则几十M,大则1G+,以一般的HTTP请求发送数据的方式的话,会遇到的问题:1,文件过大,超出服务端的请求大小限制;2,请求时间过长,请求超时;3,传输中断,必须重新上传导致前功尽弃; 解决方案:1,修改服务端上传的限制配置;Nginx以......
  • 爬取海量ip
    importrequestsfromlxmlimportetreeimportpandasaspdimporttimeurl="http://www.66ip.cn/index.html"headers={"User-Agent":"Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/108.0.0......
  • jmeter模拟多IP地址访问
    1.前言:今天一同事在压测时提到怎么用jmeter里虚拟多个ip来发送请求,我想了一下以前用LR时用过虚拟ip地址,jmeter还没有使用过。想着原理应该是相通的,既然LR都能支持的话,那Jmeter应该也是支持,于是就有了jmeter虚拟化IP地址的研究。在网上也查找了相应的资料,摸索参考着实践了一把,坑吃......
  • jmeter模拟多IP地址访问
    1.前言:今天一同事在压测时提到怎么用jmeter里虚拟多个ip来发送请求,我想了一下以前用LR时用过虚拟ip地址,jmeter还没有使用过。想着原理应该是相通的,既然LR都能支持的话,那Jmeter应该也是支持,于是就有了jmeter虚拟化IP地址的研究。在网上也查找了相应的资料,摸索参考着实践了一把,坑吃......
  • Sleuth+Zipkin 实现 Spring Cloud 链路追踪
    一、前言在全链路监控:方案概述与比较 一文中,我们有详细介绍过分布式链路跟踪的实现理论基础。我们看到上图,知道在微服务架构下,系统的功能是由大量的微服务协调组成的,例如:电商下单业务就需要订单服务、库存服务、支付服务、短信通知服务逐级调用才能完成。而每个服务可能是由不同......
  • 网站突然用 IP 访问不了应该怎么办
    在访问网站时,通常会通过域名进行访问,而不是直接使用IP地址。但是,偶尔会出现一些情况,导致使用域名无法访问,而只能使用IP地址进行访问。那么,当一个网站突然用IP访问不了时,我们应该怎么办呢?本文将给大家提供一些简单易行的解决方法。1、检查网络连接问题首先,我们需要确保......
  • 免费HTTP代理使用会被封掉吗
    网络代理是一种通过代理服务器向目标服务器发送请求的技术,它可以隐藏用户真实IP地址和位置信息,提高网络访问的隐私性和安全性。在代理服务器中,HTTP代理是代替用户发起请求的重要组成部分。而对于免费HTTP代理,人们普遍认为会被封掉。下面将从原理上解析免费HTTP代理会被封掉的可......