服务器架设

opencv安装

pip install opencv-python

依赖安装

#   libglvnd-1:1.3.2-1.tl3.x86_64  
#   libglvnd-glx-1:1.3.2-1.tl3.x86_64
#   libxshmfence-1.3-2.tl3.x86_64
#   mesa-libGL-20.3.3-2.tl3.x86_64 
#   mesa-libglapi-20.3.3-2.tl3.x86_64

yum install libGL

step1. 准备环境

redis安装在centos上使用

yum install redis

安装完成后，配置路径在

/etc/redis.conf

python安装参考linux环境下安装多个任意版本的python环境

step2. 安装proxy_pool开源代码

pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/

# 这里一定要升级一下flask，否则后续一定会报错

pip3 install Flask==2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple/

step3. 配置redis

配置

vim /etc/redis.conf

# 找到requirepass 去掉注释，设置密码

requirepass 123456

# 找到daemonize 去掉注释，改为yes，设置守护线程

daemonize yes

在Linux上，如果开了redis的守护进程，kill -9和redis-cli shutdown 命令是无法杀掉 redis 进程的 ，杀掉就会重新启动一个新的进程

最后在网上找到这个命令，可以杀掉redis的守护线程：

/etc/init.d/redis-server stop

启动和验证

# 若命令直接返回，说明守护线程已经开启

redis-server /etc/redis.conf

#测试， 返回PONG说明启动成功
redis-cli

127.0.0.1：6379 > auth 123456
127.0.0.1：6379 > ping
PONG

step4. 配置setting.py

HOST 不用改，PORT也可以不用改，这是你flask打开的默认地址，

数据库需要改一下，pwd改成你刚才设置的"123456"或者你自己设置的值。

端口改成6379。因为我们没有改redis-server的地址。

其他的不用动。然后再启动python脚本。

# setting.py 为项目配置文件

# 配置API服务

HOST = "0.0.0.0"               # IP
PORT = 5000                    # 监听端口


# 配置数据库

DB_CONN = 'redis://:[email protected]:8888/0'


# 配置 ProxyFetcher

PROXY_FETCHER = [
    "freeProxy01",      # 这里是启用的代理抓取方法名，所有fetch方法位于fetcher/proxyFetcher.py
    "freeProxy02",
    # ....
]

step5. 后台启动python脚本

nohup python -u proxyPool.py schedule > schedule.log 2>&1 &
nohup python -u proxyPool.py server > server.log 2>&1 &

ps -ef | grep python

这样以后就可以关闭终端，而保持进程在运行了。