【Python爬虫笔记】爬虫代理IP与访问控制

一、前言

在进行网络爬虫的开发过程中，有许多限制因素阻碍着爬虫程序的正常运行，其中最主要的一点就是反爬虫机制。为了防止爬虫程序在短时间内大量地请求同一个网站，网站管理者会使用一些方式进行限制。这时候，代理IP就是解决方案之一。

本文主要介绍如何在爬虫程序中使用代理IP以应对反爬虫机制，以及如何进行访问控制，保障程序的正常运行。

二、什么是代理IP

代理IP即为代理服务器的IP地址，在爬虫程序中，我们可以使用代理IP来隐藏真实的IP地址，从而达到访问网站的目的。使用代理IP可以解决以下问题：

1. 突破访问限制：有些网站会限制某些地区的访问，使用代理IP可以突破这些限制。
2. 绕过反爬虫机制：有些网站会根据同一IP访问频率的高低来判断是否为爬虫行为，使用代理IP可以隐藏真实IP地址，从而防止被封禁或检测。
3. 提高访问速度：使用代理IP可以使得请求被代理服务器缓存，从而提高访问速度。

三、如何获取代理IP

有许多免费或收费的代理IP提供商，我们可以在这些网站上获取代理IP，这里推荐一个：

站大爷代理ip

获取代理IP后，我们需要进行有效性检测、筛选和存储，以确保代理IP的可用性。

下面是一个Python代码示例，可以实现对代理IP的有效性检测并存储可用的代理IP：

import requests
import time


def check_proxy(proxy):
    """
    检测代理IP的有效性
    :param proxy: 代理IP
    :return: True or False
    """
    proxies = {
        'http': proxy,
        'https': proxy,
    }
    try:
        response = requests.get('https://www.baidu.com/', proxies=proxies, timeout=5)
        if response.status_code == 200:
            return True
        else:
            return False
    except:
        return False


def save_proxy(ip, port, protocol='http'):
    """
    存储可用代理IP
    :param ip: IP地址
    :param port: 端口号
    :param protocol: 协议类型
    :return: None
    """
    with open('proxies.txt', 'a+', encoding='utf-8') as f:
        f.write('{}://{}:{}\n'.format(protocol, ip, port))


def main():
    for page in range(1, 11):  # 获取前10页的代理IP
        url = 'https://www.zdaye.com/nn/{}'.format(page)
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                          'Chrome/89.0.4389.82 Safari/537.36'
        }
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            html = response.text
            proxy_list = html.split('\n')
            for proxy in proxy_list:
                if proxy:
                    ip = proxy.split(':')[0]
                    port = proxy.split(':')[1]
                    if check_proxy(proxy):
                        save_proxy(ip, port)


if __name__ == '__main__':
    main()
    print('Done!')

上述代码使用了requests库来请求代理IP网站，获取到代理IP后进行有效性检测，并将可用的代理IP存储到本地文件中。

四、如何应用代理IP

在爬虫程序中使用代理IP，可以使用requests库提供的proxies参数，示例代码如下：

import requests


def get_page(url, proxy):
    """
    使用代理IP请求网页
    :param url: 网页url
    :param proxy: 代理IP
    :return: 网页内容
    """
    proxies = {
        'http': proxy,
        'https': proxy,
    }
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/89.0.4389.82 Safari/537.36'
    }
    try:
        response = requests.get(url, headers=headers, proxies=proxies, timeout=10)
        if response.status_code == 200:
            return response.text
        else:
            return None
    except:
        return None


def main():
    url = 'https://www.baidu.com/'
    proxy = 'http://121.69.46.218:9000'
    page = get_page(url, proxy)
    print(page)


if __name__ == '__main__':
    main()

上述代码使用了requests库提供的proxies参数，将代理IP传入访问请求中，从而实现了使用代理IP请求网页的功能。

五、如何进行访问控制

在使用代理IP进行访问时，我们需要进行访问控制，以确保程序的正常运行。具体来说，我们可以通过以下方式进行访问控制：

1. 控制请求频率：通过设置时间间隔、请求次数等方式，控制爬虫的访问速度，避免给网站带来过大的压力。
2. 轮流使用代理IP：通过存储多个可用的代理IP，并轮流使用它们，以分散访问压力。
3. 随机使用代理IP：从可用代理IP池中随机选择一个进行使用，增加反爬虫的难度。

下面是一个Python代码示例，可以实现访问控制并轮流使用代理IP：

import requests
import time


def get_proxy():
    """
    从代理IP池中取出一个代理IP
    :return: 代理IP
    """
    proxy_list = []
    with open('proxies.txt', 'r', encoding='utf-8') as f:
        for line in f:
            proxy = line.strip()
            proxy_list.append(proxy)
    return proxy_list[0]


def check_proxy(proxy):
    """
    检测代理IP的有效性
    :param proxy: 代理IP
    :return: True or False
    """
    proxies = {
        'http': proxy,
        'https': proxy,
    }
    try:
        response = requests.get('https://www.baidu.com/', proxies=proxies, timeout=5)
        if response.status_code == 200:
            return True
        else:
            return False
    except:
        return False


def save_proxy(ip, port, protocol='http'):
    """
    存储可用代理IP
    :param ip: IP地址
    :param port: 端口号
    :param protocol: 协议类型
    :return: None
    """
    with open('proxies.txt', 'a+', encoding='utf-8') as f:
        f.write('{}://{}:{}\n'.format(protocol, ip, port))


def rotate_proxy():
    """
    从代理IP池中轮流取出一个代理IP
    :return: 代理IP
    """
    proxy_list = []
    with open('proxies.txt', 'r', encoding='utf-8') as f:
        for line in f:
            proxy = line.strip()
            proxy_list.append(proxy)
    while True:
        for proxy in proxy_list:
            yield proxy


def main():
    proxy_generator = rotate_proxy()
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/89.0.4389.82 Safari/537.36'
    }
    for i in range(10):  # 控制访问次数
        proxy = next(proxy_generator)
        while not check_proxy(proxy):  # 检测代理IP是否可用
            proxy = next(proxy_generator)
        try:
            url = 'https://www.baidu.com/'
            response = requests.get(url, headers=headers, proxies={'http': proxy, 'https': proxy}, timeout=10)
            if response.status_code == 200:
                print(response.text)
        except:
            pass
        time.sleep(1)  # 控制请求间隔


if __name__ == '__main__':
    main()
    print('Done!')

上述代码使用了生成器和yield语句实现了轮流取出可用代理IP的功能，并增加了时间间隔控制，确保爬虫程序不会过于频繁地请求。同时，代码也实现了对代理IP的有效性检测，确保使用的代理IP都是可用的。

六、总结

本文主要介绍了如何在爬虫程序中使用代理IP进行反爬虫机制的应对，以及如何进行访问控制，保障程序的正常运行。实现代理IP使用和访问控制需要理解网络爬虫的原理和反爬虫机制，同时应当遵守网站的访问规则，以确保不会对网站造成过大的负担。