听说你的爬虫被封了？

前言

当我们使用爬虫程序时，有可能会遇到因为大量访问网站而被网站封锁IP的情况。这时，我们可以使用代理IP来解决这个问题。下面将详细介绍如何使用代理IP来避免被封IP的情况，并附上代码实例。

一、为什么会被封IP？

在访问网站时，网站会记录我们的IP地址，如果我们的访问频率过高或者访问方式不符合网站的规则，网站可能会把我们的IP地址加入黑名单，导致无法正常访问。

二、代理IP是什么？

代理IP是一种通过第三方IP地址来访问目标服务器的方法。使用代理IP可以隐藏我们真实的IP地址，使网站无法识别我们的真实身份，从而达到避免被封IP的目的。

三、代理IP的分类

1. 公共代理IP

公共代理IP是指由第三方提供的免费代理IP。由于免费，所以公共代理IP的质量和稳定性都不太可靠。

2. 私人代理IP

私人代理IP是指我们自己购买或者租用的代理IP，由于是付费的，所以私人代理IP的质量和稳定性会比较高。

四、使用代理IP的方法

1. 使用第三方库

使用第三方库可以方便的实现代理IP的功能，常用的有requests、urllib等库。

例如，使用requests库实现代理IP的代码如下：

import requests

proxies = {
    'http':'http://your_proxy_ip:your_proxy_port',
    'https':'http://your_proxy_ip:your_proxy_port'
}
url = 'https://www.example.com'

response = requests.get(url, proxies=proxies)
print(response.text)

2. 手动设置代理IP

手动设置代理IP的方法比较麻烦，但是可以更加灵活地控制代理IP的使用。

例如，使用urllib库手动设置代理IP的代码如下：

from urllib.request import ProxyHandler, build_opener

proxy = 'http://your_proxy_ip:your_proxy_port'
proxy_handler = ProxyHandler({'http': proxy, 'https': proxy})
opener = build_opener(proxy_handler)
response = opener.open('https://www.example.com')
print(response.read())

如果想要随机使用代理IP，可以将代理IP存储在一个列表中，然后使用random模块随机选择一个代理IP使用。

五、常见问题及解决方法

1. 代理IP不稳定

代理IP的质量和稳定性是影响爬虫效果的重要因素，所以我们需要选择好质量和稳定性都比较高的代理IP，或者使用多个代理IP进行轮流访问。

2. 代理IP被封

使用代理IP的目的是避免被封IP，但是如果使用的代理IP被网站封锁了，那么我们还是无法正常访问网站。如果遇到这种情况，可以更换代理IP或者更换爬虫的访问方式。

六、代码实例

下面通过一个简单的实例来演示如何使用代理IP避免被封IP的情况。

import random
import requests
from bs4 import BeautifulSoup

# 代理IP列表
proxy_list = [
    'http://ip:port',
         'http://ip:port',
        'http://ip:port',
          'http://ip:port',
           'http://ip:port',
           'http://ip:port',
           'http://ip:port',
  
]

# 随机选择一个代理IP
proxy = {'http': random.choice(proxy_list)}

url = 'https://www.example.com'

# 使用代理IP访问网站
response = requests.get(url, proxies=proxy)
html = response.text

# 解析网页内容
soup = BeautifulSoup(html, 'html.parser')
title = soup.title.string

print(title)

在上面的代码中，我们定义了一个包含多个代理IP的列表proxy_list，然后使用random模块随机选择一个代理IP进行访问。最后使用BeautifulSoup解析网页内容，并输出网页标题。

总结

由于免费代理IP的稳定性不太可靠，所以可能会出现访问失败的情况。如果遇到这种情况，可以尝试更换代理IP或者增加访问间隔时间，或者使用付费代理，以便提高ip的可用性和我们爬虫的效率。