很多爬虫因为IP被限制访问而购买了代理IP,然而再次使用一会儿还是被限制访问,这又是为什么呢?爬虫使用代理IP主要能帮我们解决什么问题呢?
众所周知,每个网站都有其独特的反爬策略,最基础的有请求频率,请求次数等策略,如果不使用代理IP的话,客户端IP很快就会被目标网站限制访问。但如果购买了代理IP使用,依然被限制访问是什么原因呢?
很简单,抛去代理IP质量的原因外,最可能的原因是被目标网站的其他反爬策略限制了,比如user-agent、referer、cookies等一些策略,如果没有针对这些策略做出相应的反反爬策略,哪怕使用质量再高的代理IP,依然会被受到请求限制。
很多人会有疑问,如果购买了代理IP不能解决请求限制的问题,那么购买代理IP做什么,代理IP又能做什么呢?实际上,代理IP只是解决可持续工作的问题。如果只有一个IP,因为请求频率和次数的原因,很快就会被限制请求,爬虫工作就无法继续进行;如果有了代理IP,就可以不停的切换代理IP,来持续稳定的进行工作。
以上就是关于代理IP在爬虫工作中能解决什么问题的说明,希望对大家有所帮助。
标签:限制,请求,IP,爬虫,代理,策略 From: https://blog.51cto.com/zdaye/6469698