以前我们讲过,爬虫程序工作基本上是离不开HTTP代理的,但是很多时候,我即使用上了代理,爬虫的工作情况仍不尽如人意,这是为什么呢?
一、提高HTTP代理质量。
不少朋友在选择HTTP代理时,一味地节省成本,往往会选择免费代理或者廉价代理,这样不仅IP质量得不到保障,爬虫无法正常运作不说,还耽误时间,严重影响工作效率,带来很多负面的作用。
二、优化爬虫代码,减少BUG。
很多网站,为了应对各种爬虫采集,经常会更新升级反爬策略,那么我们也要相对应的去经常优化升级爬虫代码,这样才能更多的减少各种BUG,让爬虫工作更好的进行。
三、其他方面的可能原因。
除了上面的两点原因,还有可能存在程序不稳定,服务器不稳定,本地网络不稳定,等等情况,但是较上面的两点原因而言,发生的概率比较小,但是也不能完全排除这些问题发生的可能性。
以上的三点针对很多朋友提出的爬虫程序为啥使用了HTTP代理仍然无法正常工作这个问题进行了一些解答,当然,这些也只是我个人的一些经研所谈,有其他不同见解的朋友也可以畅所欲言,让我们一起学习,共同进步。
标签:HTTP,为啥,程序,爬虫,代理,工作 From: https://www.cnblogs.com/huakexiaopeng/p/16831722.html