我们都知道,爬虫工作想要效率全开,必须要高效的HTTP代理支持。但是很多人为了节省成本,会找一些不要钱的代理来使用。那么爬虫程序用了这些免费的HTTP代理到底会怎样呢?
1、浪费时间,浪费精力
免费HTTP都是网络上公开大众的代理,也就是说,所有人都可以用,既然你能想到免费,那么别人肯定也能想到,那么大家就一起用吧,能不能用先不说,各种带宽不足,频繁被识别,真的会然人头疼,就不说高不高匿吧,就这么反复折腾,结果不仅工作没完成,浪费了大把时间,人也跟着受罪。
2、网络卡爆,动弹不得
上面已经说了,免费HTTP均为共享,带宽肯定非常低,可用率更是低得惊人,打开个网页卡到爆炸,结果还被识别,一堆404。使用这样的免费代理,爬虫根本动弹不得,效率严重滞后。
3、稳定性差、断断续续
再说这免费代理的带宽,谁都可以用,简直“万人骑”。代理服务器的资源是有限的,很多人同时使用,意味着很多人在抢资源,抢到了就能用,没抢到就用不了,因此稳定性极差,用起来断断续续的,对需要持续稳定工作的爬虫来说很不友好。
所以说,免费HTTP代理根本不能用,爬虫工作本来就很讲究效率,用这些垃圾代理,不仅效率无法提升,更会严重影响工作进度,还是选择优质HTTP代理比较靠谱。
标签:HTTP,爬虫,带宽,代理会,代理,免费,效率 From: https://www.cnblogs.com/huakexiaopeng/p/16828136.html