进行抓取时为何要用HTTP代理

　　因为采集数据时，网站会设置一些反爬的策略，就是为了防止网络爬虫，有一个最主要的策略就是针对网络IP进行限制，爬虫数据用一个IP长时间反复快速收集数据，会被反爬程序识别为不正常用户，如果不使用HTTP代理切换的话，就会直接被系统封禁。

　　网上针对HTTP代理的套餐有很多，不少人在选择的时候，追求低成本，选择的HTTP代理套餐也是五花八门，但唯一的要求就是要便宜，能有多便宜就要有多便宜，以致于直接选择一般的透明代理也在所不惜。透明代理不同于高匿，安全性非常差，会直接泄露客户端的上网IP，并且告诉别人的发爬机制，你正在用HTTP代理访问，这样业务还能继续下去么？跟没用代理裸奔有什么区别？

　　高匿的HTTP代理一般为独享代理，支出成本也较透明代理要高不少，但其安全系数也较高，IP质量也相对比较好，但是在选择用哪种代理的时候，一定要针对业务需求进行选择。

　　比如，我们的业务需求是要有大量不同的IP，必须同时并发访问，那就必须要频繁的切换代理，并获取大量IP，这个时候IP质量并不占主导地位，如果选择最昂贵的高匿独享代理IP池，质量虽然是最好的，但是在量的需求上，达不到要求，那么我们就没有选择的必要了。

　　再比如，业务对IP质量要求非常高，那么就必须要高质量的独享HTTP代理，便宜货和免费的代理就更不用说了，根本不能用。