对于这个问题,我觉得要看业务而定。我们都知道,独享HTTP代理池是一个人使用的IP池,纯净度极高,当然价格也更贵;共享HTTP代理池是很多用户同时在IP池里获取HTTP代理使用,价格相对独享HTTP代理池来说更便宜,纯净度没有那么高。那么,爬虫HTTP代理是选择独享还是共享呢?
不同的网站有不同的防护策略,有的比较严格,比如一个HTTP代理请求一次就不能再使用了;有的比较宽松,一个HTTP代理可以请求多次,反复请求。对于防护宽松的,并且测试共享可以用的,那么完全可以选择共享池,这样可以大大节约成本;对于比较严格的,建议直接使用独享池,稍微多花点钱,不仅节省时间,而且工作效率也高。
所以,在选择的时候,我们可以先测试共享HTTP代理池,综合评估业务成功率和工作效率,然后再测试独享HTTP代理池,综合对比下效率和价格,选择最适合我们自己使用的即可。
标签:www,HTTP,cnblogs,独享,代理,共享,com,huakexiaopeng From: https://www.cnblogs.com/huakexiaopeng/p/16824104.html