爬虫不使用HTTP代理会怎样

　　很多人知道爬虫工作需要HTTP代理的支持，但却不知道爬虫为什么要使用代理，不使用代理会怎样呢，今天我们一起来讨论下。

　　网络爬虫主要是一种通过代码模拟真实用户批量发送网络请求，批量获取数据的程序或者脚本。

　　爬虫在网络上进行数据抓取时，很多网站都有反爬机制，它是网站的一种防护策略，是网站管理员为了保障网站可持续稳定运行制定的一些列规则，比如最常见的访问频率规则、访问次数规则、防盗链规则等等，如果触发了这些规则，则会限制访问。

　　网络爬虫工作往往任务量较大，每天需要发送大量的请求，少则几万几十万，多则百万上千万，甚至过亿。如果不通过HTTP代理发送请求，客户端很快就会被限制访问，而客户端IP只有1个或几个，反爬机制会被瞬间触发，认为你一个IP为一个真人，普通的真人是不可能短时间内收集这么多数据，于是限制爬虫程序访问，便无法继续工作。

　　动态HTTP代理所能获得的IP千千万，用上之后，则可以保障爬虫工作的持续进行，一个IP受到访问限制，可以切换下一个继续请求，甚至还可以多线程进行爬虫工作，提高爬虫的工作效率。