互联网的飞速发展使得人们获取数据的方式也实现了飞跃，如今的数据获取已经摆脱了过去陈旧的依靠人力的方式，通过网络爬虫获取互联网数据已经成为了目前主流的数据获取方式。
不过在爬虫技术发展的同时，网站服务器的反爬措施也在更新迭代，用户使用爬虫爬取数据时经常会遇到IP受限无法访问的问题，这又该如何解决呢?
1.User-Agent伪装和轮换：
User-Agent是浏览器类型的详细信息，不同浏览器的不同版本都有不同的User-Agent。我们可以在每次请求的时候提供不同的User-Agent，来绕过网站的反爬虫机制。还可以把很多的User-Agent放在一个列表中，这样就可以每次随机选取一个用于提交访问请求。目前网上有很多常用User-Agent可以进行参考。
2.降低抓取频率，设置访问时间间隔：
很多网站的反爬虫机制都设置了访问间隔时间，如果一个IP的访问次数，短时间内超过了指定的次数，就会被限制访问。因为爬虫抓取的速度远远要快于用户的正常访问速度，高频率的访问会对目标网站造成访问压力，所以我们在爬取数据的时候，可以把访问时间的间隔设置的长一点，比如设置为随机数，这样既可以防止IP被封，又可以降低目标网站的访问压力。
3.使用爬虫代理IP
网站的反爬机制会检查来访的IP地址，为了防止IP被封，这时就可以使用爬虫代理IP，比如这样的第三方代理来切换不同的IP爬取内容。HTTP代理简单来讲就是让代理服务器去帮我们获得网页内容，然后再转发回我们的电脑。代理服务器可以帮助我们伪装自身的IP，从而绕开服务器的反爬机制。神龙HTTP已向众多互联网知名企业提供服务，对提高爬虫的抓取效率提供帮助，支持API批量使用，支持多线程高并发使用。
标签：网站,IP,爬虫,Agent,访问,User,防止 From： https://blog.51cto.com/u_15890319/5929558