几行代码解决爬虫效果变差问题

现在的互联网大数据时代中，爬虫ip是网络爬虫不可缺少的一部分。大数据采集最简单直接有效的方法就是使用网络爬虫，不仅速度快，提高了业务率，而且还能更加有效率的采集到数据。网络爬虫都很清楚，如果使用本IP去采集大数据，是不可能完全任务的，所以就需要使用爬虫ip。

由于爬虫ip能让网络爬虫更有效率的采集数据业务，越来越多的人就自然选择了隧道转发的爬虫爬虫ip，许多爬虫用户使用爬虫ip都有一个错误的认知，新手爬虫用户一般都会认为使用了爬虫ip就能完全解决封IP ，反爬的行为。以为就快速无顾虑的去采集数据，这一点的观点完全是错误的，爬虫ip和本地IP其实是一样的，无论是爬虫ip还是本地IP访问的次数多了，自然也会被限制爬虫行为或者封IP。目标网站为了防止泄露数据，都会做一些反爬机制，如果触发了这些反爬机制，再多的IP也会被封。

爬虫用户在使用爬虫ip过程中，效果会越来越差，没有最开始使用爬虫ip的时候效果好，就会认为是爬虫ip质量下降了。其实每个网站都会统计IP访问次数，如果一个IP多次在短时间内访问了此网站，这个IP就会暂时被目标网站禁止访问。所以爬虫用户在使用爬虫ip的时候 一定要控制好访问频率，降低请求。这样控制好采集的节奏，长期下来才会稳定，同时也需要做好爬虫反爬优化策略。

如果要选择高质量爬虫ip商，尽量去选择一些做了业务独享模式管理的爬虫ip商，因为业务独享模式管理，是避免了相同业务爬虫用户使用同一个IP去采集数据，这样做了管理 避免了业务冲突，然后加上控制好访问频率和请求，这样才能长期稳定的采集到自己想要的数据。

// 要访问的目标页面
string targetUrl = "http://jshk.com.cn/mb";

// 爬虫ip服务器 
string proxyHost = "http://jshk.com.cn";
string proxyPort = "31111";

// 爬虫ip验证信息
string proxyUser = "username";
string proxyPass = "password";

// 设置爬虫ip服务器
WebProxy proxy = new WebProxy(string.Format("{0}:{1}", proxyHost, proxyPort), true);

ServicePointManager.Expect100Continue = false;
var request = WebRequest.Create(targetUrl) as HttpWebRequest;

request.AllowAutoRedirect = true;
request.KeepAlive = true;
request.Method    = "GET";
request.Proxy     = proxy;