小白学网络爬虫需要注意什么？

做数据抓取的，那第一步离不开的肯定是爬虫。那话又说回来了，网络爬虫术语好像好像很高大上，其实不外乎写一个http请求，然后到互联网去抓取感兴趣的数据。方式不外乎两种：一种是带有目的爬，然后抓取自己想要的数据，我写的蜘蛛基本上属于这种，这种蜘蛛也比较呆直萌。而另一种就高大尚一点，基于搜索索引分类的蜘蛛，这种爬行永无终点，对于互联网的一切数据都感兴趣。简直就是互联网的搬运工。不理有没有用，先采回来再说。基于我的道行和读者的接受程度，我们只能简单的举第一种的例子，基于目的的采集。下文可以看看我对爬虫的一些理解案例供大家一起参考学习。

如何用C#写一个爬虫

爬虫，必须得有自己的内核，内核是啥？一个强悍的http访问组件，所幸的是微软早已帮我们准备了一个强悍的Net访问组件HttpWebRequest。有朋友会说，那不是很简单么，随便百度一下就知道怎么去写了，呃...

那我们就百度一下

HttpWebRequest req = (HttpWebRequest)HttpWebRequest.Create("http://www.cnblogs.com");
using (WebResponse wr = req.GetResponse())
{
    var stream = wr.GetResponseStream();
    using (System.IO.StreamReader sr = new System.IO.StreamReader(stream, Encoding.UTF8))
    {
        var html = sr.ReadToEnd();
    }
}

如无意外，通过以上代码我们可以获取到博客园首页的html源码，代码简单易懂，如果爬虫就只获取一段html代码，那好像也没什么可说的。但我们说过，我们的爬虫是基于一定目的去采集数据的。所以只能获取一段html代码并不能满足我们的需求。或者说，我们如果只有能获取某个网站的首页，估计用处不大。那我们应该怎么去获取我们想要的页面呢？这只是一个简单的http GET方法，如果遇到POST怎么办？如果遇到windows身份认证？如果要记录Cookie怎么办？假如目标网站防采集...问题会源源不断的产生。当然只要花上一定时间，所有的问题都能在谷哥度娘找到答案，但是如何能省去一些碰壁的时间呢？这就是我这篇文章重点介绍的地方。

你必须知道的http头

如果我们要讲http协议，估计讲个几小时也讲不完，当然他也很简单，但记住几个重点，我们便可以应付80%以上的可能。工欲善其事，必先利其器。我们得找一个工具获取http头，不然讲这个有点抽象。这个市面上所有的浏览器几乎都有这样工具，一般打开浏览器按F12就可以看到，如果按F12没反应！呃...百度一下“Firebug”

那我们看看上面代码实际产生的http头，我用的是Chrome浏览器，如果你用其他浏览器产生的结果不一样属正常现象

Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8

Accept-Encoding:gzip, deflate, sdch

Accept-Language:zh-CN,zh;q=0.8

Connection:keep-alive

Host:www.cnblogs.com

User-Agent:Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.113 Safari/537.36

Accept 表明要接受的类型，一般默认为text/html

Accept-Encoding 表示接收解码格式，如果对方开启了gzip则便使用gzip格式进行解码

Accept-Language 接收语言，这对于多语言网站才有用

Connection:keep-alive 长连接，基本上从Http 1.1开始就默认开启

Host 这没什么可说的，域名

如果想知道HttpWebRequest的Http头，只需要

req.Headers.ToString()

那如何跟Chrome浏览器的http头一样呢？

只需修改上面的代码

HttpWebRequest req = (HttpWebRequest)HttpWebRequest.Create("http://www.baidu.com");
req.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8";
req.Headers.Add("Accept-Encoding", "gzip, deflate, sdch");
req.Headers.Add("Accept-Language", "zh-CN,zh;q=0.8");
req.UserAgent = "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.113 Safari/537.36";
using (WebResponse wr = req.GetResponse())
{
    var stream = wr.GetResponseStream();
    using (System.IO.StreamReader sr = new System.IO.StreamReader(stream, Encoding.UTF8))
    {
        var html = sr.ReadToEnd();
    }
}

然后toString()看看http头

Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
Accept-Encoding: gzip, deflate, sdch
Accept-Language: zh-CN,zh;q=0.8
User-Agent: Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.113 Safari/537.36
Host: www.baidu.com
Connection: Keep-Alive

顺序可能不一致，但不影响使用。

那为啥要跟Chrome一致？其实很多情况下，我们不需要动http头，但世界总是没有这么便宜的事，人家辛辛苦苦维护的网站就被你几行代码爬走了，所以作为站长，怎么也得预防一些居心不良的爬虫采集自己的数据，所以有矛就有盾。至于怎么防采集就不属于这篇文章的范畴了，我们要讲的是如何写好一个爬虫，一个让所有站长惊悚，厌恶的爬虫。

到此为止，我们只讲了简单的get，那如果要实现登录了？我要采集登录后是数据了？还有获取到html源码，我怎么抽离想要的数据等等，这些可能都是写爬虫的核心问题。因为基于篇幅考虑，我不想大范围的解答以上问题，很多百度都可以找到。