首先精心选择一些URL，把这些精心选择的URL放入URL队列中，从对列中捉取代取的URL读取URL之后开始解析DNS，把这些URL下载下来放入网页库中。
基本流程就是：发送请求－获取响应内容－解析内容－保存数据。
从网络爬虫的角度可以把互联网分为五种
１；已下载未过期网页
２；已下载过期网页
３；待下载网页
４；可知网页
５；不可知网页
网页抓取的基本原理
常见的叫法是网页抓屏，数据挖掘，网络收割，
其理论上网页抓取是一种经过由多种方法手机网络的数据方式，不仅是有与API交互的方式。
最常用的方法是确定抓取URL书费你随路的存储格式，写一个自动化程序向网络服务器请求数据，而后对数据进行解析，汲取需要的信息并存入数据库。
标签：网页,抓取,URL,基本原理,爬虫,网络,初识,下载 From： https://www.cnblogs.com/jiajia521/p/17680739.html