记录一下如何抓一个网页:
做开发的经常会被问到怎么去抓别人的数据
那么抓数据可以分成 抓接口数据或网页数据
其实都是网络上的内容,有各自的特点
抓接口数据一般通过第三方软件代理http来看到请求实体
而抓网页内容通常我们会叫它爬虫…
那么爬虫是怎么回事呢?
抓取网页有效内容并自动归并处理。
怎么实现:
如何抓-
1、通过第三方框架如phantomjs,webcrawl等,selnium等这些工具各有自己不同的使命。用法也不相同,缺点要求伪造技术高,程序不易被目标站点识别为爬虫。优点:高效便捷,自动化处理
2、通过自己写浏览器插件的形式,由于插件可以与网页内容做交互,所以这里要有一些html 标签以及selector的基础,缺点:要写很多代码,还要弄懂怎么跟浏览器通信,优点不易被网站识别是爬虫,可控性强
3、无侵入式爬取,借用手机,电脑,模拟器自动化处理,实现模拟点按,并自动下载保存.
优点:不易被网站识别,自动化高,缺点:模拟点击的话需要会调用一些人工智能的库,用模拟器的webview的话要会一些移动端的编程经验。
如何取-
取内容的过程比较简单:用一个html组件读取html文本,然后分析如html-parsor
标签:插件,网页,爬虫,html,网页内容,数据 From: https://www.cnblogs.com/codetime/p/16651863.html