移动端爬虫介绍
爬虫除了 Web 网页,也可以抓取 App 的数据。
为什么要学习移动APP的爬虫?
-
公司需求
随机互联网的发展,数据不仅仅只是存在于PC端。移动端的数据在这几年的占比以及势头发展趋势呈现几何倍数的增长。对于做数据分析、用户画像、市场调研来说仅仅参考PC端的数据是远远不够的。
-
有时web难,反而APP的反爬措施更简单,甚至没有反爬
移动APP爬虫原理
App 中的页面要加载出来,首先需要获取数据,而这些数据一般是通过请求服务器的接口来获取的
由于 App 没有浏览器这种可以比较直观地看到后台请求的开发者工具,所以主要用一些抓包技术来抓取数据
移动端工具的安装
既然要爬取移动端爬虫,就需要移动端,我们可以采用真实手机也可以使用虚拟手机,在这我们使用虚拟手机。
网上有许多虚拟手机软件:夜神模拟器、雷电模拟器、网易MuMu模拟器、逍遥模拟器等等...可以选择的任意一种。
我们选择夜神模拟器演示
下载
夜神安卓模拟器-官网 https://www.yeshen.com/
安装
下一步 ==> 下一步 ==> 完成
无特殊注意点!可以修改安装目录