APP爬取
一、Fiddler安装
参考博客:https://zhuanlan.zhihu.com/p/347235743
1,分别下载最新版本的fiddler和mumu模拟器。
2,启动 fiddler Tools -> Options -> Connections 勾选 allow remote computers to connect (允许远程计算机连接) 重启程序,切记,一定要重启
3,查看IP,因为我有多个虚拟网卡,所以需要ipconfig /all查看真实IP
4,启动mumu模拟器,设置代理
5,保存就可以操作了。
二、Charles安装
参考博客:https://blog.csdn.net/weixin_38819889/article/details/109062587
1,分别下载最新版本的Charles和mumu模拟器。
2,点击 Help -----> SSL Prxoying -----> Install Charles Root Certificte
3,点击安装证书
4,点击本机计算机
5,选择 受信任 的根证书颁发机构
6,完成
7,模拟器里安装证书
模拟器里面的浏览器输入地址:chls.pro/ssl
8,下载完证书后的安装,证书名称可以随便写,自己认识就行,然后点击 保存。
9,测试
三、mitmproxy安装
参考博客:https://www.cnblogs.com/lsdb/p/10106655.html
1,安装mitmproxy
pip install mitmproxy
2,安装证书
完成之后在用户家目录下的.mitmproxy文件夹下即会生成证书,传到手机点击安装即可。
mitmproxy-ca.p12----PKCS12格式证书私钥
mitmproxy-ca.pem----PEM格式证书私钥
mitmproxy-ca-cert.cer----PEM格式证书,与mitmproxy-ca-cert.pem相同只是改变了后辍,适用于部分Android
mitmproxy-ca-cert.p12----PKCS12格式证书,适用于Windows
mitmproxy-ca-cert.pem----PEM格式证书,适用于大多数非Windows平台
mitmproxy-dhparam.pem----PEM格式秘钥文件,用于增强SSL安全性
Windows安装证书:双击mitmproxy-ca-cert.p12----全部默认直接点“下一步”直到安装完成。
Android安装证书:把mitmproxy-ca-cert.cer通过共享文件上传到模拟器,点击使用证书安装器安装证书
四、Appium安装
参考文档:《Python3网络爬虫开发实战》1.7.3
参考博客:https://baijiahao.baidu.com/s?id=1662021502495073716&wfr=spider&for=pc
1,安装Node.js
首先需要安装 Node.js ,具体的安装方式可以参考https://www.runoob.com/nodejs/nodejs-install-setup.html ,安装完成之后就可以使用 npm 命令了
2,使用 npm 命令全局安装 Appium
npm install -g appium
3, JDK 安装
参考文档:https://www.cnblogs.com/zll-wyf/p/15095664.html
4, Android 开发环境配置
参考文档:https://www.runoob.com/android/android-studio-install.html
Android Studio集成了Android SDK,不用安装和配置了
5,安装Appium Desktop
下载路由:https://github.com/appium/appium-desktop/releases?page=3
6,安装完成后,启动Appium,host和port默认的即可,然后设置Android SDk和Java JDK,然后点下边那个保存并重启的按钮
7,然后点第一个Start Server按钮,将会看到
8,连接模拟器
打开开发者模式(点击关于平板电脑中的版本号),开启USB调试
9,连接模拟器
测试是否连接成功,可执行命令adb devices
注意:有些模拟器或者真机在Windows系统下可能直接执行 adb devices 时并不能直接连接成功,这时就需要使用命令 adb connect 127.0.0.1:port 来连接。port根据使用的模拟器来填写。例如:
1、MuMu: 7555
2、夜神: 62001
3、海马:53001
4、逍遥:21503
5、天天:6555
6、雷电、genymotion、谷歌原生:5555
10,配置Desired Capabilities
{
"platformName": "Android",
"platformVersion": "6.0.1",
"deviceName ": "MuMu",
"appPackage": "com.mumu.store",
"appActivity": ".MainActivity"
}
platformName :声明是ios还是Android系统
platformVersion: Android内核版本号,可通过命令adb shell getprop ro.build.version.release查看
deviceName :连接的设备名称,通过命令adb devices -l中model查看
appPackage:apk的包名
appActivity:apk的launcherActivity,通过命令adb shell dumpsys activity | findstr “mResume”查看(需先打开手机应用)
注意:Android 8.1之前应使用adb shell dumpsys activity | findstr “mFocus”
其他
1.使用cmd命令查看端口号占用情况,例如查看端口 8014,可以看出进程号为10728;
netstat -ano | findstr 端口号
2.使用命令关闭
命令:
taskkill -PID 进程号 -F
标签:mitmproxy,证书,com,APP,爬取,Android,安装,模拟器
From: https://www.cnblogs.com/simpleness/p/17626085.html