首页 > 其他分享 >mitmproxy 抓包神器-1.环境准备与抓取浏览器请求

mitmproxy 抓包神器-1.环境准备与抓取浏览器请求

时间:2022-12-15 13:22:19浏览次数:64  
标签:浏览器 请求 mitmweb 抓取 mitmproxy https 安装 抓包

前言

常见的抓包工具有fiddler 和 charles, 这些工具都是需要安装本地客户端,python 版的抓包工具可以用 mitmproxy。
mitmproxy 相比Charles、fiddler的优点在于,它可以命令行方式或脚本的方式进行mock

简介

mitmproxy(man-in-the-middle attack proxy),中间人攻击工具,可以用来拦截、修改、保存 HTTP/HTTPS 请求

mitmproxy 工具有以下三个组件构成

  • mitmproxy 是具有 SSL/TLS 功能的交互式拦截侦听代理,具有用于HTTP/1,HTTP/2和WebSockets的控制台界面。
  • mitmweb 是用于 mitmproxy 的基于 Web 的界面, 提供一个可视化界面帮助我们查看抓取的请求,可以修改返回内容。
  • mitmdump 它是mitmproxy的命令行接口,利用它我们可以对接Python脚本,用Python实现监听后的处理。

安装

Windows安装

pip install mitmproxy

或者可以下载release文件,解压安装, 链接地址:https://github.com/mitmproxy/mitmproxy/releases/tag/v1.0.2

Mac安装

brew install mitmproxy

或者跟windows 一样用pip安装

pip install mitmproxy

python 版本我用的 3.9.13 , 版本太低可能会出现不兼容问题。

安装完成后检查版本

mitmproxy --version

python 3.9 版本会安装 Mitmproxy: 9.x 版本

(venv) D:\demo\mitmproxy_xuexi>mitmproxy --version
Mitmproxy: 9.0.1
Python:    3.9.13
OpenSSL:   OpenSSL 3.0.7 1 Nov 2022
Platform:  Windows-10-10.0.17134-SP0

安装完成后会得到3个命令行工具:mitmproxy/ mitmweb/ mitmdump

mitmweb 基于 Web 的界面

先看第一个基于 Web 的界面命令行工具 mitmweb 的使用, 命令行启动服务

mitmweb

执行命令行后会看到启动成功

(venv) D:\demo\mitmproxy_xuexi>mitmweb
[11:59:49.361] HTTP(S) proxy listening at *:8080.
[11:59:49.363] Web server listening at http://127.0.0.1:8081/

mitmproxy 默认监听的端口是 8080 端口(fiddler 默认监听的是8888),可以加 -p 参数指定监听端口

(venv) D:\demo\mitmproxy_xuexi>mitmweb -p 8099
[12:02:44.095] HTTP(S) proxy listening at *:8099.
[12:02:44.097] Web server listening at http://127.0.0.1:8081/

浏览器默认端口的地址是http://127.0.0.1:8081/,显示如下

抓浏览器请求

mitmproxy 默认监听的端口是 8080 端口, 所以需要在浏览器上设置代理


开启代理,设置监听8080端口,点保存按钮
uploading-image-402335.png

接下来浏览器访问一个http的请求,就可以捕获到了

打开百度https://www.baidu.com 页面是 https 请求,默认不会抓取

抓取https 请求

当打开一个https 请求时,页面上出现"您的连接不是私密连接"

mitmproxy 默认只抓取http的请求,https 的请求需要安装证书。

开启代理后访问地址http://mitm.it/, 出现如下页面说明访问成功

如果出现的是下面这个页面, 说明服务没启动,或者没设置代理。

根据自己的电脑系统下载对应的证书,我的是windows系统,下载的文件是mitmproxy-ca-cert.p12

接下来,点对应系统证书文件右侧按钮,显示安装说明

windows 系统安装说明:

  • 1.双击下载的文件,开始导入证书

  • 2.选择一个证书文件存储位置(本地计算机),然后下一步

  • 3.输入密码界面,直接留空白,下一步

  • 4.选择“将所有证书放置在以下存储”,然后单击“浏览”,然后选择“受信任的根证书颁发机构”。下一步

  • 5.点完菜

  • 6.导入成功点确定

以上证书安装完成后,重新访问百度页面就可以抓包成功了

那就意味着浏览器上的所有https 请求都可以抓到了

标签:浏览器,请求,mitmweb,抓取,mitmproxy,https,安装,抓包
From: https://www.cnblogs.com/yoyoketang/p/16984669.html

相关文章

  • fiddler抓包CS客户端
    步骤1:配置好fiddler作为代理服务器的端口号,允许https代理  步骤2:1)proxifier允许启用http代理服务器         2)CS客户端添加代理服务器的IP地址及......
  • Chrome开发者工具抓取重定向页面之前的数据包
    如果一个POST请求处理完成会重定向到另外一个页面,相当于进行了刷新页面操作,原来的POST请求请求信息在​​Network​​这个Tab就看不到了,显示的都是重定向页面的相关HTTP请求......
  • 【小说网站 - 抓取登陆后的数据,cookie操作】
    今天搞一个小说网站,搞到一些只能登陆后才能获得的信息,比如这个网站,搞到某个用户下的所有书架信息。先登录上面是一个表单,一般都是post了一些数据到某个地址,于是我们可以通......
  • 功能测试中数据库与抓包工具的作用
    功能测试中数据库与抓包工具的作用1:数据库的应用场景验证数据的准确性和完整性借助数据库尽情缺陷定位借助数据库构造测试场景(需要特定的测试数据)借助数据库备份与更新2......
  • whistle抓包笔记
    启动w2start//启动w2start-p8000//指定端口号 停止运行whistlew2stop ......
  • 使用网络爬虫自动抓取图书信息
    网络爬虫是一种从互联网上进行开放数据采集的重要手段。本案例通过使用Python的相关模块,开发一个简单的爬虫。实现从某图书网站自动下载感兴趣的图书信息的功能。主要实现的......
  • ogg启动抓取进程时报错OGG-01044
    问题描述:ogg启动抓取进程时报错OGG-01044,如下所示:源端:oracle10.2.0.464位异常重现:GGSCI(leo-10g-ogg)4>startextaSendingSTARTrequesttoMANAGER...EXTRACTEXTA......
  • 在oracle 10.2.0.4上搭建ogg添加抓取进程时报错OGG-01756、ORA-00942
    问题描述:在oracle10.2.0.4上搭建ogg添加抓取进程时报错OGG-01756、ORA-00942,如下所示:系统:oel5.1164位ogg软件包:fbo_ggs_Linux_x64_ora10g_64bit.tarGGSCI(leo-10g-ogg)......
  • mitmproxy抓包工具
    中文官网https://ptorch.com/docs/10/mitmproxy-concepts-options之前写过一篇博客介绍fiddler的https://www.cnblogs.com/zichliang/p/16067941.html今天来说说mitmp......
  • 四大网络抓包神器,总有一款适合你~
        四大网络抓包神器,总有一款适合你~发布于2019-09-1616:03:32阅读 61.6K0 一、概述无论是开发还是测试,在工作中经常会遇到需要抓包的时候。本篇......