网络基础及抓包方法汇总

标签：__ http 请求 url tcpdump 汇总网络 curl 方法

网络基础

常见网络模型与常见协议

常见网络协议

网络架构图

网络架构

互联网通讯协议架构

TCP / UDP

TCP：面向连接、错误重传、拥塞控制、适用于可靠性高的场景
UDP：不需要提前建立连接，实现简单，适用于实时性高的场景

Restful 软件架构风格

借助于 http 协议的基本请求方法代表资源的状态切换

get：获取资源
post：新增或更新资源
put：更新资源
delete：删除资源

RPC 协议

Remote Procedure Call，以本地调用的方式实现远程执行

Dubbo（阿里）
- java 上高性能 RPC 协议，Apache 开源项目，由阿里捐赠
- 底层应用层协议支持 dubbo 缺省 tcp 协议、http、hessian、thrift、grpc 等
- Dubbo 接口本质上也是属于 TCP/IP 技术栈
gRPC（Google）
- 高性能通用 RPC 框架，基于 Protocol Buffers（Google）
- PB 是一个语言中立、平台中立的数据序列化框架，谷歌开源项目
Thrift（Facebook）
- 与 gRPC 类似的多语言 RPC 框架，Apache 开源项目

协议分析工具

网络监听（偏向于网络层）
- TcpDump（命令行） + WireShark
代理 Proxy（代理应用层协议分析）
- Charles（全平台）、安全测试 burpsuite（全平台 java）
- mitmproxy（自动化测试 python）
- fiddelr（windows）、AnyProxy（全平台）
协议客户端工具（主动发起请求）
- curl（命令行）
- postman（Chrome 插件&客户端全平台）

网络监听

使用场景：用 tcpdump 抓包保存以后，使用 wireshark 界面工具分析。

tcpdump

$ sudo tcpdump -Al host www.baidu.com

参数
- -x 十六进制展示
- -w file 保存文件
表达式
- ip tcp 协议
- host 主机名
- port 80 端口号
- src（来源）& dst（目的地）过滤
- and or () 逻辑表达式

wireshark

官网

参考资料

三次握手

示例：请求百度后， TCP 连接建立过程

$ sudo tcpdump host www.baidu.com -w /tmp/tcpdump.log
# 需要输入电脑密码，开启新窗口发送请求
$ curl http://www.baidu.com
# 停止 tcpdump
# 启动 wireshark，点击文件夹图标，打开 tcpdump.log

三次握手与四次挥手

使用 chrome 开发者工具分析网络请求

Elements：抓取页面元素，做自动化测试经常使用
Console：控制台，可以在页面上与 JavaScript 交互
Sources：源代码面板，可以设置断点调试 JavaScript
Network：网络面板，用于 web 抓包，记录了每条网络操作的相关信息
Performance：录制页面性能数据
Memory：排查代码内存分配问题
Application：应用面板，使用资源面板检查加载的所有资源，包括 IndexedDB 与 Web SQL 数据库，本地和会话存储，cookie，应用程序缓存，图像，字体和样式表
Security：安全面板，用于调试混合内容、证书等问题
Lighthouse：用于提高网页质量，能够针对性能、可访问性、渐进式 Web 应用等进行审核

下图为 network 面板的功能注解。

curl 常见用法

# get
$ curl $url | jq
# post
$ curl -d '$body' $url
# proxy 代理网络请求
$ curl -x 'http://localhost:8080' $url

-H：消息头设置
-u：username:password 用户认证
-d：要发送的 post 数据，@file 表示来自于文件
--data-urlencode 'page_size=50'：对内容进行编码
-G：把 data 数据当成 get 请求的参数发送，常与 --data-urlencode 结合使用
-o：写文件，用于下载
-x：代理 http、socks5
-v：verbose 打印更详细的日志
-s：关闭一些提示输出

通过 jq 可以格式化 json 的输出内容，更加优雅。

Charles

过滤请求：Proxy - Recording Settings
弱网设置：Proxy - Throttle Settings
断点请求：Proxy - Breakpoint Settings
映射请求：Tools - Map Remote&Local
重写请求：Tools - Rewrite

mitmproxy

演示：当请求百度域名的时候，会自动打印信息。

import mitmproxy.http
from mitmproxy.tools.main import mitmdump

class Events:
    def request(self, flow: mitmproxy.http.HTTPFlow):
        """
            The full HTTP request has been read.
        """
        flow_url = flow.request.url
        if "baidu" in flow_url:
            # 还可以做其他操作，比如修改搜索词 等
            print(f"{'-'*10} 哈哈哈 {'-'*10}")

addons = [
    Events()
]


if __name__ == '__main__':
# 使用 debug 模式启动 mitmdump
# 端口需要使用字符串
mitmdump(['-p', '8080', '-s', __file__])

不仅可以代理请求，最重要的是可以自定义脚本进行二次开发，实现很多代理工具做不到的事情。

标签：__,http,请求,url,tcpdump,汇总,网络,curl,方法
From： https://www.cnblogs.com/abeelan/p/17191881.html