首页 > 其他分享 >22. 从零用Rust编写正反向代理,一个数据包的神奇HTTP历险记!

22. 从零用Rust编写正反向代理,一个数据包的神奇HTTP历险记!

时间:2024-01-17 17:05:35浏览次数:21  
标签:HTTP 22 emsp 导游 兄弟 加工场 数据包 我们

wmproxy

wmproxy已用Rust实现http/https代理, socks5代理, 反向代理, 静态文件服务器,四层TCP/UDP转发,内网穿透,后续将实现websocket代理等,会将实现过程分享出来,感兴趣的可以一起造个轮子

项目地址

国内: https://gitee.com/tickbh/wmproxy

github: https://github.com/tickbh/wmproxy

数据包的自白

我是一个小小的数据包,今天我将跟着大部步出发,去体验传说中的HTTP之旅,听前辈说那是一场精彩绝伦的出走之旅。

旅行准备

  首先,我先来到了出发地,他们在整理各项目数据,包括选择公交(HTTP1)还是自驾(HTTP2)或者询问是否有私家车(H2C),然后目的地是哪个房间(Path),是否防止旁边的人窥探(TLS),选择轻装上阵还是带上行李箱(GET或POST等),还有其它杂七杂八的事情(是否支持压缩,数据长度等)。

  我问:“导游,我们什么时候可以出发”。

  导游答:“别急,这躺路我熟的很,这次的数据有点重要,正在向对方获取加密信息,这是防止偷窥的秘诀。万一在中途被截走,那会使我们损失惨重。”

  过了一会,我又问:“现在可以出发了吗?”

  导游答:“可以了,我们通过交换已经将约定的加密信号确定下来了,让我先给你做个加工。”

  我就跟着导游来到了一个加工场,进入其中,任由它来操作,当我走出加工场的时候,我突然发现我的模样完全跟变了个人似的。我差点认不出我自己。

  我们就来到了公交站台(浏览器),他看到我们的到来,快速的帮我们排上了班次,紧接着,我们跟着车一直的往前走,我东看看西瞧瞧,我有看到像我一样乔装的自己都认不出来的,也看到了没有经过打扮的,都可以看的一清二楚,我猜那一定不怕别人窥探的吧(没用TLS)。

旅行中转

突然公交车停了下来,播报着:“欢迎来到wmproxy”。

  我有点疑惑的问导游:“我记得我们的目的地不是这里,为什么在这里停下来?”。

  身经百战的导游对我说:“看来我们的目的地被隐藏起来了,用来更好的保护目的地家园不被破坏,只有通过这里中转走专属的路线才能到达目的地。”

  接着我急着问:“那我们在这里要做啥吖?”

  导游回答:“接下来我们走的就是私人的领域了,我们路上看到的都是主人的朋友,并不会把我们的秘密泄漏出去,所以我们需要把我们身上打扮的乱七八糟的还原。”

  我就跟随着来到了加工场,加工场把我们身上乱七八糟的装扮通过特定的方法进行了还原(卸掉TLS转HTTP),走出加工场,我又看到帅气的自己。我问:“那么接下来我们做什么?”

  导游回答:“根据我们原来的信息,他现在要安排我们做私家车(HTTP2),好灵活地做响应,你看,那车已经来了,我们一起上车吧。”

  我们坐上了私家车,我发现我带的东西被切割成了奇奇怪怪的几个部分。我就问司机:“为什么原来我就一个整体,现在变成了奇怪的几个部分?”

  司机笑着回答:“在这车里,通常副驾驶上坐着Header,也就是你带着的那些属性全都组装在这里了,后排通常就是额外的数据包,当然你们数据包兄弟可能会很多,你看看你的手臂上,跟着相同导游的此刻都被挂上了红色的布。”

  我才发现,原来刚在加工场的时候还帮我和导游都做上了特殊的标记了吖,而且我还发现,每个人头上还顶着一个特殊的帽子。包括了颜色,还有一串特殊的数字。看起来附带了我身高体重(实际长度)这些信息。

旅行到达

私家车停在了一个漂亮的房间前面,我想这是旅程的目地吧。 此时我终于知道我这躺的任务了,原来我需要来这里获得一个重要的文件,这文件数据量还大的有点夸张,是我来时数据的上万倍(Content-Length)。

  这时候我有点慌乱的找到导游:“这要带的数据那么多,那么重要,我怎么样才能把他们安全的带回去吖。”

  导游这时候就说:“你还记得我们开始带的工具包列表(Accept-Encoding)吗?”

  我说:“记得记得,当时好像把名字记下来了,好像是说家里有真空机(gzip),压缩机(brotli)吧?”

  导游答:“对的对的,你看到那边的那座大山(gzip)吧,等下我们会带着数据兄弟们爬上那大山,到时候我们就可以瘦很多,那样子接下来我们动用的资源会小很多。”

  我们带着浩浩荡荡的数据大军去爬了山,我确实发现我们的个头都小了许多,但是我觉得这大军的数量远远没有一开始说的上万倍。

  我问:“这大军的数量不对吖,不会有兄弟们迷路了吧?”

  导游笑着回答:“这边的房子就这么大,如果把数据一下子从异次元全部召唤出来(文件中读取)那不直接把这小小的房子全部挤满了吖,看到上面那个指示牌了没有?”

  只见指示牌上面写着:“当前房间可容纳人数4096/4096”,此时前面有100个兄弟走出了房间就变成了,3996/4096,然后又看到异次元召唤出了新的100个兄弟。

  此时我晃然大悟:“原来这东西就是控制着不会膨胀的秘密吖(内存缓冲区已满)。”

旅行返程

当我们瘦完身后,就有一辆辆的小汽车来接我们回家了

  此时一辆辆汽车大军稳稳的向前行驶,突然间速度慢了下来,我就很好奇的问司机:“刚刚不是速度很快的吗,怎么到这个地方突然间速度就慢下来了吖?”

  司机指了指前面说:“前面是一段较窄的路,你看看两边的车流,如果全速全进的话,大家都会堵死在这段路上,所以你看上方,有个牌子100辆/分钟,也就是一分钟只能通过100辆,要不然就会挤到前面的窄路上,所以我们现在速度是慢了下来,但是我们这条线路还是可以每分钟可以通过100辆,也不算慢。”

  于是我就往两边看,两边的车也都是差不多的速度在通行,慢慢的我们来到了比较狭窄的路,确实这里无法通行通行太多的车(从内网转入公网,传输能力下降),我想:“高负载的情况下确实只能通过这种方式来限制,要不然此刻交通应该瘫痪掉了吧,大家越急着挤,越没法正常通行。”

  紧接着,我们又回到了中转站了,我突然很好奇的想着:“要是我们兄弟全部挤到中转站这里,他会不会直接被挤满了?”

  这时我听到导游说:“别发呆了,公交车来了,我们该出发了。”

  我顿时有点迷惑:“我们后面不是还有很多兄弟吗?不用等他们集合完再出发吗?”

  导游就笑着说:“如果全部集合在出发,那我们就得停下来等,然后启动的时候后面的兄弟又得等前面的走完才能走,这样子速度就慢了很多,这是其一。另外,你看这中转台上也容不下这么多的兄弟同时停留在这里,他根据我们帽子的颜色帮我们分好了公交车啦,上车!”(此时代理只处理了头部数据,body数据只做简单的转发)

  我突然想到我们现在来到了公共区域,我问导游:“我们是不是得保证我们的数据安全,现在我们都是属于公共区域了。”

  导游回过神来说,对对我们先去加工厂处理下,那个是我们的专属加工场。还好你提醒,要不然数据就不安全了。(TLS加密)

  我们从加工厂出来乘上公交车,一路平稳的来到了出发的站台(浏览器),这时候我们一个个从加厂场出来(TLS解密),我们的兄弟有点多,浏览器的站台有点放不下了,我就问:“我们不是到达了目的地了吗?他怎么不还来接我们到目的地?”

  导游笑着说:“此次我们带回来的信息量有点大,而且还是经过了瘦身的,我们等下去那个标gzip的房间进行处理,然后你看那边有个异次元空间(临时文件),我们先到那里下,好让后来的兄弟有地方住。”

  我跟着来到了异次元空间,里面是一个空旷,超大的空间,我们这么多兄弟秩序井然的排列在一起,直到最后一个兄弟到达,我们就看到了前面有一个出口,我就问:“从那个出口出去我们就完成任务了吗?”

  导游就回答:“从那个出口,不要乱,现在兄弟都到了,知道大家各自的位置,就不会乱套了,大家排队往前走,不要乱。”

  当我们一个个出来后,慢慢的把身子还原回来,我看着自己变成了一个巨大的人,很完整的,帅气的,我想我应该完成了这一项任务了吧。

此时浏览器播报,数据传输完成,完整无误,任务完成,进行展示。

结语

这是数据的一趟历险记,也是互联网上每天都在发生的,他快速稳定的传播,给我们构建了一个美好的世界。

点击 [关注][在看][点赞] 是对作者最大的支持

标签:HTTP,22,emsp,导游,兄弟,加工场,数据包,我们
From: https://blog.51cto.com/u_16321542/9294189

相关文章

  • nginx的https证书自动续期
    nginx的https证书自动续期本文讲述nginx的https证书如何自动续期。顺便讲述如何手动续期,如何方便地管理所有域名证书。有很多实现方案,包括收费方案和免费方案,本文采用的是acme.sh方案。1.安装acme客户端需要将系统环境切换到root用户下执行,否则安装证书时可能会失败......
  • 洛谷 P8426 [JOI Open 2022] 放学路(School Road)
    洛谷传送门LOJ传送门考虑整个图是一个点双怎么做。显然如果有重边并且两条边边权一样就寄了。否则我们可以把它们当成一条边。考虑一个二度点\(u\)和与它相连的边\((v,u),(u,w)\)。我们可以把它缩成边\((v,w)\)。如果新边已经存在并且边权不等于这两条边边权就寄了。......
  • Java HttpClient 实战 GET 与 POST 请求一网打尽
    使用JavaHttpClient进行HTTP请求在Java中,HttpClient是进行HTTP通信的一个强大工具。它提供了简单而灵活的API,可以轻松地发送HTTP请求并处理响应。在本篇博文中,我们将深入探讨如何使用HttpClient执行GET、POST等不同类型的HTTP请求。1.引入依赖首先,确保在项目的pom.xml文件中......
  • 跟踪HTTP请求的进度和状态
    在Web开发中,HTTP请求是常见的操作,无论是从服务器获取数据还是向服务器发送数据。然而,有时候我们需要跟踪这些请求的进度和状态,以确保数据的传输正常进行。以下是几种跟踪HTTP请求的进度和状态的方法。1.使用JavaScript当在浏览器中发起HTTP请求时,可以使用JavaScript来跟踪请求的进......
  • 解析HTTP响应的状态码和头部信息
    HTTP响应是客户端与服务器之间通信的重要部分。它包含了服务器对客户端请求的回应,以及与该响应相关的各种信息。在HTTP响应中,有两个关键部分:状态码和头部信息。状态码状态码是HTTP响应的第一部分,它是一个三位数字的代码,用于表示请求的处理结果。状态码提供了一种标准的方法来告诉客......
  • 使用Go语言编写HTTP代理服务器
    在Go语言中,编写一个HTTP代理服务器相对简单且直观。代理服务器的主要职责是接收客户端的请求,然后将请求转发到目标服务器,再将目标服务器的响应返回给客户端。下面是一个简单的示例,展示如何使用Go语言编写一个基本的HTTP代理服务器:go复制代码package mainimport ("io" "log" "......
  • 实现HTTP请求的重定向处理
    HTTP重定向是一种常见的Web技术,用于将用户从一个URL地址导向到另一个URL地址。重定向可以用于多种目的,例如网站重新设计、临时移动页面或处理URL重写。理解如何处理HTTP重定向对于Web开发者来说是至关重要的。以下是实现HTTP请求重定向处理的基本步骤:1.确定重定向需求首先,你需要明......
  • CCPC 2022 Guilin
    https://qoj.ac/contest/1303ALily直接做即可。BCodeWithNoForces考虑状压DP:\(f(S,T,R)\)表示对于每个人,时间是否达到要求的状态压缩为\(S\),空间是否达到要求的状态压缩为\(T\),运行结果是否达到要求的状态压缩为\(R\),转移直接枚举下一个跑的测试点即可。CArrayCo......
  • 文件上传超出了tomcat的限制大小:org.apache.tomcat.util.http.fileupload.impl.FileSi
    报错的原因springBoot项目自带的tomcat对上传的文件大小有默认的限制,SpringBoot官方文档中展示:每个文件的配置最大为1Mb,单次请求的文件的总数不能大于10Mb。解决方法SpringBoot2.0版本在【application】配置文件中加入如下代码:#maxFileSize单个数据大小spring.servlet......
  • P2216 [HAOI2007] 理想的正方形 题解
    题目链接:理想的正方形比较明显的,我们可以用二维ST表解决,具体的二维ST表的实现,只需要知道一点:对于\(st[i][j][t]=max(i\simi+2^t,j\simj+2^t)\),表示的是如图所示的大正方形范围内的最值,它可以拆成从四个小正方形的左端点走\(2^{t-1}\)长的小正方形组成,预处理完直接查......