首页 > 其他分享 >wget设置UA下载文件

wget设置UA下载文件

时间:2023-08-05 13:01:51浏览次数:36  
标签:cn mirrors tsinghua edu wget tuna UA 下载

背景

许多的HTTP\HTTPS站点提供的文件下载服务并不允许wget访问,或者大文件之类的禁止wget访问,例如限制iso之类的格式,或者特定路径。或者有一些资源并不允许空ref访问,例如下载某些页面的图片。限制wget下载iso估计是总有无聊的人浪费带宽下载测速吧。


方法

以清华大学开源软件镜像站为例,此站点就禁止iso后缀通过包含wget字样的UA下载访问。

wget https://mirrors.tuna.tsinghua.edu.cn/centos/test.iso
--2023-08-05 12:10:58--  https://mirrors.tuna.tsinghua.edu.cn/centos/test.iso
Resolving mirrors.tuna.tsinghua.edu.cn (mirrors.tuna.tsinghua.edu.cn)... 2402:f000:1:400::2, 101.6.15.130
Connecting to mirrors.tuna.tsinghua.edu.cn (mirrors.tuna.tsinghua.edu.cn)|2402:f000:1:400::2|:443... connected.
HTTP request sent, awaiting response... 403 Forbidden
2023-08-05 12:10:58 ERROR 403: Forbidden.
wget https://mirrors.tuna.tsinghua.edu.cn/centos/test.iso2
--2023-08-05 12:13:01--  https://mirrors.tuna.tsinghua.edu.cn/centos/test.iso2
Resolving mirrors.tuna.tsinghua.edu.cn (mirrors.tuna.tsinghua.edu.cn)... 2402:f000:1:400::2, 101.6.15.130
Connecting to mirrors.tuna.tsinghua.edu.cn (mirrors.tuna.tsinghua.edu.cn)|2402:f000:1:400::2|:443... connected.
HTTP request sent, awaiting response... 404 Not Found
2023-08-05 12:13:01 ERROR 404: Not Found.

任意构造了一个test.iso,一个test.iso2的路径,前者返回403,后者返回404。说明http配置上,前者iso后缀,不假思索,没有访问硬盘,就直接返回了403,而后者文件后缀不在判断列表,找不到文件返回404。

wget https://mirrors.tuna.tsinghua.edu.cn/centos/filelist.gz -O file
--2023-08-05 12:15:19--  https://mirrors.tuna.tsinghua.edu.cn/centos/filelist.gz
Resolving mirrors.tuna.tsinghua.edu.cn (mirrors.tuna.tsinghua.edu.cn)... 2402:f000:1:400::2, 101.6.15.130
Connecting to mirrors.tuna.tsinghua.edu.cn (mirrors.tuna.tsinghua.edu.cn)|2402:f000:1:400::2|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 7657131 (7.3M) [application/octet-stream]
Saving to: ‘file’

100%[======================================>] 7,657,131   7.55MB/s   in 1.0s

2023-08-05 12:15:20 (7.55 MB/s) - ‘file’ saved [7657131/7657131]

下载其他真实的文件,确定可用下载。

wget https://mirrors.tuna.tsinghua.edu.cn/centos/7/isos/x86_64/CentOS-7-x86_64-Minimal-2009.iso -U 'firefox' -O c7mini.iso

以这个方式,就能够正常的从清华大学开源软件镜像站下载到镜像文件。其实添加-U ‘’,发送空的UA信息,不输出wget字样就不会被拦截。

从这里也能想到,虽然访问静态资源,客户端表面上没有提供任何信息,实际上还是发送了UA之类的信息的,而http服务器也会以设定的方式去处理这些信息,例如仅仅是保存,或者特定的匹配处理。因此某漏洞只需要构造特定的UA,就可以让哪怕是看起来完全安全的静态http服务器nginx被通过网络远程提权root。

wget --user-agnet="UA" --referer="refuri" 路径 -O 保存文件名

通过上面的例子,就可以自定义UA与ref信息,下载具有ref访问限制的资源。

如果某些网址还需要特定的cookies,例如你通过电脑登录后可以下载,但是希望直接通过服务器下载?

--load-cookies=cookie文件

从电脑浏览器导出当前下载的cookies,服务器就可以通过wget直接下载,不需要本地下载再上传了。


标签:cn,mirrors,tsinghua,edu,wget,tuna,UA,下载
From: https://blog.51cto.com/infrado/6974938

相关文章

  • XD最新版下载和安装步骤 官方版特色
    2021AdobeXD软件是一款由Adobe系统公司开发的设计软件,这款软件不仅可以从设计模式切换到创建原型模式,而且还拥有创新重复网格工具。系统城为小伙伴们带来了详细的安装使用教程,有需要的小伙伴快来系统城下载免费的2022AdobeXD中文官方版软件使用吧软件地址:看置顶贴AdobeXD软件特......
  • XD2022软件下载 XD2022最新中文版下载 官方版特色
    adobexd2022官方介绍adobexd2022软件是用于设计网站和移动应用程序用户体验以及为其构建原型的端到端解决方案。通过一款功能强大的工具,轻松地在线框、视觉设计、交互设计、原型构建、预览和共享功能间进行切换。软件地址:看置顶贴图文安装教程1.解压下载好的安装压缩包。2.进入......
  • indesign软件下载_adobe indesign下载 官方版特色
    AdobeInDesign2023官方版是用于印刷和数字媒体的业界领先的版面和页面设计软件。利用顶级字体公司的印刷字体和各种图像,创作精美的平面设计。快速共享PDF中的内容和反馈。通过AdobeExperienceManager轻松管理制作。InDesign具备创建和发布书籍、数字杂志、电子书、海报和......
  • ID软件下载Adobe InDesign2023安装包+教程(全版本) 官方版特色
    InDesignCC2020中文版是一款适合页面设计时使用的专业高效的页面排版设计工具,InDesignCC2020中文版功能强劲,能够帮助用户快速完美地控制设计在印刷样式中的各个像素,InDesignCC2020软件操作非常简便,可让您建立精美且吸引人的成果,将其用于印刷或显示在画面中。软件地址:看置顶贴......
  • Adobe Dreamweaver 2022官方版_最新免费版下载安装 官方版特色
    AdobeDreamweaver2021亮点1.快速.灵活的编码借助简化的智能编码引擎,轻松创建.编码和管理动态网站。访问代码提示,用于快速理解和编辑HTML.CSS和其他Web标准。利用视觉辅助功能减少错误,提高网站开发速度。2.通过较少的步骤轻松设置网站使用起始模板更快地启动和运行您的网站,您可以通......
  • 数据质量管理工具预研——Griffin VS Deequ VS Great expectations VS Qualitis
    开源数据质量管理工具预研——GriffinVSDeequVSGreatexpectationsVSQualitis。概述 数据质量监控(DQC)是最近很火的一个话题,也是数据治理中最重要的一环。有一句话说得好。数据质量未必是数据治理中最重要的一部分,但是数据质量可能是让数据治理工作全部崩盘的第一步。所以......
  • 如何导出 Visual Studio Code 的扩展应用,并离线安装?
    如何导出VisualStudioCode的扩展应用,并离线安装?warrior210已于2022-08-0810:37:51修改2262收藏5文章标签:vscodeide编辑器版权1.离线情形VisualStudioCode的扩展应用安装位置在文件夹.vscode/extensions下。不同平台,它位于:Windows%USERPROFILE%\.vscode\exte......
  • 网页实现文件夹的上传和下载
    ​ 这里只写后端的代码,基本的思想就是,前端将文件分片,然后每次访问上传接口的时候,向后端传入参数:当前为第几块文件,和分片总数下面直接贴代码吧,一些难懂的我大部分都加上注释了:上传文件实体类:看得出来,实体类中已经有很多我们需要的功能了,还有实用的属性。如MD5秒传的信息。pub......
  • 计算机视觉研究院出品:深度学习入门基础全库(附链接下载)
    关注并星标从此不迷路计算机视觉研究院计算机视觉研究院专栏作者:Edison_G今天我们“计算机视觉研究院”主要分享深度学习入门的基础书籍集合!主要由来自不同城市的同学一起努力的成果,希望可以给到新入门或即将入门的同学一些帮助,一起学习,共同进步!背景目标检测是数字图像中某一类(......
  • STM32中SWD下载不进去的解决方法
    这是我第一次写自己的博客,希望以后写博客可以当做自己的个人习惯并坚持下去,作为技术分享,也欢迎各位大佬前来指正。本人本科学习的机械电子工程,了解机械制图、嵌入式编程、目前刚好学习了PCB制板,正在向着全栈工程师的目标进发(自嘲一波,各位见谅,哈哈)惨案现场以及经过第一次绘制PCB,......