首页 > 系统相关 >Linux wget和curl进阶使用

Linux wget和curl进阶使用

时间:2023-10-27 11:56:59浏览次数:21  
标签:http 进阶 -- spider wget curl 下载 连通性

wget

下载单个文件

从网络中通过url下载单个文件到当前目录,这是wget最基础的用法。

wget url地址

说明:

  • 使用wget下载一个文件时候,如果没有指定下载的文件名是什么,那么默认会使用URL的最后一部分作为默认的文件名,如果知道下载的这个文件叫什么名字,可以用 -O(大写)参数来指定下载的文件名。

  • wget支持断点续传功能,如果一个大文件的下载被中断,你可以使用 wget 的 -c 参数来 继续从中断点开始下载

  • wget下载资源的时候,还可以通过 --header 选项来设置特定的HTTP头来获取资源

例如:

wget -O 1.doc  http://www.forthink.xyz:5000/sharing/OmbrfIbc4

http/https连通性检查

使用wget检查URL的连通性时,实际上是在进行两个层面的检查

  • 传输层(TCP): 首先检查是否可以建立到指定IP和端口的TCP连接。这实质上是检查传输层的连通性。

  • 应用层(HTTP/HTTPS): 一旦TCP连接建立,wget会发送HTTP请求(例如HEAD请求,当使用--spider选项时)到服务器,并等待响应。服务器的响应告诉你是否该URL在应用层上是可访问


检查http/https连通性的时候,通过wget --spider 选项告诉 wget 不要下载任何内容, 还可以使用 -S 参数 来查看服务器响应头。这样就可以通过响应头来检查http的连通性了。

wget --spider -S

例如:

wget  --spider -S   http://www.forthink.xyz:5000/sharing/OmbrfIbc4

说明:

如果检查某个http/https的url连通性时,需要指定端口的话,只需在URL中添加:[端口号]就行了。

wget --spider -S http://www.example.com:5000/

例如:

wget  --sipder -S http://192.168.0.104:80

标签:http,进阶,--,spider,wget,curl,下载,连通性
From: https://www.cnblogs.com/heyongshen/p/17791936.html

相关文章

  • python进阶知识体系md笔记14大体系200页,第2章:linux基础命令学习
    本文从14大模块展示了python高级用的应用。分别有Linux命令,多任务编程、网络编程、Http协议和静态Web编程、html+css、JavaScript、jQuery、MySql数据库的各种用法、python的闭包和装饰器、mini-web框架、正则表达式等相关文章的详细讲述。完整版笔记直接地址:请移步这里共14......
  • 如何在 CURL 命令行中配置代理服务器
    CURL是一个常用的命令行工具,用于在终端中发送和接收HTTP请求。有时候,我们需要通过代理服务器来访问互联网资源,这时候就需要在CURL命令行中设置代理。下面是如何在CURL命令行中使用代理服务器的步骤:1.指定代理服务器地址和端口号在CURL命令行中,使用-x或--proxy选项指......
  • 如何在 Wget 中使用 Command Line Arguments 设置代理
    在使用Wget这个命令行工具进行文件下载时,有时我们需要通过代理服务器来进行网络连接。Wget提供了一些命令行参数,可以让我们设置代理服务器的信息。下面是如何在Wget中使用CommandLineArguments设置代理的步骤。首先,我们需要打开终端或命令提示符窗口,并进入到Wget的安装......
  • 【Java 进阶篇】JavaScript 正则表达式(RegExp)详解
    JavaScript正则表达式,通常简写为RegExp,是一种强大的文本匹配工具,它允许你通过一种灵活的语法来查找和替换字符串中的文本。正则表达式在编程中用途广泛,不仅限于JavaScript,在许多编程语言中也都有类似的实现。什么是正则表达式正则表达式,简称正则或RegExp,是一个用于描述字符模式......
  • 【Java 进阶篇】JavaScript Math对象详解
    在JavaScript编程中,Math对象是一个非常有用的工具,用于执行各种数学运算。它提供了许多数学函数和常数,可以用于处理数字、执行几何运算、生成随机数等。在本篇博客中,我们将深入探讨JavaScript中Math对象的各种功能和用法。什么是Math对象?Math对象是JavaScript的内置对象之一,它不需要......
  • 【Java 进阶篇】JavaScript 中的全局对象和变量
    JavaScript是一门非常强大的编程语言,它提供了许多全局对象和变量,以便于在整个应用程序中共享数据和功能。本文将详细介绍JavaScript中的全局对象和变量,包括全局对象、全局变量、全局函数以及它们的用途和示例。全局对象JavaScript中有一些全局对象,它们在整个应用程序中都可用。......
  • Curl error (60): SSL peer certificate or SSH remote key was not OK for
    执行命令:生成yum缓存dnfmakecache错误如下:RockyLinux9-BaseOS0.0B/s|0B00:04Errorsduringdownloadingmetadataforrepository'baseos':-Curlerror(60):SSLpeercertificateorSSHremotekeywasnotOKforhttps://mirrors.rockylinux.org/mirrorl......
  • bilibili B站:[C语言进阶课]SDL库基础使用教程
    视频摘自:https://www.bilibili.com/video/BV14F411676X笔记摘自:https://gitee.com/yanmu_ym/cpp......
  • Linux下更新curl版本教程!
    在Linux下更新curl版本,您可以按照以下步骤进行操作:1、检查当前curl版本:首先,您需要确定当前系统中安装的curl版本。打开终端,并执行以下命令:curl--version 该命令将显示当前curl的版本信息。1、确认可用的curl版本:在更新curl之前,您需要确定可用的最新版本。您可以......
  • Git 克隆错误 error: RPC failed; curl 28 Recv failure: Connection was reset
    在网络情况不稳定下克隆项目时,可能会出现下图中的错误。问题原因:http缓存不够或者网络不稳定等。我也是找了好多博客资料,终于解决了解决方法打开cmd,修改git配置(加大httpBuffer)即可。gitconfig--globalhttp.postBuffer524288000  我在解决这个问题之前clone一......