curl是一个命令行访问URL的计算机逻辑语言的工具,发出网络请求,然后得到数据并提取出,显示在标准输出“stdout”上面,可以用它来构造http request报文,curl(CommandLine Uniform Resource Locator),即在命令行中利用URL进行数据或者文件传输。
在Linux中curl是一个利用URL规则在命令行下工作的文件传输工具,可以说是一款很强大的http命令行工具。它支持文件的上传和下载,是综合传输工具,但按传统,习惯称url为下载工具。
curl命令语法
curl [options] [URL...]
curl 的完整参数
-a/--append | 上传文件时,附加到目标文件 |
---|---|
--anyauth | 可以使用“任何”身份验证方法 |
--basic | 使用HTTP基本验证 |
-B/--use-ascii | 使用ASCII文本传输 |
-d/--data <data> |
HTTP POST方式传送数据 |
--data-ascii <data> |
以ascii的方式post数据 |
--data-binary <data> |
以二进制的方式post数据 |
--negotiate | 使用HTTP身份验证 |
--digest | 使用数字身份验证 |
--disable-eprt | 禁止使用EPRT或LPRT |
--disable-epsv | 禁止使用EPSV |
--egd-file <file> |
为随机数据(SSL)设置EGD socket路径 |
--tcp-nodelay | 使用TCP_NODELAY选项 |
-E/--cert <cert[:passwd]> |
客户端证书文件和密码 (SSL) |
--cert-type <type> |
证书文件类型 (DER/PEM/ENG) (SSL) |
--key <key> |
私钥文件名 (SSL) |
--key-type <type> |
私钥文件类型 (DER/PEM/ENG) (SSL) |
--pass <pass> |
私钥密码 (SSL) |
--engine <eng> |
加密引擎使用 (SSL). "--engine list" for list |
--cacert <file> |
CA证书 (SSL) |
--capath <directory> |
CA目 (made using c_rehash) to verify peer against (SSL) |
--ciphers <list> |
SSL密码 |
--compressed | 要求返回是压缩的形势 (using deflate or gzip) |
--connect-timeout <seconds> |
设置最大请求时间 |
--create-dirs | 建立本地目录的目录层次结构 |
--crlf | 上传是把LF转变成CRLF |
--ftp-create-dirs | 如果远程目录不存在,创建远程目录 |
--ftp-method [multicwd/nocwd/singlecwd] | 控制CWD的使用 |
--ftp-pasv | 使用 PASV/EPSV 代替端口 |
--ftp-skip-pasv-ip | 使用PASV的时候,忽略该IP地址 |
--ftp-ssl | 尝试用 SSL/TLS 来进行ftp数据传输 |
--ftp-ssl-reqd | 要求用 SSL/TLS 来进行ftp数据传输 |
-F/--form <name=content> | 模拟http表单提交数据 |
-form-string <name=string> | 模拟http表单提交数据 |
-g/--globoff | 禁用网址序列和范围使用{}和[] |
-G/--get | 以get的方式来发送数据 |
-h/--help | 帮助 |
-H/--header <line> |
自定义头信息传递给服务器 |
--ignore-content-length | 忽略的HTTP头信息的长度 |
-i/--include | 输出时包括protocol头信息 |
-I/--head | 只显示文档信息 |
-j/--junk-session-cookies | 读取文件时忽略session cookie |
--interface <interface> |
使用指定网络接口/地址 |
--krb4 <level> |
使用指定安全级别的krb4 |
-k/--insecure | 允许不使用证书到SSL站点 |
-K/--config | 指定的配置文件读取 |
-l/--list-only | 列出ftp目录下的文件名称 |
--limit-rate <rate> |
设置传输速度 |
--local-port<NUM> |
强制使用本地端口号 |
-m/--max-time <seconds> |
设置最大传输时间 |
--max-redirs <num> |
设置最大读取的目录数 |
--max-filesize <bytes> |
设置最大下载的文件总量 |
-M/--manual | 显示全手动 |
-n/--netrc | 从netrc文件中读取用户名和密码 |
--netrc-optional | 使用 .netrc 或者 URL来覆盖-n |
--ntlm | 使用 HTTP NTLM 身份验证 |
-N/--no-buffer | 禁用缓冲输出 |
-p/--proxytunnel | 使用HTTP代理 |
--proxy-anyauth | 选择任一代理身份验证方法 |
--proxy-basic | 在代理上使用基本身份验证 |
--proxy-digest | 在代理上使用数字身份验证 |
--proxy-ntlm | 在代理上使用ntlm身份验证 |
-P/--ftp-port <address> |
使用端口地址,而不是使用PASV |
-Q/--quote <cmd> |
文件传输前,发送命令到服务器 |
--range-file | 读取(SSL)的随机文件 |
-R/--remote-time | 在本地生成文件时,保留远程文件时间 |
--retry <num> |
传输出现问题时,重试的次数 |
--retry-delay <seconds> |
传输出现问题时,设置重试间隔时间 |
--retry-max-time <seconds> |
传输出现问题时,设置最大重试时间 |
-S/--show-error | 显示错误 |
--socks4 <host[:port]> | 用socks4代理给定主机和端口 |
--socks5 <host[:port]> | 用socks5代理给定主机和端口 |
-t/--telnet-option <OPT=val> | Telnet选项设置 |
--trace <file> |
对指定文件进行debug |
--trace-ascii <file> |
Like --跟踪但没有hex输出 |
--trace-time | 跟踪/详细输出时,添加时间戳 |
--url <URL> |
Spet URL to work with |
-U/--proxy-user <user[:password]> |
设置代理用户名和密码 |
-V/--version | 显示版本信息 |
-X/--request <command> |
指定什么命令 |
-y/--speed-time | 放弃限速所要的时间。默认为30 |
-Y/--speed-limit | 停止传输速度的限制,速度时间'秒 |
-z/--time-cond | 传送时间设置 |
-0/--http1.0 | 使用HTTP 1.0 |
-1/--tlsv1 | 使用TLSv1(SSL) |
-2/--sslv2 | 使用SSLv2的(SSL) |
-3/--sslv3 | 使用的SSLv3(SSL) |
--3p-quote | like -Q for the source URL for 3rd party transfer |
--3p-url | 使用url,进行第三方传送 |
--3p-user | 使用用户名和密码,进行第三方传送 |
-4/--ipv4 | 使用IP4 |
-6/--ipv6 | 使用IP6 |
例子收集
例一:
curl -X GET "https://datasets-server.huggingface.co/rows?dataset=ehartford%2Fdolphin&config=ehartford--dolphin&split=train&offset=0&limit=100"
使用 cURL 命令向 Hugging Face datasets 服务器发送 GET 请求的命令,它用于获取一个数据集的子集。
curl -X GET
:这个命令告诉 cURL 发送一个 GET 请求。
"https://datasets-server.huggingface.co/rows?dataset=ehartford%2Fdolphin&config=ehartford--dolphin&split=train&offset=0&limit=100"
:这是要发送的请求 URL,包含以下参数:
dataset
:指定要获取的数据集名称,这个示例中是ehartford/dolphin
。config
:指定数据集的配置名称,这个示例中是ehartford--dolphin
。split
:指定要获取的数据集的子集名称,这个示例中是train
。offset
:指定要获取的子集数据的起始位置(偏移量),这个示例中是 0。limit
:指定要获取的子集数据的数量限制,这个示例中是 100。
这个命令将向 Hugging Face datasets 服务器发送一个 GET 请求,服务器将返回一个包含数据集子集的 JSON 格式的响应。在这个示例中,我们请求获取 ehartford/dolphin
数据集的 train
子集的前 100 个数据行,起始位置为 0。