首页 > 系统相关 >linux 使用 mwget 实现多线程下载

linux 使用 mwget 实现多线程下载

时间:2023-12-18 14:24:13浏览次数:39  
标签:-- URL mwget num 线程 linux 多线程

mwget和curl/multicurl一样,m就是multi多线程的意思。mwget是wget的升级版,支持多线程下载

【使用方法】

git clone https://github.com/rayylee/mwget.git
cd mwget
yum -y  install  pkg-config
yum -y  install libssl-dev
yum -y  install intltool
./configure
make&&make install

 

【使用方法】

# mwget -h
用法: mwget [选项]... [URL]...
选项:
  -b,  --debug          调试模式,显示调试信息
  -c,  --count=num      设置重试次数为[num],不限制次数设置为“0”,默认设置为“99”
  -d,  --directory=dir  设置本地目录为[dir],默认值为当前目录
  -f,  --file=file      重命名下载后文件为[file]
  -h,  --help           显示帮助信息
  -i,  --interval=num   设置FTP重试期限为[num]秒,默认为“5”
  -n,  --number=num     设置下载的线程数,默认开4个线程
  -r,  --referer=URL    使用“Referer: [URL]”在HTTP头中欺骗服务器
  -t,  --timeout=num    设置超时时间为[num]秒,默认设置是“30”
  -v,  --version        显示mwget的版本,然后退出
  -x,  --proxy=URL      设置代理 [URL]

【常用】

mwget [URL]          # 默认开4个线程
mwget -n 10 [URL]    #10个线程下载

 

标签:--,URL,mwget,num,线程,linux,多线程
From: https://www.cnblogs.com/scfssq/p/17911120.html

相关文章

  • Linux命令(138)之xzcat
    linux命令之xzcat1.xzcat介绍linux命令xzcat是用来查看xz结尾的压缩文件2.xzcat用法xzcat[参数]filenamexzcat参数参数说明-c将文件内容写到标准输出-f强制覆盖输出文件和压缩链接-t测试文件的完整性-l列出xz文件的信息-V查看xzcat版本3.实例3.1.将文件内容写到标准输出命......
  • Java | 多线程并发编程CountDownLatch实践
    关注:CodingTechWork引言  在一次数据割接需求中,数据需要通过编程的方式进行转移割接到新平台,此时若串行化方式,无疑会拉锯此次战斗,所以首当其冲要使用并发编程来降低割接时长。  本次主要考虑使用CountDownLatch工具类进行并发编程的控制。CountDownLatch概述  在并发编程过程......
  • 关于python http.server 开启多线程并发的问题
    问题描述thon中的http.server模块是单线程的,这意味着它一次只能处理一个请求,而其他请求必须等待。为了解决这个问题,您可以考虑使用多线程或异步处理来处理并发请求。您可以使用Python的ThreadingMixIn来创建一个支持多线程的HTTP服务器,或者考虑使用异步框架如asyncio来处理请求......
  • Linux内核中的同步机制
    Linux内核中的同步机制是用来确保在多任务、多处理器环境下的并发操作的正确性和一致性。以下是一些主要的同步机制:原子操作:原子操作是不可分割的操作,也就是说,它们在执行过程中不会被中断。这对于保护共享数据非常关键,特别是在多处理器环境中。信号量(Semaphore):信号量是......
  • linux安装nginx
    安装依赖//一键安装四个依赖环境yum-yinstallgcczlibzlib-develpcre-developensslopenssl-devel上传压缩包并解压上传nginx压缩包到/usr/local/nginx目录下tarxvfnginx-1.24.0.tar.gz安装nginxcdnginx-1.24.0#指定nginx安装的目录./configure--prefix......
  • Linux服务器快速安装MongoDB-5.0
    最近开始体验FastGPT开源知识库问答系统,用他们试着开发调试一些小助手。这中间需要使用到MongoDB,就在自己服务器上进行了安装,特此记录下。环境说明:阿里云ECS,2核8G,X86架构,CentOS7.9操作系统。选择版本1.打开MongoDB社区版下载页面,选择我们想要安装的版本、操作系统、和包类型,......
  • 在linux中,用-r还是-p处理递归的文件夹
    在Linux中,递归处理文件夹用-r还是-p选项1.使用-r:-r来表示递归,例如cp和rm。例如:-r通常用于表示递归操作,例如在复制目录或删除目录时使用。示例:复制目录及其内容:cp-rsource_directorydestination_directory递归删除目录及其内容:rm-rdirectory递归地移动目......
  • 多线程+信号量同步线程
    实现场景:多线程+信号量实现线程同步执行线程在创建的时候并不能保证优先顺序,是异步的,如果想按照自己指定的顺序先后执行的话,可以使用一些互斥或者同步的方式;以下我是通过信号量来实现同步:信号量的类型是sem_t,需要的头文件是 #include<semaphore.h>,主要是方法是sem_init......
  • linux Slab高处理
    SLAB是Linux操作系统的一种内存分配机制。其工作是针对一些经常分配并释放的对象,您可以看看哪些应用进程的slab占用的内存比较多,是否这些应用需要频繁的请求和释放内存,比如进行一些小文件的读写。如果都是应用的正常使用,可以考虑升级服务器内存,如果内存不足影响业务,需要临时释放一......
  • linux防止常见的网络攻击
    什么是syn,ddos,pingSYN(Synchronize):在TCP(传输控制协议)中,SYN是握手过程的一部分。当客户端尝试与服务器建立连接时,它发送一个带有SYN标志的数据包。服务器收到SYN数据包后,通常会回复一个带有SYN和ACK(确认)标志的数据包,表示接受连接。最后,客户端再发送一个带有ACK标志......