首页 > 其他分享 >100GB以上超大文件上传和断点续传服务器的实现

100GB以上超大文件上传和断点续传服务器的实现

时间:2023-01-18 12:00:18浏览次数:71  
标签:断点续传 100GB 请求 文件 响应 源码 上传 下载 客户端

IE的自带下载功能中没有断点续传功能,要实现断点续传功能,需要用到HTTP协议中鲜为人知的几个响应头和请求头。

 

一. 两个必要响应头Accept-Ranges、ETag

        客户端每次提交下载请求时,服务端都要添加这两个响应头,以保证客户端和服务端将此下载识别为可以断点续传的下载:

Accept-Ranges:告知下载客户端这是一个可以恢复续传的下载,存放本次下载的开始字节位置、文件的字节大小;

ETag:保存文件的唯一标识(我在用的文件名+文件最后修改时间,以便续传请求时对文件进行验证);

Last-Modified:可选响应头,存放服务端文件的最后修改时间,用于验证

 

二. 一个重要请求头Range

Range:首次下载时,Range头为null,此时服务端的响应头中必须添加响应头Accept-Ranges、ETag;

              续传请求时,其值表示客户端已经收到的字节数,即本次下载的开始字节位置,服务端依据这个 值从相应位置读取数据发送到客户端。

 

三. 用于验证的请求头If-Range、

       当响应头中包含有Accept-Ranges、ETag时,续传请求时,将包含这些请求头:

If-Range:对应响应头ETag的值;

Unless-Modified-Since:对应响应头Last-Modified的值。

        续传请求时,为了保证客户端与服务端的文件的一致性和正确性,有必要对文件进行验证,验证需要自己写验证代码,就根据解析这两个请求头的值,将客户端已下载的部分与服务端的文件进行对比,如果不吻合,则从头开始下载,如果吻合,则断点续传。

 

四.  速度限制

        程序中加入了速度限制,用于对客户端进行权限控制的流量限制。

 

五. 其它注意事项

      如:文件名乱码的问题、文件名中空格变加号、强制客户端显示下载对话框等,详见源码注释:

  1

  2        /// <summary>

  3        /// 下载文件,支持大文件、续传、速度限制。支持续传的响应头Accept-Ranges、ETag,请求头Range 。

  4        /// Accept-Ranges:响应头,向客户端指明,此进程支持可恢复下载.实现后台智能传输服务(BITS),值为:bytes;

  5        /// ETag:响应头,用于对客户端的初始(200)响应,以及来自客户端的恢复请求,

  6        /// 必须为每个文件提供一个唯一的ETag值(可由文件名和文件最后被修改的日期组成),这使客户端软件能够验证它们已经下载的字节块是否仍然是最新的。

  7        /// Range:续传的起始位置,即已经下载到客户端的字节数,值如:bytes=1474560- 。

  8        /// 另外:UrlEncode编码后会把文件名中的空格转换中+(+转换为%2b),但是浏览器是不能理解加号为空格的,所以在浏览器下载得到的文件,空格就变成了加号;

  9        /// 解决办法:UrlEncode 之后, 将 "+" 替换成 "%20",因为浏览器将%20转换为空格

 10        /// </summary>

 11        /// <param name="httpContext">当前请求的HttpContext</param>

 12        /// <param name="filePath">下载文件的物理路径,含路径、文件名</param>

 13        /// <param name="speed">下载速度:每秒允许下载的字节数</param>

 14        /// <returns>true下载成功,false下载失败</returns>

 15        public static bool DownloadFile(HttpContext httpContext, string filePath, long speed)

 16        {

 17            bool ret = true;

 18            try

 19            {

 20                --验证:HttpMethod,请求的文件是否存在

 36

 37                定义局部变量

 49

 50                --验证:文件是否太大,是否是续传,且在上次被请求的日期之后是否被修改过--------------

 67

 68                try

 69                {

 70                    -------添加重要响应头、解析请求头、相关验证-------------------

 97

 98                    -------向客户端发送数据块-------------------

108                }

109                catch

110                {

111                    ret = false;

112                }

113                finally

114                {

115                    br.Close();

116                    myFile.Close();

117                }

118            }

119            catch

120            {

121                ret = false;

122            }

123            return ret;

124        }

上传展示截图:

编辑

控件源码下载:

asp.net源码下载jsp-springboot源码下载jsp-eclipse源码下载jsp-myeclipse源码下载php源码下载csharp-winform源码下载vue-cli源码下载c++源码下载

详细配置信息及思路

 

标签:断点续传,100GB,请求,文件,响应,源码,上传,下载,客户端
From: https://www.cnblogs.com/zyzzz/p/17059517.html

相关文章

  • 50GB以上超大文件上传和断点续传服务器的实现
    ​ 以ASP.NETCoreWebAPI 作后端 API ,用 Vue 构建前端页面,用 Axios 从前端访问后端 API,包括文件的上传和下载。 准备文件上传的API #region 文件上传......
  • 20GB以上超大文件上传和断点续传服务器的实现
    ​ 这里只写后端的代码,基本的思想就是,前端将文件分片,然后每次访问上传接口的时候,向后端传入参数:当前为第几块文件,和分片总数下面直接贴代码吧,一些难懂的我大部分都加上......
  • 文件上传和邮件发送
    文件上传和邮件发送1、文件上传在Web应用中,文件上传和下载功能是非常常用的功能,今天来实现一下JavaWeb中的文件上传和下载功能1.1、准备工作对于文件上传,浏览器在上传......
  • 帝国CMS编辑器支持word文档上传
    ​如何做到ueditor批量上传word图片?1、前端引用代码<!DOCTYPE html PUBLIC "-//W3C//DTDXHTML1.0Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-......
  • 帝国CMS编辑器word一键上传
    ​ 这种方法是servlet,编写好在web.xml里配置servlet-class和servlet-mapping即可使用后台(服务端)java服务代码:(上传至ROOT/lqxcPics文件夹下)<%@ page language="java"......
  • 批量采集淘宝整店商品数据上传至京东店铺接口代码展示
    背景item_search_shop-获得店铺的所有商品接口,可以利用店铺ID或者是卖家ID或者是店铺主链接进行请求接口请求商品所有商品接口,拿到整店商品详情页面的商品ID,商品标题,商品......
  • 文件上传测试:Windows 创建指定大小的文件
    读者提问: 『我们测试文件上传时需要上传指定大小的文件,Windows如何创建指定大小的文件,有比较便捷的操作方法吗 ?』 阿常回答:fsutil.exe 创建指定大小文件指定内容生成指......
  • 文件上传测试:Windows 创建指定大小的文件
    读者提问: 『我们测试文件上传时需要上传指定大小的文件,Windows如何创建指定大小的文件,有比较便捷的操作方法吗 ?』 阿常回答: fsutil.exe 创建指定大小文件......
  • MeterSphere 的 UI 自动化如何实现文件上传的场景
    实际项目中,文件/图片上传的场景较多。本文以百度上传图片进行搜索为例。场景:在百度搜索框中,上传图片进行搜索场景步骤:打开网页,访问 ​​https://www.baidu.com​​ 网......
  • 9.Requests【接口请求】POST请求的files格式请求体传参(文件上传)
    一、前言前面的课程中已经学习了两种POST请求中文件的传输格式,还有一种格式,Content-Type:multipart/form-data时的传参方式,这种数据传输方式的接口一般是文件上传接口,可......