首页 > 其他分享 >阿里云oss分片上传,大文件上传

阿里云oss分片上传,大文件上传

时间:2022-11-02 14:12:38浏览次数:69  
标签:文件 uploadPartRequest String oss 分片 new 上传

 阿里云oss分片上传,一定要注意,当分片上传的时候,一般都是大文件,文件上传可能时间很长,一定要注意修改前端响应时间,如果配有网关,网关请求时间酌情修改,使用Nginx代理时,nginx.config 也要修改时间参数,例如 proxy_read_timeout 300;(秒,默认60s),同时后台也会限制文件上传大小导致上传失败,这个坑也需要注意。

   private String endpoint="你的Endpoint";
   private String accessKeyId="你的AccessKeyId";
   private String secretAccessKey="你的AccessKeySecret";
   private String BucketName="你的BucketName,注意是name不是 Bucket";

public R fileUploadZone(MultipartFile file) {
           OSS ossClient=null;
       try {
           Date date = new Date();
           String beginTime = date.getHours() + ":" + date.getMinutes() + ":" + date.getSeconds();
           logger.info("fileUploadZone-开始上传时间:"+beginTime);
           //获取文件的原始名字
           String originalfileName = file.getOriginalFilename();
           //文件后缀
           String suffix = originalfileName.substring(originalfileName.lastIndexOf(".") + 1);
           //重新命名文件,文件夹要是改动,app记录删除的地方一并改动
           String pack = "file/";
           String fileName = "file_" + System.currentTimeMillis() + "." + suffix;
           String objectName = pack + fileName;
           if (!suffix.equals("xxx")) {
               //根据后缀判断是不是自己想要上传的格式
               return R.error("xxx类型错误!");
           }
           String url = "http://" + BucketName + "." + endpoint + "/" + objectName;
           // 创建OSSClient实例。
           ossClient = new OSSClient(endpoint, accessKeyId, secretAccessKey);
           // 创建InitiateMultipartUploadRequest对象。
           InitiateMultipartUploadRequest request = new InitiateMultipartUploadRequest(BucketName, objectName);
           // 如果需要在初始化分片时设置文件存储类型,请参考以下示例代码。
           // ObjectMetadata metadata = new ObjectMetadata();
           // metadata.setHeader(OSSHeaders.OSS_STORAGE_CLASS, StorageClass.Standard.toString());
           // request.setObjectMetadata(metadata);
           // 初始化分片。
           InitiateMultipartUploadResult upresult = ossClient.initiateMultipartUpload(request);
           // 返回uploadId,它是分片上传事件的唯一标识,可以根据这个uploadId发起相关的操作,如取消分片上传、查询分片上传等。
           String uploadId = upresult.getUploadId();
           // partETags是PartETag的集合。PartETag由分片的ETag和分片号组成。
           ListpartETags = new ArrayList();
           // 计算文件有多少个分片。
           // 2MB
           final long partSize = 2 * 1024 * 1024L;
           long fileLength = file.getSize();
           int partCount = (int) (fileLength / partSize);
           if (fileLength % partSize != 0) {
               partCount++;
           }
           // 遍历分片上传。
           for (int i = 0; i < partCount; i++) {
               long startPos = i * partSize;
               long curPartSize = (i + 1 == partCount) ? (fileLength - startPos) : partSize;
               // 跳过已经上传的分片。
               InputStream instream = file.getInputStream();
               instream.skip(startPos);
               UploadPartRequest uploadPartRequest = new UploadPartRequest();
               uploadPartRequest.setBucketName(BucketName);
               uploadPartRequest.setKey(objectName);
               uploadPartRequest.setUploadId(uploadId);
               uploadPartRequest.setInputStream(instream);
               // 设置分片大小。除了最后一个分片没有大小限制,其他的分片最小为100 KB。
               uploadPartRequest.setPartSize(curPartSize);
               // 设置分片号。每一个上传的分片都有一个分片号,取值范围是1~10000,如果超出这个范围,OSS将返回InvalidArgument的错误码。
               uploadPartRequest.setPartNumber(i + 1);
               // 每个分片不需要按顺序上传,甚至可以在不同客户端上传,OSS会按照分片号排序组成完整的文件。
               UploadPartResult uploadPartResult = ossClient.uploadPart(uploadPartRequest);
               // 每次上传分片之后,OSS的返回结果包含PartETag。PartETag将被保存在partETags中。
               partETags.add(uploadPartResult.getPartETag());
           }
           /**
            * 创建CompleteMultipartUploadRequest对象。
            * 在执行完成分片上传操作时,需要提供所有有效的partETags。OSS收到提交的partETags后,会逐一验证每个分片的有效性。
            * 当所有的数据分片验证通过后,OSS将把这些分片组合成一个完整的文件。
            */
           CompleteMultipartUploadRequest uploadRequest = new CompleteMultipartUploadRequest(BucketName, objectName, uploadId, partETags);
           // 在完成文件上传的同时设置文件访问权限。
           uploadRequest.setObjectACL(CannedAccessControlList.PublicRead);
           // 完成上传。
           ossClient.completeMultipartUpload(uploadRequest);
           // 关闭OSSClient。
           ossClient.shutdown();
           Date date2 = new Date();
           String endTime = date2.getHours() + ":" + date2.getMinutes() + ":" + date2.getSeconds();
           logger.info("fileUploadZone-结束上传时间:"+endTime+" 耗时:"+(date2.getTime()-date.getTime())/1000);
           Mapmap = new HashMap<>();
           map.put("url", url);
           map.put("name", fileName);
           return R.ok(map);
       } catch (Exception e) {
           e.printStackTrace();
           ossClient.shutdown();
           logger.error(e.getMessage());
           return R.error("操作失败!");
       }
   }
效果图:

编辑

 

编辑

 

编辑

 

编辑

 

示例下载地址:

jsp:https://gitee.com/xproer/jsp-eclipse/tree/6.5.38/

asp.net:https://gitee.com/xproer/jsp-eclipse/tree/6.5.38/

php:https://gitee.com/xproer/php


标签:文件,uploadPartRequest,String,oss,分片,new,上传
From: https://www.cnblogs.com/zyzzz/p/16850839.html

相关文章

  • oss分片上传
    ​分片上传1.OSS依赖          com.aliyun.oss      aliyun-sdk-oss      3.10.2    2.OSS官网提供的上传工具......
  • SpringBoot+Vue+token实现(表单+图片)上传、图片地址保存到数据库。上传图片保存位置自
    1、大致思路以下是基于先处理图片、后端返回图片地址进行的==存数据==1、将图片信息提交到后端2、后端处理3、后端返回前端图片的访问地址4、前端将图片地址存入要提......
  • JS - 文件上传组件WebUploader使用详解1(带进度的文件上传)
    ​ 一、基本介绍 1,什么是WebUploader?WebUploader是由百度公司团队开发的一个以HTML5为主,FLASH为辅的现代文件上传组件。官网地址:http://fex.baidu.com/webuploa......
  • 文件上传
    一、后缀名绕过1、默认情况下,lamp会将php\phtml\php3\php4\php5\pht等文件解析为php1、php\php5\php4\php3\php2\phtml\pht 2、特殊后缀.htaccess/.user.ini.htacc......
  • 5行代码写完文件上传-PHP版
    5行代码写完文件上传-PHP版html代码index.html<formname="upload"method="post"enctype="multipart/form-data"action="/index.php"><inputtype="file"nam......
  • asp.net core 解决用户上传文件提示 System.UnauthorizedAccessException: Access to
    今天发布项目到服务器上传文件突然提示System.UnauthorizedAccessException:Accesstothepath'C:\Windows\TEMP\ASPNETCORE_e65c14f7-e337-493c-90ac-d49a48db7187.t......
  • 分片架构和分区架构
    分片架构 通过叠加更多的服务器来提高性能分片规则选取技术比较大的某个数据键值,让数据均匀分布,避免热点分布适合主业务数据hash分片 ......
  • 上传大文件解决方案工具
    ​需求:项目要支持大文件上传功能,经过讨论,初步将文件上传大小控制在500G内,因此自己需要在项目中进行文件上传部分的调整和配置,自己将大小都以500G来进行限制。PC端全平台......
  • 上传大文件解决方案组件
    ​ 最近遇见一个需要上传超大大文件的需求,调研了七牛和腾讯云的切片分段上传功能,因此在此整理前端大文件上传相关功能的实现。在某些业务中,大文件上传是一个比较重要的......
  • 上传大文件解决方案控件
    ​ 总结一下大文件分片上传和断点续传的问题。因为文件过大(比如1G以上),必须要考虑上传过程网络中断的情况。http的网络请求中本身就已经具备了分片上传功能,当传输的文件比......