问题一:
错误提示如下:
ERROR: Parameter problem: Chunk size 15 MB results in more than 10000 chunks. Please increase --multipart-chunk-size-mb
这是s3cmd put命令出现错误的日志,提示“参数问题:块大小15 MB导致超过10000个块。 请增加–multipart-chunk-size-mb”。
这个错误意味着上传的文件超过了S3存储桶的最大块数限制(即10,000个块)。根据AWS文档,S3存储桶中单个对象的最大容量为5TB,但每个对象最多只能由10,000个块组成。
为了解决此问题,您可以尝试通过增加–multipart-chunk-size-mb选项的值来增加块大小,以减少所需的块数。默认情况下,s3cmd使用15MB的块大小,但是如果要上传大文件,则可能需要将其增加到更高的值(例如50MB或100MB),以确保不会超过10,000个块。
以下是一个示例命令,其中将块大小设置为50MB:
s3cmd put --multipart-chunk-size-mb=50 /path/to/large/file s3://my-s3-bucket/large-file
请注意,在修改块大小时,请考虑可用的内存和网络带宽,并确保您的系统具有足够的资源来处理大型文件的上传。
问题二:断点续传
–continue-put是s3cmd命令行工具的一个选项,用于指示在上传过程中出现错误或中断时继续上传。当您使用s3cmd上传大文件时,可能会遇到网络问题、服务器故障或其他意外情况,导致上传过程中断。
如果您启用了–continue-put选项,则s3cmd会尝试恢复未完成部分的上传,并从上次中断的位置继续上传,而不是从头开始上传整个文件。这可以减少重传所有数据的时间和带宽开销。还可以降低上传失败的风险,以便更快地完成上传操作。
[root@nexus3 data]# s3cmd put --no-check-md5 --multipart-chunk-size-mb=1000 --continue-put /data/test.txt s3://xinxiananquanguanlibu/test.tx2
upload: '/data/test.txt' -> 's3://xinxiananquanguanlibu/test.tx2' [part 1
标签:常见问题,技巧,--,chunk,s3cmd,put,S3cmd,上传,size
From: https://blog.csdn.net/jiangzhehao520/article/details/142953176