首页 > 其他分享 >迁移阿里云oss目录到aws

迁移阿里云oss目录到aws

时间:2024-02-20 14:36:05浏览次数:21  
标签:key bucket oss aws access prefix 阿里 aliyun

 1 # 同步阿里云oss文件到aws s3
 2 import oss2
 3 import boto3
 4 import os
 5 from boto3.s3.transfer import TransferConfig
 6 
 7 
 8 
 9 # 阿里云OSS配置
10 aliyun_access_key_id = 'xxx'
11 aliyun_access_key_secret = 'xxx'
12 aliyun_endpoint = 'oss-cn-shenzhen.aliyuncs.com'
13 aliyun_bucket_name = 'cdn'
14 aliyun_prefix = 'magicon_img/'  # 例如 'images/'
15 
16 # AWS S3配置
17 aws_access_key_id = 'xxx'
18 aws_secret_access_key = 'xxx'
19 aws_bucket_name = 'static'
20 aws_prefix = 'magicon_img/'  # 例如 'images/'
21 
22 # 初始化阿里云OSS
23 aliyun_bucket = oss2.Bucket(oss2.Auth(aliyun_access_key_id, aliyun_access_key_secret), aliyun_endpoint, aliyun_bucket_name)
24 
25 # 初始化AWS S3
26 s3_client = boto3.client('s3', aws_access_key_id=aws_access_key_id, aws_secret_access_key=aws_secret_access_key)
27 transfer_config = TransferConfig(multipart_threshold=1024*25, max_concurrency=10, multipart_chunksize=1024*25, use_threads=True)
28 
29 # 列出阿里云OSS中的文件
30 for obj in oss2.ObjectIterator(aliyun_bucket, prefix=aliyun_prefix):
31     source_key = obj.key
32     target_key = aws_prefix + source_key[len(aliyun_prefix):]  # 根据需要调整目标路径
33     # 下载阿里云OSS文件到本地
34     local_filename = source_key.split('/')[-1]
35     if local_filename:
36         aliyun_bucket.get_object_to_file(source_key, local_filename)
37 
38         # 上传文件到AWS S3
39         s3_client.upload_file(local_filename, aws_bucket_name, target_key, Config=transfer_config)
40         # 删除本地文件(如果不需要保留)
41         os.remove(local_filename)
42 
43         print(f'文件 {source_key} 已迁移到 {target_key}')
44 
45 print('所有文件迁移完成。')

 

标签:key,bucket,oss,aws,access,prefix,阿里,aliyun
From: https://www.cnblogs.com/liruixin/p/18022999

相关文章

  • [975] Creating a POSTMAN Api | AWS API Gateway Passing Data to AWS Lambda
    ref:AWSLambdaFunctionURLsref:GuidetoAWSLambdaFunctionURLs1.CreateaLambdaFunctionaws->Services->Lambda2.CreateaFunctionURLConfiguration->FunctionURLThen,theFunctionURLisgeneratedandcanbeseenfromtheup......
  • 腾讯云-阿里云服务器搭建幻兽帕鲁,终极傻瓜式部署教程指南!
    腾讯云-阿里云服务器搭建幻兽帕鲁,终极傻瓜式部署教程指南!腾讯云与阿里云作为国内领先的云计算服务提供商,提供了《幻兽帕鲁》这款热门网络游戏高效的一键部署方案,玩家可以通过腾讯云或阿里云轻量应用服务器,在短短数分钟内搭建起属于自己的游戏世界。本文将详细介绍如何利用这两家云......
  • 幻兽帕鲁部署教程,阿里云服务器快速搭建幻兽帕鲁
    本文更新阿里云服务器部署幻兽帕鲁保姆级教程,傻瓜式指南,阿里云作为全球领先的云计算服务提供商,凭借其强大的弹性计算能力、高可用性网络架构和一站式解决方案,为《幻兽帕鲁》等网络游戏提供了卓越的服务器支持。针对游戏场景,阿里云特别设计了一系列便捷高效的部署工具和服务模板,让......
  • code: 'ERR_OSSL_EVP_UNSUPPORTED' 报错解决
    报错:Error:error:0308010C:digitalenveloperoutines::unsupportedatnewHash(node:internal/crypto/hash:69:19)atObject.createHash(node:crypto:133:10)atBulkUpdateDecorator.hashFactory(D:\WzProject\wz-middle-ground-frontend\node_module......
  • AWS Migration产品(MGN)
    AWS把迁移服务分为“评估”、“动员和准备”、“迁移”、“应用现代化”四个模块,每个模块下都对应着一个或者多个的AWS产品。评估Well-ArchitectedFrameworkMigrationAssessmentTools(CART,MRA)AWSMigrationEvaluatorMigrationportfolioassessment动员和准备......
  • 备份阿里云oss,增量备份,自动处理脚本
    下载安装ossutil 先安装unzip ,然后安装ossutilcurlhttps://gosspublic.alicdn.com/ossutil/install.sh|sudobash 配置endpoint  oss-cn-zhangjiakou.aliyuncs.comstsToken不用配置,临时访问用的AccessKeyID  为ctOss@1463*****.onaliyun.com这个账号......
  • Asp.Net Core访问阿里云MongoDB云数据库
    Asp.NetCore访问阿里云MongoDB云数据库选择.NetCore技术栈开发跨平台软件解决方案,投入少,产出快,有助于企业内部降本增效。MongoDB的实体类增加字段不用迁移数据库,适合需求经常变化的应用场景。如果是企业内部小型应用,拉一个MongoDB容器即可,如果要进一步考虑多节点冗余,高可用,异地......
  • Semantic Kernel + 通义千问:借助 one-api 调用阿里云灵积 DashScope api
    one-api相当于是一个兼容OpenAIapi的api网关(针对api的反向代理),借助one-api可以通过已有的OpenAI客户端调用非OpenAI大模型的api,比如通义千问。DashScope是阿里云提供的模型服务灵积的英文名称,这里通过调用DashScopeapi使用通义千问qwen-max大模型。以容器......
  • 《SagDRE: Sequence-Aware Graph-Based Document-Level Relation Extraction with Ada
    代码原文地址关键参考文献:Document-LevelRelationExtractionwithAdaptiveThresholdingand LocalizedContextPooling摘要关系抽取(RE)是许多自然语言处理应用的重要任务,它的目标是从文档中抽取出实体之间的关系。文档级RE任务面临着许多挑战,因为它不仅需要跨句子......
  • Mac arm 调试 maui 提示 iOS 构建没有“net8.0-ios/iossimulator-x64”的目标解决办法
    在arm芯片mac调试,使用macforvs,出现以下错误obj/project.assets.json”没有“net8.0-ios/iossimulator-x64”的目标。确保已运行还原,且“net8.0-ios”已包含在项目的TargetFrameworks中。可能需要在项目RuntimeIdentifiers中包括“iossimulator-x64”。(NETSDK1047......