import json import requests from qcloud_cos import CosConfig from qcloud_cos import CosS3Client import sys import logging from quote import quote headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ' '(KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36', } # 封装ip代理 proxy = {} # 链接cos # 正常情况日志级别使用 INFO,需要定位时可以修改为 DEBUG,此时 SDK 会打印和服务端的通信信息 logging.basicConfig(level=logging.INFO, stream=sys.stdout) secret_id = 'AKIDqp8dG1UxRj3PoDiIvdPF6yqibUZekBc3' secret_key = "W2Y3Y4fHtU9reXbVbsFpWLHJWsNwt0Gb" region = 'ap-beijing' config = CosConfig(Region=region, SecretId=secret_id, SecretKey=secret_key) client = CosS3Client(config) # bucket:COS 中用于存储数据的容器 # data-crawler储存桶属于用户ID为1325559378的用户 # Object Content 是上传文件的二进制内容 # -*- coding=utf-8 from qcloud_cos import CosConfig from qcloud_cos import CosS3Client import sys import os import logging # 正常情况日志级别使用 INFO,需要定位时可以修改为 DEBUG,此时 SDK 会打印和服务端的通信信息 logging.basicConfig(level=logging.INFO, stream=sys.stdout) # 1. 设置用户属性, 包括 secret_id, secret_key, region等。Appid 已在 CosConfig 中移除,请在参数 Bucket 中带上 Appid。Bucket 由 BucketName-Appid 组成 secret_id = 'AKIDqp8dG1UxRj3PoDiIvdPF6yqibUZekBc3' # 用户的 SecretId,建议使用子账号密钥,授权遵循最小权限指引,降低使用风险。子账号密钥获取可参见 https://cloud.tencent.com/document/product/598/37140 secret_key = "W2Y3Y4fHtU9reXbVbsFpWLHJWsNwt0Gb" # 用户的 SecretKey,建议使用子账号密钥,授权遵循最小权限指引,降低使用风险。子账号密钥获取可参见 https://cloud.tencent.com/document/product/598/37140 region = 'ap-beijing' # 替换为用户的 region,已创建桶归属的 region 可以在控制台查看,https://console.cloud.tencent.com/cos5/bucket # COS 支持的所有 region 列表参见 https://cloud.tencent.com/document/product/436/6224 # token = None # 如果使用永久密钥不需要填入 token,如果使用临时密钥需要填入,临时密钥生成和使用指引参见 https://cloud.tencent.com/document/product/436/14048 # scheme = 'https' # 指定使用 http/https 协议来访问 COS,默认为 https,可不填 config = CosConfig(Region=region, SecretId=secret_id, SecretKey=secret_key) client = CosS3Client(config) def upload_cos(title, path, key): with open(path, 'rb') as fp: client.put_object( Bucket='data-crawler-1325559378', Body=fp, Key=key, ) print( f'cos链接:\nhttps://data-crawler-1325559378.cos.ap-beijing.myqcloud.com/{key}') if __name__ == '__main__': # 文章标题 # title = '2024 年小学应届毕业生证明' ''' a.网页端目录命名: html/{网站英文名or缩写or拼音}/{网页title or其他可标识内容}.html b.视频: videos/{渠道(比如douyin)}/{title}.mp4 c.图片: IMG/{渠道}/{title}.jpg d.PDF: PDF/{渠道}/{title}.pdf e.excel: excel/{渠道}/{title}.xlsx f.json: json/{渠道}/{title}.json 'cos_url': 'https://data-crawler-1325559378.cos.ap-beijing.myqcloud.com/json/240711/全国各省-城市-中学.json', ''' title = '全国各省-城市-中学' # 上传文件位置 path = f'./文件/{title}.json' # 文件类型/渠道名/标题.文件后缀 Key = f'json/240711/{title}.json' upload_cos(title, path, Key)
标签:cos,贝壳,title,json,传到,secret,https,import From: https://www.cnblogs.com/wolvies/p/18305725