首页 > 其他分享 >贝壳项目,上传到cos

贝壳项目,上传到cos

时间:2024-07-16 17:32:55浏览次数:11  
标签:cos 贝壳 title json 传到 secret https import

import json

import requests
from qcloud_cos import CosConfig
from qcloud_cos import CosS3Client
import sys
import logging
from quote import quote

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
                  '(KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36',
}
# 封装ip代理
proxy = {}
# 链接cos
# 正常情况日志级别使用 INFO,需要定位时可以修改为 DEBUG,此时 SDK 会打印和服务端的通信信息
logging.basicConfig(level=logging.INFO, stream=sys.stdout)
secret_id = 'AKIDqp8dG1UxRj3PoDiIvdPF6yqibUZekBc3'
secret_key = "W2Y3Y4fHtU9reXbVbsFpWLHJWsNwt0Gb"
region = 'ap-beijing'
config = CosConfig(Region=region, SecretId=secret_id, SecretKey=secret_key)
client = CosS3Client(config)

# bucket:COS 中用于存储数据的容器
# data-crawler储存桶属于用户ID为1325559378的用户
# Object Content 是上传文件的二进制内容
# -*- coding=utf-8
from qcloud_cos import CosConfig
from qcloud_cos import CosS3Client
import sys
import os
import logging

# 正常情况日志级别使用 INFO,需要定位时可以修改为 DEBUG,此时 SDK 会打印和服务端的通信信息
logging.basicConfig(level=logging.INFO, stream=sys.stdout)

# 1. 设置用户属性, 包括 secret_id, secret_key, region等。Appid 已在 CosConfig 中移除,请在参数 Bucket 中带上 Appid。Bucket 由 BucketName-Appid 组成
secret_id = 'AKIDqp8dG1UxRj3PoDiIvdPF6yqibUZekBc3'  # 用户的 SecretId,建议使用子账号密钥,授权遵循最小权限指引,降低使用风险。子账号密钥获取可参见 https://cloud.tencent.com/document/product/598/37140
secret_key = "W2Y3Y4fHtU9reXbVbsFpWLHJWsNwt0Gb"  # 用户的 SecretKey,建议使用子账号密钥,授权遵循最小权限指引,降低使用风险。子账号密钥获取可参见 https://cloud.tencent.com/document/product/598/37140
region = 'ap-beijing'  # 替换为用户的 region,已创建桶归属的 region 可以在控制台查看,https://console.cloud.tencent.com/cos5/bucket
# COS 支持的所有 region 列表参见 https://cloud.tencent.com/document/product/436/6224
# token = None               # 如果使用永久密钥不需要填入 token,如果使用临时密钥需要填入,临时密钥生成和使用指引参见 https://cloud.tencent.com/document/product/436/14048
# scheme = 'https'           # 指定使用 http/https 协议来访问 COS,默认为 https,可不填

config = CosConfig(Region=region, SecretId=secret_id, SecretKey=secret_key)
client = CosS3Client(config)


def upload_cos(title, path, key):
    with open(path, 'rb') as fp:
        client.put_object(
            Bucket='data-crawler-1325559378',
            Body=fp,
            Key=key,
        )
        print(
            f'cos链接:\nhttps://data-crawler-1325559378.cos.ap-beijing.myqcloud.com/{key}')


if __name__ == '__main__':
    # 文章标题
    # title = '2024 年小学应届毕业生证明'

    '''
    a.网页端目录命名: html/{网站英文名or缩写or拼音}/{网页title or其他可标识内容}.html
   b.视频: videos/{渠道(比如douyin)}/{title}.mp4
   c.图片: IMG/{渠道}/{title}.jpg
   d.PDF: PDF/{渠道}/{title}.pdf
   e.excel: excel/{渠道}/{title}.xlsx
   f.json: json/{渠道}/{title}.json
    'cos_url': 'https://data-crawler-1325559378.cos.ap-beijing.myqcloud.com/json/240711/全国各省-城市-中学.json',

    '''
    title = '全国各省-城市-中学'
    # 上传文件位置
    path = f'./文件/{title}.json'
    # 文件类型/渠道名/标题.文件后缀
    Key = f'json/240711/{title}.json'
    upload_cos(title, path, Key)

 

标签:cos,贝壳,title,json,传到,secret,https,import
From: https://www.cnblogs.com/wolvies/p/18305725

相关文章

  • 贝壳项目,入库及去重
    importtimeimportrequestsfromlxmlimportetreefrom常用功能.mongodb链接importconnect_mongodbuser_value='bk_spider'pwd_value='ke@spider01'mongo_id_value='119.45.40.170'port_value=27017db_value='spider&#......
  • Docker如何将本地镜像上传到服务器并解压使用该镜像?
    第一步本地导出镜像包.tar文件dockersave-oapp.tarnuxt_app:1.0.1提示:app.tar这个文件名称任意取,.tar后缀不能随意修改。第二步将导出的镜像包文件app.tar上传到服务器第三步在服务器解压镜像cd/opt/docker-compose/save_image/sudodockerload<app.tar......
  • 【信创国产化】Nacos 2.3.2 连接达梦数据库
    JeecgBoot目前提供的nacos版本号2.3.2已经支持与达梦数据库对接。jeecg-boot/jeecg-server-cloud/jeecg-cloud-nacos项目默认加入了达梦驱动和yml配置。如果你是老代码,可以参考下面的步骤手工集成项目地址:https://github.com/jeecgboot/JeecgBoot手工对接达梦数据库1......
  • 0day nacos RCE命令执行漏洞复现含POC
     0x01阅读须知        技术文章仅供参考,此文所提供的信息只为网络安全人员对自己所负责的网站、服务器等(包括但不限于)进行检测或维护参考,未经授权请勿利用文章中的技术资料对任何计算机系统进行入侵操作。利用此文所提供的信息而造成的直接或间接后果和损失,均由使用......
  • Nessus Professional 10.7 Auto Installer for macOS Sonoma (updated Jul 2024)
    NessusProfessional10.7AutoInstallerformacOSSonoma(updatedJul2024)发布Nessus试用版自动化安装程序,支持macOSSonoma、RHEL9和Ubuntu24.04请访问原文链接:https://sysin.org/blog/nessus-auto-install-for-macos/,查看最新版。原创作品,转载请保留出处。Ness......
  • Cocos 打包微信小游戏,关闭load插屏
    最近开始研究微信小游戏,有兴趣的可以关注一下公众号,记录一些心路历程和源代码。一共有2个load如图下这个在构建小程序项目之后我们打开 first-screen.js 找到 tick方法里的 draw注释掉运行微信小游戏就没有那个load了。在构建发布时可以选择不勾选或者更......
  • 使用Spring Boot集成Nacos
    使用SpringBoot集成Nacos大家好,我是微赚淘客系统3.0的小编,是个冬天不穿秋裤,天冷也要风度的程序猿!在现代微服务架构中,服务发现和配置管理是两个非常重要的组成部分。Nacos作为阿里巴巴开源的一个动态服务发现、配置管理和服务管理平台,非常适合用来管理SpringBoot微服务应用。本......
  • nacos 服务注册原理
    springboot的各种starter会根据SPI机制,读取META-INFO/spring.factories文件,自动注册一些bean,spring-cloud-starter-alibaba-nacos-discovery的spring.factories如下:org.springframework.cloud.bootstrap.BootstrapConfiguration=\com.alibaba.cloud.nacos.discover......
  • 什么是Nacos???Nacos是干啥的???如何使用Nacos???
    目录1.引言:2.服务调用3.注册中心原理3.1.服务注册者(ServiceRegistrar)3.2.服务消费者(ServiceConsumer)3.3注册中心(ServiceRegistry)4.Nacos注册中心5.服务注册5.1.添加依赖5.2.配置Nacos5.3.启动服务实例6.服务发现6.1.引入依赖6.2配置Nacos地址6.3.发现并......
  • costas_loop,costas_loop.v
      /*dsp48a1x2dsp48a1x2滤波器阶数4480n抽取倍数27x5x采样率64.8M2.4M......