首页 > 其他分享 >aws awswrangler 集成minio 简单试用

aws awswrangler 集成minio 简单试用

时间:2023-10-01 21:45:22浏览次数:48  
标签:minio awswrangler s3 aws csv pandas

aws awswrangler 现在已经改名为aws-sdk-pandas,但是对于python 使用的时候安装已经是使用awswrangler 名称
以下是一个简单的集成 minio 的测试,核心是配置环境变量,这个也比较符合aws 对于相关资源的集成玩法

环境准备

  • docker-compose 文件
 
version: '3'
services:
  minio:
    image: minio/minio
    ports:
      - "9002:9000"
      - "19001:19001"
    environment:
      MINIO_ACCESS_KEY: minio
      MINIO_SECRET_KEY: minio123
    command: server --console-address :19001 --quiet /data
   

备注: 启动之后注意创建demo bucket

代码集成

来自官方主要是将pandas 的dataframe 数据写入到minio s3 中

  • myapp.py
import awswrangler as wr
import pandas as pd
import boto3
# 如果不想使用环境变量,对于aws_access_key_id 以及aws_secret_access_key 可以通过默认session 配置指定
#boto3.setup_default_session(aws_access_key_id="minio",aws_secret_access_key="minio123")
 
bucket = "demo"
 
path1 = f"s3://{bucket}/csv/file1.csv"
path2 = f"s3://{bucket}/csv/file2.csv"
 
df1 = pd.DataFrame({
    "id": [1, 2],
    "name": ["foo", "boo"]
})
 
df2 = pd.DataFrame({
    "id": [3],
    "name": ["bar"]
})
 
wr.s3.to_csv(df1, path1, index=False)
wr.s3.to_csv(df2, path2, index=False)
  • 环境变量配置
export AWS_ENDPOINT_URL_S3=http://localhost:9002
export AWS_ACCESS_KEY_ID=minio
export AWS_SECRET_ACCESS_KEY=minio123
  • 运行效果
python myapp,py

效果

 

说明

aws awswrangler 是一个很不错的数据整理python 包,提供了不少周边的集成,对于进行数据处理是很值得使用的

参考资料

https://aws-sdk-pandas.readthedocs.io/en/stable/index.html
https://github.com/aws/aws-sdk-pandas

标签:minio,awswrangler,s3,aws,csv,pandas
From: https://www.cnblogs.com/rongfengliang/p/17739317.html

相关文章

  • 宝塔安装minio
    docker安装minio先下载minio镜像dockerpullminio/minio镜像安装指令dockerrun-d\-p9000:9000\-p9090:9090\--nameminio1\-d--restart=always\-eMINIO_ACCESS_KEY=minio\-eMINIO_SECRET_KEY=minio@321\-v/data/docker/minio/data:/data\-v/data......
  • pandas 加载minio 文件数据
    就是一个简单记录,基于s3进行文件存储还是比较方便的环境准备docker-compose.yamlversion:'3'services:minio:image:minio/minioports:-"9002:9000"-"19001:19001"environment:MINIO_ACCESS_K......
  • Go每日一库之145:MinIO(高性能对象存储)
    1.MinIO简介MinIO是一个基于Go实现的高性能、兼容S3协议的对象存储。它采用GNUAGPLv3开源协议,项目地址是https://github.com/minio/minio,官网是https://min.io。它适合存储海量的非结构化的数据,例如说图片、音频、视频等常见文件,备份数据、容器、虚拟机镜像等等,小......
  • OceanDB-Miniob内部培训
    概述计算机三大软件=OS+DB+Compiler教学课程表基础版进阶版数据库入门MiniOBSqlite抽象思想接口(逻辑层)+实现内核(物理层)接口:逻辑物理层方便切分严格:数学概念,闭环数据模型清晰:所有模型都用关系表示数据库发展Oceanbase=NoSQL+HTAPMinoOB介绍......
  • AWS多个账号AKSK及登陆ECR命令方式
    配置多账号AKSKcat/root/.aws/credentials[default]aws_access_key_id=AKurFDjti5nxpT78vG8baws_secret_access_key=VigC95NUnP80tEN8BPaU0t1pH9Hl6dWA7nOV938i[cn]aws_access_key_id=AKkUOxOrl3G6FJ5fQevuaws_secret_access_key=C5eHB2NoxxiUd6iB6nJhbpEifAQBUxt......
  • helm安装minio
    1、添加helm源helmrepoaddminiohttps://helm.min.io/2、查询版本helmsearchrepominio/minio-l3、下载指定版本helmfetchminio/minio--version8.0.104、解压tar-zxfminio-8.0.10.tgz5、优化配置cdminiovimvalues.yamlresources:requests:......
  • Docker单机部署Minio
    docker安装官网文档:https://www.minio.org.cn/docs/minio/kubernetes/upstream/安装下载镜像:dockerpullminio/minio启动dockerrun-d-p9000:9000-p9090:9090--nameminio-v/opt/minio/data:/data-e"MINIO_ROOT_USER=root"-e"MINIO_ROOT_PASSWORD=12345678&q......
  • MinIO分布式部署
    目录先决条件网络和防火墙网络防火墙负载均衡顺序的主机名驱动器要求XFS格式性能最优最小IO顺序的驱动器名任意迁移时间同步考虑相同的硬软件环境存储容量规划推荐的操作系统预先存在的数据部署分布式MinIO在每一个节点上安装MinIO创建服务文件minio.service创建环境文件添加TLS/S......
  • Spring Boot + minio 实现高性能存储服务,So Easy~!
    什么是minio引用官网:MinIO是根据GNUAffero通用公共许可证v3.0发布的高性能对象存储。它与AmazonS3云存储服务兼容。使用MinIO构建用于机器学习,分析和应用程序数据工作负载的高性能基础架构。官网地址:https://min.io/文档地址:https://docs.min.io/一.使用docker搭......
  • 使用 Sealos 一键部署高可用 MinIO,开启对象存储之旅
    大家好!今天这篇文章主要向大家介绍如何通过Sealos一键部署高可用MinIO集群。MinIO对象存储是什么?对象是二进制数据,例如图像、音频文件、电子表格甚至二进制可执行代码。对象的大小可以从几B到几TB不等。像MinIO这样的对象存储平台提供了专用工具和功能,使用标准的......