首页 > 其他分享 >开源免费的对象存储Minio

开源免费的对象存储Minio

时间:2023-12-26 14:24:05浏览次数:24  
标签:存储 删码 Minio 对象 开源 数据

简介: Minio是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口,非常适合存储大容量、非结构化的数据。例如,图片、视频、日志文件、备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小的,从几KB到5TB不等。

什么是Minio?


Minio是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口,非常适合存储大容量、非结构化的数据。例如,图片、视频、日志文件、备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小的,从几KB到5TB不等。

2a70f5c2f73d462d92c98fb96df7429d.png

Minio架构


Minio可以支持多种后端存储格式,最简单的是直接通过文件系统保存对象,这些对象在登录机器后可以直接打开文件查看,但是这样会使用比较多的存储空间,Minio使用更多的是差错码,或者纠错码(erasure code)的方式存储。

 

通过erasure code、校验和checksum来保护数据免受硬件故障和无声数据损坏。即便丢失了一半数量(N/2)的硬盘,仍然可以恢复数据。下图是Minio存储的逻辑架构图

 

主要支持三种存储方式,分别是:

 

  • 文件系统对象存储fsObject
  • 差错码对象存储xlObject
  • 第三方对象存储GatewayLayer。

 

其中,GatewayLayer只是一个存储接口,用于对接到Azure、AWS或者GCS的对象存储

c6f1fac2005d4ffca663db086c6a1c52.png

如何和k8s结合?


MinIO是S3对象存储呀,不能直接当 Storage Class的。可以套个 juicefs 间接使用。

和raid的区别?


纠删码是一种恢复丢失和损坏数据的数学算法,Minio采用Reed-Solomon code将对象拆分成N/2的数据和N/2的奇偶校验块。这就意味着如果是12块盘,一个对象会被分成6个数据块、6个奇偶校验块,你可以丢失任意6块盘(不管其是存放的数据块,还是奇偶校验块),都可以通过剩下的盘中的数据进行恢复。

 

看似和RAID很相似,但纠删码的工作原理和RAID或者复制并不同,例如,RAID6可以在损失两块盘的情况下不丢数据

Minio数据恢复的粒度


Minio纠删码在丢失一半的盘的情况下,仍可以保证数据安全。

 

Minio纠删码作用在对象级别,可以一次恢复一个对象

 

RAID作用在卷级别,数据恢复时间很长

 

Minio对每个对象单独编码,存储服务一经部署,通常情况下不需要更换硬盘或者修复。Minio纠删码的设计目标是为了提升性能,尽可能地使用硬件加速。

分布式对象存储


470e8af1b4e145d894fa241280dcce03.png

标签:存储,删码,Minio,对象,开源,数据
From: https://www.cnblogs.com/gaoyanbing/p/17928021.html

相关文章

  • 开源对象存储Minio部署篇
    简介: MinIO是一个基于ApacheLicensev2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口,非常适合于存储大容量非结构化的数据,例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小,从几kb到最大5T不等。(摘自minio中文站点https://docs.m......
  • minio集群的部署【nginx+minio]
    1、配置MinIO集群配置本地解析在/etc/hosts中配置vim/etc/hosts#添加以下内容,每台MinIO节点都需要配置192.168.5.1minio-1192.168.5.2minio-2192.168.5.3minio-3192.168.5.4minio-4 在4台服务器上创建MinIO存储文件夹mkdir-p/data/miniochmod750/data/minio......
  • 2023年度低代码平台企业TOP50榜单公布—以开源起家的JeecgBoot格外亮眼
    近日,中国科学院主管、科学出版社主办的国家级核心期刊《互联网周刊》联合eNet研究院、德本咨询评选的《2023低代码企业50强》榜单正式公布。这一榜单的公布引起了业内外的广泛关注,因为其中涵盖了低代码开发领域的众多杰出企业,展现了低代码产业的发展趋势和行业格局。在这份备......
  • 1.6kstar,推荐一款开源软件,sharing
    1简介sharing是一个命令行工具,用于将目录和文件从命令行共享到iOS和Android设备,而无需额外的客户端应用程序2安装github源码可以访问如下地址https://github.com/parvardegr/sharinggithub如果无法访问的话,可以后台直接私信该工具需要nodejs环境,通过npm安装npminst......
  • Nessus安装 开源漏洞扫描程序
    Nessus安装下载链接:https://www.tenable.com/downloads/nessus?loginAttempted=trueubuntu linux版本(Nessus-10.6.4-ubuntu1404_amd64.deb)安装上传下载的文件到服务器后sudodpkg-iNessus-10.6.4-ubuntu1404_amd64.debsystemctlstartnessusd&&systemctlenableness......
  • 使用 PostgreSQL 16.1 + Citus 12.1 作为多个微服务的分布式 Sharding 存储后端
    在本教程中,我们将使用PostgreSQL16.1+Citus12.1作为多个微服务的存储后端,演示此类集群的样例设置和基本操作。Citus12.1实验环境设置Docker快速启动Citus分布式集群docker-compose.ymlversion:"3"services:master:container_name:"${COMPOSE_PROJECT......
  • 【开源项目推荐】Apache Superset——最优秀的开源数据可视化与数据探索平台
    大家好,我是独孤风。数据可视化是数据领域一个非常重要的应用。而结合了数据可视化和数据探索功能的BI(商业智能)工具,更是被各大公司青睐。但是,由于数据可视化工具的开发成本过高,长期以来一直是商业化的BI工具处于垄断地位。那么,有没有优秀的开源数据可视化与数据探索平台呢?今天......
  • 棱镜七彩亮相2023北京国际金融安全论坛,助力金融行业开源治理
    近日,由北京市地方金融监督管理局、房山区人民政府指导,中国财富传媒集团主办,北京国家金融科技认证中心等承办的2023北京国际金融安全论坛暨金融科技标准认证生态大会在北京金融安全产业园成功举办,棱镜七彩作为特邀企业亮相本次展会。本次论坛以“传递信任服务发展”主题,邀请来自地......
  • EasyCVR如何快速定位占用大量存储空间的文件?
    在EasyCVR运行过程中,通常会产生大量的日志,而用户一般不知道在哪里进行处理。今天小编就教大家一个方法,可以节省大量存储空间。1)首先写一个脚本,脚本的用途主要是查找超过40M的文件,当然这个数值可以自定义,只需要在脚本内更改即可;!/bin/bash使用find命令找到当前目录下所有超过50M的文......
  • NOR Flash掀存储器新一轮涨价潮 | 百能云芯
    储存型快闪存储器(NANDFlash)、DRAM报价陆续止跌回升之后,编码型快闪记忆体(NORFlash)受惠于库存回补,尤其每台AI终端装置搭载的NORFlash容量以数倍爆发性增长,引领NORFlash接棒启动新一波内存涨价潮,预计下月起先涨5%,明年第2季再涨10%,华邦、旺宏等台厂受惠大。这是NORFlash市场低迷超......