首页 > 其他分享 >云端存储该如何选择

云端存储该如何选择

时间:2023-04-04 23:32:43浏览次数:29  
标签:存储 云盘 选择 ECS 共享 数据 云端

在云端有很多存储类云产品,最为常见的就是云盘、OSS、RDS,还有NAS、共享块存储等相应存储类产品。相应存储类的云产品本质上还是为了解决数据持久化的问题。

存储的数据结构类型也决定了我们选择什么样类型的存储类产品。数据的结构类型一般有以下3种。

  • 结构化数据:类似包含预定义的数据类型、格式和结构的数据,常见的如关系型数据库中的数据表里的数据。
  • 半结构化数据:具有可识别的模式并且可以解析的文本数据文件,比如XML数据文件、JSON数据文件。
  • 非结构化数据:没有固定结构的数据。通常为不同类型的文件,比如文本文档、图片、视频、日志文件、代码文件等。

云端存储的产品类型主要分为以下两大类:

  • 数据库类云产品(主要为云RDS、云MongoDB、云Redis、云Memcache)主要用于解决结构化数据及半结构化数据的持久化存储的问题。
  • 块存储(云盘)、共享块存储(共享云盘)、共享文件存储、OSS对象存储主要用于解决非结构化数据的持久化存储的问题。

这里主要看下针对非结构化数据的持久化存储。

块存储

块存储是阿里云为云服务器ECS提供的块设备(云盘),高性能、低时延,满足随机读写,像使用物理硬盘一样格式化并建立文件系统来使用块存储。

云盘主要解决非结构化数据持久化存储的问题,在云端云盘主要分为系统盘和数据盘两种类型,这决定了云盘存储数据的应用场景:·

  • 系统盘主要存储操作系统所要运行的文件及日志。
  • 数据盘可以存储Java/PHP/Python等代码文件,也可以存储图片、音视频、日志等文件。

共享块存储

ECS共享块存储是一种支持多台ECS实例并发读写访问的数据块级存储设备,即常规云盘只支持同时挂载在一台ECS上,但共享块存储支持同时挂载在多台ECS上。共享块存储产品专为企业级客户的核心业务高可用架构而设计,主要是为了解决Shared-Everything架构下对块存储设备的共享访问场景。

正确使用共享块存储的方式是采用集群文件系统进行块设备的统一管理,如GFS、GPFS等。如果只是将共享块存储挂载到多台ECS实例,依旧使用常规文件系统来管理时,会造成磁盘空间分配冲突和数据文件不一致两个问题。

共享文件存储

共享文件存储包括云端Linux系统下的NFS(Network File System)服务,Windows系统下的SMB(Server Message Block)服务,以及阿里云文件存储NAS(Network AttachedStorage)产品。

在云端使用共享文件存储(NFS/SMB/NAS)的典型应用场景如下:

  • 负载均衡中的典型场景:使用负载均衡+多台ECS(如Web服务器)部署的业务。多台ECS需要访问同一个存储空间,以便多台ECS共享数据。
  • 代码共享场景:多台ECS应用,部署的代码一致。我们可以将代码放在同一个存储空间,提供给多台ECS同时访问。
  • 日志共享场景:多台ECS应用,需要将日志写到同一个存储空间,以方便做集中的日志数据处理与分析。
  • 企业办公文件共享场景:企业有公共的文件需要共享给多组业务使用,需要集中的共享存储来存放数据。
  • 容器服务的场景:部署的容器服务需要共享访问某个文件数据源,特别是在资源编排的容器服务。对应的容器可能会在不同服务器中进行服务漂移,所以文件共享访问尤为重要。
  • 备份的场景:将线下机房的数据备份到云上,可以通过跨地域远程挂载文件系统来存储数据备份。只不过这里需要借助VPN网关或者NAT网关的技术,将IDC和云端网络打通或者进行映射。

对象存储

对象存储是以对象的形式管理数据的。一般情况下,对象分为3个部分:数据、元数据以及对象ID。对象的数据通常是无结构的数据,比如图片、视频或文档等;对象的元数据则指的是对象的相关描述,比如图片的大小、文档的拥有者等;对象ID则是一个全局的唯一标识符,是用来区分对象的。

对象存储常用在分布式文件系统GFS(Google File System)、MFS(MooseFS)、HDFS(Hadoop分布式文件系统)、TFS(Taobao File System)等。对象存储主要应对的是海量数据存储,不必担心存储容量空间的问题,并且能应对高并发的场景。

阿里云对象存储OSS底层也是基于分布式文件系统的,但是定制了许多功能特性,其结合OSSCMD/OSSUTIL等一系列工具。主要使用场景如下:

  • 图片和音视频等应用的海量存储:OSS支持流式写入和文件写入两种方式。
  • 网页或者移动应用的静态和动态资源分离:利用BGP带宽,OSS可以实现超低延时的数据直接下载。
  • 云端数据处理:上传文件到OSS后,可以配合媒体和图片处理服务进行云端的数据处理。
  • 云端数据备份:可以将ECS、RDS的备份或者线下IDC的数据很方便地同城或异地备份至OSS中。

标签:存储,云盘,选择,ECS,共享,数据,云端
From: https://blog.51cto.com/key3feng/6170098

相关文章

  • 分布式存储系统可靠性:系统量化估算
    一、引言我们常常听到衡量分布式存储系统好坏的两个指标:可用性和可靠性指标。可用性指的是系统服务的可用性。一般按全年可用时间除以全年时间来衡量可用性的好坏,平常我们说的SLA指标就是可用性指标,这里就不展开细说。可靠性指标指的是数据的可靠性。我们常说的数据可靠性11个9,在......
  • OpenTSDB 数据存储详解
    作者:DuZhimin随着互联网、尤其是物联网的发展,我们需要把各种类型的终端实时监测、检查与分析设备所采集、产生的数据记录下来,在有时间的坐标中将这些数据连点成线,往过去看可以做成多纬度报表,揭示其趋势性、规律性、异常性;往未来看可以做大数据分析,机器学习,实现预测和预警。这些数......
  • 本地存储
    ?数据能存储在用户浏览器中,两个数据库各5M,在浏览器Application上sessionStorage(关闭浏览器就消失)localStorage(同域名下不删除不会消失)use//1.增和改都一样,无就增,有就改localStorage.setItem('uname','jan')//2.查,注意加引号console.log(localStorage.getItem('unam......
  • 图像向量化_向量存储以及向量搜索和匹配
    图像数据向量化PyTorchpipinstall-itransformerstransformers包又名pytorch-transformers或者pytorch-pretrained-bert。它提供了一些列的STOA模型的实现,包括(Bert、XLNet、RoBERTa等)pytorch_model.binpipinstallsentence-transformers该框架基于......
  • DataLeap 数据资产实战:如何实现存储优化?
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群背景DataLeap作为一站式数据中台套件,汇集了字节内部多年积累的数据集成、开发、运维、治理、资产、安全等全套数据中台建设的经验,助力企业客户提升数据研发治理效率、降低管理成本。Da......
  • 存储引擎和数据类型
    目录配置文件存储引擎(面试用)mysql的基本数据类型1.整形2.浮点型3.字符串4.日期类型5.枚举与集合整型中括号内数字的作用(面试用)创建表的完整语法配置文件#1.复制my-default.ini文件#2.命名为my.ini#3.修改完配置文件只会,一定别忘重启服务端存储引擎(面试用)#理论部分......
  • 选择列表中的列 ...... 无效,因为该列没有包含在聚合函数或 GROUP BY 子句中。
    在用SQLserver对表中的数据进行查询的过程中,出现如下错误:消息8120,级别16,状态1,第27行选择列表中的列'......'无效,因为该列没有包含在聚合函数或GROUPBY子句中。其目的是因为select语句中包含聚合函数,因为聚合函数是对一组值进行操作,所以它通常与select语句的......
  • 企业应如何选择靠谱的iso认证机构?
    企业应如何选择靠谱的iso认证机构?自去年7月1日开始,认监委发布了“关于加强认证监测市场监管认证的工作通知”,掀起行业普查,这里要强调一点“普查”。以前基本上都是抽查,明显上升了10个档次。公告出来的时候,身边不少的同事就开始人心惶惶了,担心自己在劫难逃。接下来的几个月时间里“......
  • 【服务器数据恢复】raid5多块硬盘离线导致存储的卷无法挂载,EXT3文件系统元数据被破坏
    服务器数据恢复环境&故障:某企业一台存储设备,一组由16块硬盘组建的raid5磁盘阵列。管理员在巡检过程中发现该存储的卷无法挂载,经过检查发现存储设备的raid5磁盘阵列中有2块硬盘离线。服务器数据恢复过程:1、检查该存储当前状态,通过storagemanager将存储的日志状态备份。2、将存......
  • 为什么 APISIX Ingress 是比 Emissary-ingress 更好的选择?
    本文从可扩展性和服务发现集成等多个维度对比了APISIXIngress与Emissary-ingress的性能。作者:容鑫,API7.ai云原生技术工程师,ApacheAPISIXCommitter。原文链接背景KubernetesIngress是一种API对象,用于定义集群外部流量如何路由到集群内部服务的规则。IngressCont......