首页 > 其他分享 >aws----文件存储efs的全面了解

aws----文件存储efs的全面了解

时间:2023-08-08 23:35:13浏览次数:49  
标签:存储 EFS AWS efs aws 文件系统 ---- Amazon 吞吐量


efs简介

Amazon Elastic File System

可扩展的、弹性原生云 NFS 文件系统,每月 0.08 USD/GB

Amazon EFS 是一项完全托管的服务,让您可以轻松地在 Amazon 云中设置和扩展文件存储,并对其进行成本优化。只需在 AWS 管理控制台中单击几次,您就可以创建文件系统,供 Amazon EC2 实例通过文件系统界面(使用标准操作系统文件 I/O API)访问,且支持完整的文件系统访问语义(例如强一致性和文件锁定)。

Amazon EFS 文件系统可以自动将数据容量从 GB 级扩展到 PB 级,无需预置存储。数十、数百甚至数千个 Amazon EC2 实例可以同时访问一个 Amazon EFS 文件系统,且 Amazon EFS 可以为每个 Amazon EC2 实例提供稳定的性能。Amazon EFS 具有极高的持久性和可用性。Amazon EFS 没有最低费用和设置成本,您只需按实际使用量付费。

Amazon Elastic File System (Amazon EFS) 可提供简单、可扩展、完全托管的弹性 NFS 文件系统,以与 AWS 云服务和本地资源配合使用。它可在不中断应用程序的情况下按需扩展到 PB 级,随着添加或删除文件自动扩展或缩减,无需预置和管理容量,可自适应增长。

Amazon EFS 提供两种存储类:标准存储类和不频繁访问存储类 (EFS IA)。EFS IA 提供针对每天未访问的文件进行了成本优化的性价比。只需在文件系统上启用 EFS 生命周期管理,根据您选择的生命周期策略,未被访问的文件将自动且透明地迁移到 EFS IA。EFS IA 存储类仅需每月 0.025 USD/GB*。

虽然工作负载模式各不相同,但客户通常会发现 80% 的文件很少被访问(适用于 EFS IA),而 20% 的文件则被频繁使用(适用于 EFS 标准),因此有效存储成本低至每月 0.08 USD/GB*。Amazon EFS 透明地为公共文件系统命名空间中的两个存储类文件提供服务。

Amazon EFS 旨在为数千个 Amazon EC2 实例提供大规模并行共享访问模式,可让您的应用程序在一致、低延迟的状态下实现高水平的总吞吐量和 IOPS。

Amazon EFS 非常适合支持从主目录到业务关键型应用程序在内的各种使用案例。客户可以使用 EFS 将现有企业应用程序直接迁移到 AWS 云。其他使用案例包括:大数据分析、Web 服务和内容管理、应用程序开发和测试、媒体和娱乐工作流程、数据库备份和容器存储。

Amazon EFS 是一种用于在多个可用区 (AZ) 中存储数据以提供高可用性和持久性的区域服务。Amazon EC2 实例可以跨 AZ、区域和 VPC 访问文件系统,而本地服务器可以使用 AWS Direct Connect 或 AWS VPN 访问。

特点

POSIX 标准的共享文件存储

Amazon EFS 通过 NFSv4 协议使用传统的文件权限模型、文件锁定功能和分层目录结构同时为 Amazon EC2 实例和本地服务器的数千个连接提供安全访问。Amazon EC2 实例可以跨 AZ、区域和 VPC 访问文件系统,而本地服务器可以使用 AWS Direct Connect 或 AWS VPN 访问。

可扩展的性能

Amazon EFS 旨在提供 Linux 工作负载所需的吞吐量、IOPS 和低延迟。吞吐量和 IOPS 随着文件系统的增长而扩展,并可以在短时间内突增至更高的吞吐量级别,以支持文件工作负载不可预测的性能需求。对于要求最苛刻的工作负载,Amazon EFS 可以支持超过 10GB/秒以及超过 500,000 IOPS 的性能。

动态弹性

Amazon EFS 可在您添加或删除文件时自动、即时地对文件系统存储容量进行扩展或缩减而不中断应用程序,根据您的所需动态提供存储容量。您只需创建文件系统,然后开始添加文件,而无需提前预置存储。

完全托管

Amazon EFS 是一项完全托管的服务,为 Linux 工作负载提供共享的文件系统存储。它提供简单的界面,让您可以快速创建和配置文件系统,并为您管理文件存储基础设施,从而避免了部署、修补和维护文件系统的基础带来的复杂性。

经济高效

借助 Amazon EFS 存储,您只需按实际用量付费。无需提前配置存储,也没有最低购买或前期费用要求。借助 EFS 生命周期管理,您可以将不经常访问的文件自动移动到成本优化型存储类,使文件存储成本降低高达 92%。 您还可以使用 AWS 预算来监控文件系统成本。

安全性与合规性

Amazon EFS 可让您使用现有的安全基础设施安全地访问文件。使用 POSIX 权限、Amazon VPC 和 AWS IAM 控制对 Amazon EFS 文件系统的访问。通过加密静止和传输状态的数据对其进行保护。Amazon EFS 还满足多个资格和合规性要求,以帮助您满足法规要求。

使用流程

aws----文件存储efs的全面了解_分布式存储

使用场景

Amazon EFS 旨在为广泛的工作负载和应用程序提供性能,其中包括大数据和分析、媒体处理工作流、内容管理、Web 服务和主目录。

直接迁移企业应用程序

Amazon EFS 具有较高的可扩展性、弹性、可用性和持久性,因而可以用作企业应用程序和以服务形式交付的应用程序的文件存储。利用其标准文件系统界面、文件系统权限和目录层次结构,您可以轻松地将企业应用程序从本地迁移到 AWS 云中,或者构建新应用程序。

分析与机器学习

Amazon EFS 提供机器学习和大数据分析工作负载所需的易用性、扩展性、性能和一致性。数据科学家可以使用 EFS 创建可提供主目录存储笔记本文件、培训数据和模型构件的个性化环境。Amazon SageMaker 与 EFS 集成,用于培训工作,使数据科学家能够快速迭代。

Web 服务和内容管理

Amazon EFS 为内容管理系统和 Web 服务应用程序提供持久的高吞吐量文件系统,这些内容管理系统和应用程序为各种应用(如网站、在线出版物和存档)存储和提供信息。由于 Amazon EFS 遵循 Web 开发人员习惯使用的常规文件系统目录结构、文件命名约定和权限,因此它可以与 Web 应用程序轻松集成。

应用程序测试和开发

Amazon EFS 为您的开发环境提供通用的存储库,让您能够以安全有序的方式共享代码及其他文件。只需单击几下,您便可以配置、复制、扩展或存档测试、开发和生产环境,这让组织能够更灵活、更快速地满足客户需求。Amazon EFS 提供了一种可扩展且高度可用的解决方案,非常适合测试和开发工作负载。

媒体与娱乐

视频编辑、影音制作、广播处理、声音设计和渲染等媒体工作流通常依赖于共享存储来操作大型文件。Amazon EFS 提供具有高吞吐量和共享文件访问的强数据一致性模型,它可以缩短执行这些作业所需的时间,并将多个本地文件存储库整合到一个位置以供所有用户使用。

数据库备份

Amazon EFS 提供可使用 NFSv4 从数据库服务器轻松挂载的标准文件系统。这为使用原生应用程序工具或企业备份应用程序创建便携式数据库备份提供了理想平台。许多企业希望利用在云中存储数据库备份的灵活性,作为更新期间的临时保护或进行开发和测试。

容器存储

Amazon EFS 非常适合提供对通用文件存储库的持久共享访问的容器存储。容器是构建微服务过程中不可或缺的组成部分,因为它们可快速预置,容易移植,并提供进程隔离。每次启动时都需要访问原始数据的容器可以利用共享文件系统,这样无论它们在哪个实例上运行,都可以连接到该文件系统。

使用案例

使用efs的企业很多,比如:

BBC 使用共享文件存储将 Red Button 应用程序迁移到 AWS 云
通过使用 Amazon EFS 共享文件,BBC 得以构建一个敏捷且成本高效的解决方案,将其本地 Red Button 互动电视服务迁移到 AWS 云。借助 Amazon EC2、Amazon EFS、Amazon SNS、Amazon SQS 和 Amazon Kinesis 等服务,该公司得以按时按预算完成其完整应用程序的迁移。

更多企业使用场景参考官网

aws----文件存储efs的全面了解_文件系统_02

Amazon EFS、Amazon S3 以及Amazon Elastic Block Store (EBS) 的区别和使用场景

Amazon Web Services (AWS) 提供多种云存储服务来支持各种存储工作负载。

Amazon EFS 是一项可与 Amazon EC2 配合使用的文件存储服务。Amazon EFS 可以提供文件系统界面、文件系统访问语义(例如强一致性和文件锁定)以及可供多达数千个 Amazon EC2 实例同时访问的存储。

Amazon EBS 是一项可与 Amazon EC2 配合使用的数据块级存储服务。对于需要从单个 EC2 实例低延迟访问数据的工作负载,Amazon EBS 可为其提供高性能服务。

Amazon S3 是一项对象存储服务。Amazon S3 通过可以在任何地方访问的 Internet API 来提供数据访问。

AWS S3对于静态页面的托管、多媒体分发、版本管理、大数据分析、数据存档来说都非常有用。S3可以和AWS CloudFront结合使用而达到更快的上传和下载速度。

AWS EBS是可以用来做数据库或托管应用程序的持续性文件系统,EBS具有很高的IO读写速度并且即插即用。

相比前面两种存储,AWS EFS是比较新的一项服务。它提供了可以在多个EC2实例之间共享的网络文件系统,功能类似于NAS设备。可以用EFS来处理大数据分析、多媒体处理和内容管理。

下面是三种系统的详细对比:

特性

Amazon S3

EBS

EFS

存储类型

对象存储

块存储

文件存储

存储大小

没有限制

最大为16TB

没有限制

单个文件大小限制

0字节~5TB

没有限制

最大52TB

IO吞吐量

支持multipart上传


如果使用single object upload,单个文件大小限制为5GB

可以选择HDD或者SSD的磁盘类型,以提供不同的IO

默认3GB

访问

能通过因特网访问

只能被单个EC2实例访问

可以被上千个EC2实例同时访问

可用性

99.99%

99.99%

高度可用(官方没有公布相关数据)

速度比较

最慢

最快

中等

价格

最便宜

中等

最贵

在真正采用某一种AWS存储类型的时候,需要考虑到上面的这些参数,以及真实的使用场景。每一种存储类型都有自己最适用的使用场景,都能最大化地发挥自己优势。

如何开始使用efs

要使用 Amazon EFS,您必须拥有 AWS 账户。如果还没有 AWS 账户,您可以注册一个 AWS 账户并立即享受 AWS 免费套餐。

创建 AWS 账户之后,请参阅 Amazon EFS 入门指南,开始使用 Amazon EFS。您可以通过 AWS 管理控制台、AWS 命令行界面 (AWS CLI) 和 Amazon EFS API(以及各种语言的软件开发工具包)来创建文件系统。

我们将在后续的文章中记录 使用的步骤。

efs使用的协议nfsv4

要访问您的文件系统,您需要使用标准 Linux 挂载命令和文件系统的 DNS 名称将文件系统挂载到基于 Linux 的 Amazon EC2 实例上。为了简化对 EFS 文件系统的访问,我们建议使用 EFS 挂载助手实用程序。 挂载完成后,您就可以像使用本地文件系统一样,使用您文件系统中的文件和目录。

Amazon EFS 使用网络文件系统版本 4 (NFS v4) 协议。

我们将在后续的文章中记录 使用的步骤。

Amazon EFS 支持哪些类型的 Amazon EC2 实例和 AMI

Amazon EFS 与适用于 Amazon EC2 的所有基于 Linux 的 AMI 兼容。您可以将不同类型的实例关联到一个文件系统。

如何管理文件系统?

Amazon EFS 是一项完全托管的服务,因此所有文件存储基础设施均由aws为我们管理。使用 Amazon EFS,不需要部署和维护复杂的文件系统基础设施。Amazon EFS 文件系统可以随着增减文件的操作自动进行扩展和收缩,因此不需要进行存储的采购和预配置工作。

可以通过 AWS 管理控制台、AWS 命令行界面 (CLI) 或 Amazon EFS API(以及各种语言的软件开发工具包)来管理文件系统。通过控制台、API 和软件开发工具包,可以创建和删除文件系统、配置文件系统的访问方式、创建和编辑文件系统标签、启用预置吞吐量和生命周期管理等功能,以及显示文件系统的详细信息。

如何把老数据转移到EFS中

AWS DataSync 提供一种快速而简单的方法,可将现有文件系统与 Amazon EFS 安全同步。 DataSync 适用于任何网络连接,包括 AWS Direct Connect 或 AWS VPN。AWS Direct Connect 提供了一个高带宽、低延迟的专用网络连接,您可以通过它挂载 EFS 文件系统。可以使用 AWS DataSync 在两个 EFS 文件系统之间复制文件,包括不同 AWS 区域中的文件系统或属于不同 AWS 账户的文件系统。

您也可以使用标准 Linux 复制工具将数据文件移至 Amazon EFS。

EFS的存储类型和性能价格区别

Amazon EFS 提供哪些存储类?

Amazon EFS 提供标准和不经常访问存储类。标准存储类是为活动文件系统工作负载而设计的,您只需为每月使用的文件系统存储付费。EFS 不频繁访问 (EFS IA) 是一种成本较低的存储类,针对不经常访问的文件进行了成本优化。存储在 EFS IA 存储类中的数据成本比标准存储类低 85%,每次读取或写入文件时都需要支付费用。EFS 文件系统透明地提供来自两个存储类的数据。

如何将文件移动到 EFS IA?

启用 EFS 生命周期管理并选择一种年龄策略即可将文件移动到 EFS IA。生命周期管理会根据您选择的生命周期策略自动将您的数据转移到 EFS IA 存储类。例如,如果数据十四天未被访问,您可以自动将文件移动到 EFS IA。
问:我什么时候应该启用生命周期管理?

当文件系统包含不需要每天访问的文件时,可以启用生命周期管理,以降低存储成本。EFS IA 是 EFS 客户的理想选择,他们需要可以随时访问其完整数据集,并希望自动节省存储成本,因为他们访问文件的频率较低。示例包括满足审核、执行历史分析或备份和恢复。

禁用 EFS 生命周期管理时会发生什么?

禁用生命周期管理时,文件将不再移动到不经常访问存储类,并且已移至 EFS IA 的所有文件将保留在该位置。

使用 EFS IA 存储类时支持哪些 Amazon EFS 功能?

在使用 EFS IA 存储类时支持所有 Amazon EFS 功能。 小于 128KiB 的文件不符合生命周期管理的条件,并且始终存储在 EFS 标准中。

EFS 标准和 EFS 不经常访问存储类之间延迟是否存在差异?

在读取或写入 EFS IA 时,您的第一字节延迟会高于 EFS 标准。EFS 标准旨在提供个位数的平均延迟,而 EFS IA 旨在提供两位数的平均延迟。
问:我可以针对存储在 EFS 不经常访问存储类中的文件实现多大吞吐量?

您可以针对 EFS 文件系统实现的吞吐量与 EFS 标准存储类中存储的数据量成线性比例。所有 EFS 文件系统,不管其大小如何,都能突增到 100 MiB/秒的吞吐量。对于超过 1 TiB 标准存储的文件系统,存储在 EFS 标准上的每 TiB 数据可以突增到 100 MiB/秒。如果您需要超过文件系统允许的 EFS IA 吞吐量,请使用 EFS 预配置吞吐量。

AWS EFS是一个低成本的、简单易用的云原生NFS文件存储系统,能提供很好的弹性存储能力,扩展性什么的,EFS本身就有很好的容错性设计,能提供很好的一致性存储服务。最明显缺点可能就是价格有点贵。

EFS的免费容错性设计,跨越us-west region的同处一个vpc的四个az。

AWS给出的数据和IDC给出的数据都显示,只有20%的数据是需要经常访问的,80%的数据都不是经常访问的,又是一个经典的28定律,这说明存储分层的必要性。

EFS通过生命周期管理进行分层存储优化成本,EFS的生命周期管理在后台运行,按照设定的规则来运行后,符合规则的数据会自动迁移到EFS IA存储上,对应用来说,这些操作都是透明的,对用户来说,设定策略的操作很简单。

EFS IA本身跨越多个存储分层,但访问性方面还不错,与原来的EFS相比没有太多变化,唯一变化的是延迟高了点,原来是几ms,现在是几十ms,差异就好比磁盘跟SSD的区别,需要注意的是,原来的应用不需要任何更改,因为应用访问的还是原来的命名空间。

AWS标准的EFS的话现在每月每GB需要0.3美金,今年二月份有了EFS IA之后,每月每GB需要0.045美金,而现在能降到每月每GB0.025美金。

算一笔账,如果有100TB的数据要存,按照28定律来算,20TB使用标准的EFS,那就是6000美金,80TB用EFS IA的,那就是2000美金,算下来一共需要8000美金,平均每GB每个月就是0.8美金。

使用标准的EFS的话,成本是3万美金,差了2.2万美金呢,节省的钱很可观。

数据保护和可用性

Amazon EFS 如何实现高度的持久性和可用性?

每个文件系统对象(即目录、文件和链接)均会在多个可用区中进行冗余存储。此外,文件系统还可以从其所在区域中的各个可用区同时访问,这意味着您在构建应用程序时,可以使其从区域中的一个可用区故障转移到其他可用区,从而确保应用程序的高可用性。挂载目标本身即具有高可用性。

Amazon EFS 是否提供服务等级协议 (SLA)?

是。如果客户的月度正常运行时间百分比在任何账单周期内都低于我们的服务承诺,Amazon EFS SLA 将提供服务积分。

如何备份文件系统?

Amazon EFS 具有极高的持久性。您可以使用 AWS Backup 来安排 Amazon EFS 文件系统的自动增量式备份。有关更多信息,请参阅 Amazon EFS 演练:适用于 Amazon EFS 文件系统的备份解决方案。

如何从 VPC 外访问文件系统?

您 VPC 内的 Amazon EC2 实例可以直接访问您的文件系统,而 VPC 外的 Amazon EC2 Classic 实例可以通过 ClassicLink 挂载文件系统。如果使用 VPC 对等连接或 VPC 传输网关连接,其他 VPC 中的 Amazon EC2 实例可以访问您的文件系统。本地服务器可以通过 AWS Direct Connect 或 AWS VPN 连接将文件系统挂载到 VPC。

规模和性能

我可以存储多少数据?

Amazon EFS 文件系统可以存储数 PB 数据。Amazon EFS 文件系统具有弹性,可以随着您增减文件的操作自动进行扩展和收缩。您不需要预置文件系统的大小,只需按实际使用量付费。
问:一个文件系统可以连接多少个 Amazon EC2 实例?

Amazon EFS 支持一个到数千个 Amazon EC2 实例同时连接一个文件系统。

我可以创建多少个文件系统?

每个区域最多可创建 1000 个文件系统。有关 Amazon EFS 限制的信息,请访问 Amazon EFS 限制页面。

与其他存储解决方案相比,Amazon EFS 的性能如何?

Amazon EFS 文件系统分布在任意数量的存储服务器上,使文件系统可以弹性扩展到 PB 级,并支持从多个 Amazon EC2 实例大规模并行访问数据。Amazon EFS 的分布式设计可以避免传统文件服务器固有的瓶颈和限制。

该分布式数据存储设计意味着,多线程应用程序和从多个 Amazon EC2 实例同时访问数据的应用程序可以推动实现极高的总吞吐量和 IOPS。这些应用程序可以是大数据及分析工作负载、媒体处理工作流程、内容管理以及 Web 服务。

下表简要对比了 AWS 的文件和数据块云存储产品的性能和存储特性。

Amazon EFS

Amazon EBS (io1)

每次操作的延迟

低且稳定

最低且稳定

吞吐量级别

每秒多 GB

每秒单 GB

Amazon EFS 的分布式特性可以实现高水平的可用性、持久性和可扩展性。这种分布式架构使得每次文件操作的延迟开销都较低。由于每次操作的延迟都较低并且延迟开销会分摊到更多的数据上,因此总吞吐量通常会随着平均 I/O 大小的增加而提高。Amazon EFS 支持高度并行化的工作负载(即从多个线程和多个 EC2 实例执行一致操作),因而可实现非常高的总吞吐量和 IOPS。
问:“一般用途”和“最大 I/O”这两种性能模式有什么区别? 我应该使用哪一种?

“一般用途”性能模式适用于大多数文件系统,是您创建文件系统时默认选择的模式。“最大 I/O”性能模式适用于数十、数百或数千个 EC2 实例访问文件系统的情况,系统的总吞吐量和每秒操作次数都会增加,但文件操作延迟会稍微提高。有关更多信息,请参阅有关文件系统性能的文档。
问:文件系统支持多高的吞吐量?

文件系统的吞吐量随着文件系统规模的扩大而增加。由于基于文件的工作负载通常会在短时间内突增,在特定时段内需要较高的吞吐量,在其余时间则需要较低的吞吐量,因此 Amazon EFS 设计具有突增功能,可在特定时段内提供高吞吐量。所有文件系统的稳定基准性能为每 TB 标准类存储 50MB/s,所有文件系统(无论大小)均可以突增至 100MB/s,而标准类存储大于 1TB 的文件系统均可以突增至每 TB 100MB/s。当您向文件系统中添加数据时,文件系统的最大吞吐量会随着您在 Amazon EFS 标准存储类中的存储量自动线性扩展。

连接到一个文件系统的所有 Amazon EC2 实例可以共享文件系统的吞吐量。例如,一个吞吐量能够突增至 100MB/s 的 1TB 文件系统支持单个 Amazon EC2 实例使用 100MB/s 的吞吐量,或者 10 个 Amazon EC2 实例共同使用 100MB/s 的吞吐量。有关更多信息,请参阅有关文件系统性能的文档。

预置吞吐量

什么是预置吞吐量?应在何时使用?

预置吞吐量使 Amazon EFS 客户能够预置文件系统的吞吐量(无需考虑存储的数据量),从而优化文件系统的吞吐性能,以满足应用程序的需求。

注意是用来给efs加速的。默认的efs速度是 每 GB 50KB/s 吞吐量的基准速率,如果我们对吞吐的速度有更高的要求的花,就需要选用 预置吞吐量进行设置。

Amazon EFS 预置吞吐量适用于吞吐量 (MB/s) 与存储 (TB) 比率较高的应用程序。例如,如果客户将 Amazon EFS 用于开发工具、Web 服务或内容管理应用程序(在这种情况下,相对于吞吐量需求而言,文件系统中的数据量较小),则能立即获得应用程序所需的高水平吞吐量。

您可以通过 AWS 控制台、AWS CLI 或 AWS API 选择文件系统的吞吐量模式。有关更多详情,请参阅有关预置吞吐量的文档。

Amazon EFS 预置吞吐量如何运作?

如果您为文件系统选择预置吞吐量模式,则可预置文件系统的吞吐量,而无需考虑存储的数据量,并单独为存储和预置吞吐量付费(例如,在美国东部 [弗吉尼亚北部],每月每 GB 标准存储 0.30 USD,每月每 MB/s 预置吞吐量 6.00 USD)。

如果您选择默认的突增吞吐量模式,文件系统的吞吐量将随着 Amazon EFS 标准存储类中存储的数据量线性扩展。在默认的突增吞吐量模式下,标准存储价格包含每 GB 50KB/s 吞吐量的基准速率。

在预置吞吐量模式下,标准存储价格也包含每 GB 50KB/s(每 20GB 1MB/s)吞吐量的基准速率。例如,如果您一个月在 Amazon EFS 标准上存储 20GB,并配置 5MB/s 的吞吐量,则将按每月 20GB 的存储和 4 (5-1) MB/s 的吞吐量付费。

在预置吞吐量模式下,我将如何付费?

在预置吞吐量模式下,您将按使用的存储量和预置的吞吐量单独付费。您需要采用以下维度按小时付费:

存储(每月 GB 数) – 您需要按您使用的存储量(每月 GB 数)付费。
吞吐量(每月 MB/s 数) – 您需要按您预置的吞吐量(每月 MB/s 数)付费。

我多长时间可以更改一次文件系统的预置吞吐量?

如果您的文件系统处于预置吞吐量模式,您可以根据需要随时增加文件系统的预置吞吐量。您可以在预置吞吐量模式下降低文件系统的吞吐量,或者在预置吞吐量模式和默认的突增吞吐量模式之间进行更改,但前提是距离上次降低或吞吐量模式更改超过 24 小时。

如果预置吞吐量模式设置的吞吐量比我在突增模式下有权获得的基准吞吐量少,那么我的文件系统的吞吐量是多少?

在默认的突增吞吐量模式下,文件系统的吞吐量将随存储的数据量增长而扩展。如果在预置吞吐量模式下的文件系统在初始配置之后大小有所增长,那么该文件系统在突增吞吐量模式下的基准速率可能比预置吞吐量模式要高。

在这种情况下,文件系统的吞吐量将是您在默认的突增吞吐量模式下有权获得的吞吐量,并且您不会为超出突增存储成本的吞吐量支付任何额外费用。您还能根据 Amazon EFS 吞吐量突增模式进行突增。

访问控制

如何控制哪些 Amazon EC2 实例可以访问我的文件系统?

您可以 VPC 安全组规则和 AWS Identity and Access Management (IAM) 策略来控制哪些 EC2 实例可以访问您的文件系统。使用 VPC 安全组来控制进出文件系统的网络流量。将 IAM 策略附加到文件系统,以控制哪些客户端可以挂载文件系统,以及具有哪些权限,并使用 EFS 接入点来管理应用程序访问。通过设置符合 POSIX 标准的用户和用户组权限来控制对文件和目录的访问。

如何使用 IAM 策略来管理文件系统访问权限?

借助 EFS 控制台,您可以将常见策略应用到文件系统,如禁用根访问权限、强制执行只读访问或者强制对文件系统的所有连接加密。此外,您还可以应用更高级的策略,例如向特定 IAM 角色(包括其他 AWS 账户中的角色)授予访问权限。

接入点

什么是 EFS 接入点?

EFS 接入点简化了为 EFS 文件系统中的共享数据集提供应用程序访问权限的流程。EFS 接入点可与 AWS IAM 配合工作,并强制为通过接入点发出的所有文件系统请求使用操作系统用户和组以及目录。您可以为每个文件系统创建多个接入点,并使用这些接入点来提供特定应用程序的访问权限。

为什么应该使用 EFS 接入点?

EFS 接入点提供了一种在 NFS 环境中管理应用程序访问权限的灵活方式,具有更好的可扩展性、安全性和易用性。可从 EFS 接入点受益的使用案例包括基于容器的环境(开发人员构建和部署自己的容器)、需要访问生产数据的数据科学应用程序、以及与其他 AWS 账户共享文件系统中的特定目录。

EFS 接入点的工作原理是什么?

在创建 EFS 接入点时,您可以为使用该接入点的所有连接配置操作系统用户和组,以及根目录。如果您指定根目录的拥有者,则 EFS 将使用您在客户端第一次连接到接入点时提供的权限自动创建根目录。此外,您还可以更新文件系统的 IAM 策略以应用于接入点。例如,您可以应用需要特定 IAM 身份的策略来连接到指定的接入点。有关更多信息,请参阅 EFS 用户指南。

加密

什么是 Amazon EFS 加密?

Amazon EFS 提供对静态数据和动态数据进行加密的能力。

数据在静态时以透明的方式加密,在读取时以透明的方式解密,因此您无需修改应用程序。加密密钥由 AWS Key Management Service (KMS) 托管,无需构建和维护安全的密钥管理基础设施。

动态数据加密使用行业标准传输层安全协议 (TLS) 1.2 来加密在客户端和 EFS 文件系统之间发送的数据。

静态和动态数据加密可以一起配置或单独配置,以帮助满足您特殊的安全要求。

有关更多详细信息,请参阅关于加密的用户文档。

什么是 AWS Key Management Service (KMS)?

AWS KMS 管理 EFS 文件系统上加密的静态数据的加密密钥。 AWS KMS 是一项托管服务,可让您轻松创建和控制加密数据所用的加密密钥。AWS Key Management Service 可与 AWS 产品集成(包括 Amazon EFS、Amazon EBS 和 Amazon S3),让您可以使用您管理的加密密钥轻松加密数据。 AWS Key Management Service 还可与 AWS CloudTrail 集成,为您提供所有密钥的使用记录,帮助您满足监管和合规性要求。

如何为 Amazon EFS 文件系统启用加密?

您可以在 EFS 控制台启用静态加密,或者使用 AWS CLI 或开发工具包启用加密。在 EFS 控制台中创建新的文件系统时,单击“Create File System”,然后单击相应的复选框启用加密。

通过使用 EFS 挂接助手,您可以在 Amazon EFS 文件系统与其客户端之间进行动态加密。

静态和动态数据加密可以一起配置或单独配置,以帮助满足您特殊的安全要求。

有关更多详细信息,请参阅关于加密的用户文档。

加密是否会影响 Amazon EFS 的性能?

加密数据对 I/O 延迟和吞吐量的影响微乎其微。

本地访问

如何从本地数据中心中的服务器访问 EFS 文件系统?

要从本地访问 EFS 文件系统,您必须在您的本地数据中心和 Amazon VPC 之间建立 AWS Direct Connect 或 AWS VPN 连接。

您可以使用标准 Linux 挂载命令将 EFS 文件系统挂载到您的本地 Linux 服务器,该命令通过 NFSv4.1 协议挂载文件系统。

有关从本地服务器访问 EFS 文件系统的更多信息,请参阅文档。

如果能够从本地服务器访问 EFS 文件系统,我可以做些什么?

您可以将您的 Amazon EFS 文件系统挂载到您的本地服务器,并可以使用标准 Linux 工具和脚本或 AWS DataSync 将文件数据移入和移出 Amazon EFS。将文件数据移入和移出 Amazon EFS 文件系统的功能支持以下三种使用案例。

第一种,您可以将数据从本地数据中心迁移到 Amazon EFS 文件系统,并且永久驻留其中。

第二种,您可以支持云突增工作负载,以将您的应用程序处理分流到云中。您可以将数据从您的本地服务器移动到 EFS 文件系统,然后在 Amazon VPC 中 EC2 实例的一个群集上对其进行分析,并将结果永久存储在您的 EFS 文件系统中或将结果迁移回您的本地服务器。

第三种,您可以定期将您的本地文件数据复制到 EFS,以支持备份和灾难恢复情况。

是否可以同时从本地数据中心服务器和 Amazon EC2 实例访问 Amazon EFS 文件系统?

可以,您可以同时从您的本地数据中心服务器和 Amazon VPC 中的 Amazon EC2 实例访问 Amazon EFS 文件系统。在访问文件系统的所有 EC2 实例和本地服务器之间,Amazon EFS 提供相同的文件系统访问语义,比如数据强一致性和文件锁定。

将文件数据移入和移出本地服务器时,有哪些建议的最佳实践?

由于远距离传输数据存在传播延迟,因此您的本地数据中心和 Amazon VPC 之间的网络连接可能存在几十毫秒的网络延迟。如果您的文件操作已经实现了序列化,则网路连接的延迟将直接影响您的读取和写入吞吐量;实际上,您在一段时间内可以读取或写入的数据量受限于完成每次读取和写入操作所需的时间。要最大限度地提高吞吐量,您可以并行执行文件操作,以便 EFS 可以同时处理多个读取和写入操作。您可以借助 GNU Parallel 等标准工具并行执行文件数据的复制操作。有关更多信息,请参阅在线文档。

如何将现有数据从本地文件存储复制到 Amazon EFS?

有许多方法可将现有本地数据复制到 Amazon EFS 中。AWS DataSync 提供一种快速简单的方式,可将现有文件系统安全地同步到 Amazon EFS,并适用于任何网络,包括 AWS Direct Connect

AWS Direct Connect 提供了一个高带宽、低延迟的专用网络连接,您可以通过它挂载 Amazon EFS 文件系统。完成安装后,您可以使用 DataSync 将数据复制到 Amazon EFS,速度比标准 Linux 复制工具快 10 倍。

有关 AWS DataSync 的更多信息,请参阅本常见问题的 DataSync 部分。

AWS DataSync

什么是 AWS DataSync?

AWS DataSync 是一种在线数据传输服务,可以更快更简单地在本地存储与 Amazon EFS 之间移动数据。DataSync 使用专用协议来加速和保护通过 Internet 或 AWS Direct Connect 传输的数据,速度比开源工具快 10 倍。使用 DataSync,您可以执行一次性数据迁移,传输本地数据以进行及时的云端分析,并自动复制到 AWS 以进行数据保护和恢复。要了解更多信息,请访问 AWS DataSync 页面。
问:如何使用 AWS DataSync 将数据复制到我的 EFS 文件系统中或从中复制数据?

要开始使用 AWS DataSync,首先要部署可从 AWS 管理控制台下载的软件代理。部署后,您可以使用控制台或 AWS 命令行界面 (CLI),通过网络文件系统 (NFS) 协议将代理连接到本地或云中的文件系统,选择 Amazon EFS 文件系统,然后开始复制数据。
问:是否可以使用 AWS DataSync 在区域之间复制 EFS 数据?

是的,您可以使用 AWS DataSync 在两个 EFS 文件系统之间传输文件,包括不同 AWS 区域中的文件系统或属于不同 AWS 账户的文件系统。 有关更多信息,请参阅文档。

兼容性

现有 AWS 产品与 Amazon EFS 的互操作性和兼容性如何?

Amazon EFS 集成了多项其他 AWS 产品,其中包括 Amazon CloudWatch、AWS CloudFormation、AWS CloudTrail、AWS IAM 和 AWS 标记服务。

借助 Amazon CloudWatch,您可以通过指标来监控文件系统活动。借助 AWS CloudFormation,您可以使用模板来创建和管理文件系统。

借助 AWS CloudTrail,您可以在日志文件中记录所有 Amazon EFS API 调用。

借助 AWS Identity and Access Management (IAM),您可以控制谁可以管理您的文件系统。借助 AWS 标记服务,您可以使用自己定义的元数据对文件系统进行标记。

Amazon EFS 支持哪种类型的锁定?

Amazon EFS 中的锁定遵循适用于建议锁定的 NFSv4.1 协议,您的应用程序可以使用整个文件锁定和字节范围锁定。

文件系统的名称是否像 Amazon S3 存储桶名称一样,属于全局性名称?

每个文件系统都有一个自动生成的、在全局范围内唯一的 ID 编号。您可以用名称来标记您的文件系统,这些名称不需要是唯一名称。

定价与计费

Amazon EFS 如何收费?

使用 Amazon EFS,您只需按每月的实际用量付费。

采用预置吞吐量模式时,您需要按每月预置的吞吐量付费。没有最低消费和设置费用。

EFS IA 的定价基于使用的存储量和访问的数据量。在生命周期管理将文件完全移动到 EFS IA 之前,文件存储在 EFS 标准存储中,并按标准费率计费。

借助 Amazon EFS,您仅需为实际使用的资源付费。没有最低消费和设置费用。

Amazon EFS 提供两种存储类:标准存储类和不频繁访问存储类 (EFS IA)。EFS IA 提供针对每天未访问的文件进行了成本优化的价格/性能。要将数据加载到 EFS IA 中,只需为文件系统启用生命周期管理,并将存储成本降低最高 92%。

根据行业研究和客户分析显示,平均而言,20% 的文件会被经常使用,而其余 80% 的文件不常被访问。据此估算,您可以在 Amazon EFS 上以 0.08 USD/GB/月*的有效价格存储文件。 请参见以下详细定价示例。

美国东部(弗吉尼亚北部)区域定价

Amazon EFS 标准存储类

标准存储类是为活动文件系统工作负载设计的,您只需为每月使用的文件系统存储量付费。

Amazon EFS 不频繁访问存储类

不频繁访问存储类针对访问频率较低的文件进行了成本优化。存储在不频繁访问存储类中的数据成本低于标准存储类,每次读取或写入文件时将要支付费用。

Amazon EFS 突增吞吐量(默认)

在默认的突增吞吐量模式下,没有带宽和请求费用,EFS 标准存储价格包含的基准速率是每 GB 吞吐量 50 KB/s。

Amazon EFS 预置吞吐量

您还可以选择预置吞吐量模式,预置文件系统的吞吐量(而不考虑存储的数据量),并单独为存储量和吞吐量付费。就像默认的突增吞吐量模式一样,在预置吞吐量模式下,EFS 标准存储价格包含的基准速率也是每 GB 吞吐量 50 KB/s(或每 20 GB 吞吐量 1 MB/s)。您只需为预置的吞吐量中超出基于所存储数据提供的吞吐量的那一部分付费。

区域:亚太香港
标准存储(GB/月) 0.39 USD
不频繁访问存储类(GB/月) 0.027 USD
不频繁访问请求(根据传输的 GB 数) 0.013 USD
预置吞吐量(MB/s/月) 7.80 USD

更多区域访问 efs定价查询

价格是否含税?

除非另行说明,否则我们的价格不包含适用的税费和关税(包括增值税和适用的销售税)。使用日本账单地址的客户若要使用 AWS,则需缴纳日本消费税。

注意事项

不支持将 Amazon EFS 与基于 Microsoft Windows 的 Amazon EC2 实例结合使用

标签:存储,EFS,AWS,efs,aws,文件系统,----,Amazon,吞吐量
From: https://blog.51cto.com/u_16218512/7013760

相关文章

  • 单调栈
    LargestRectangleinaHistogram经典题单调栈:保持栈内元素单调递增因为如果递减后面的元素的高度就会替换前面的元素的高度前面元素等价于多个后面元素当有新元素加入是将原先的递增序列从后往前更新答案最后使得栈保持原有性质这样可以保证每个元素只会被考虑一次,不用......
  • k8s--kubernetes--argo----使用动态存储PVC---基于nfs 的storageclass
    PVC简介Docker中有volumes的概念,在Docker中,volume是对物理节点服务器node路径目录的一种映射,也就是我们可以把服务器的一个目录挂载给镜像使用。同样的,k8s创建的pod也可以挂载volume,而且不仅仅支持pod所在的服务器node的目录映射,也可以挂载其他网络存储的作为目录挂载。k8s支......
  • 红帽认证RedHat-RHCSA shell的基本应用用户和组管理网络配置和防火墙管理笔记汇总
    shell命令概述Shell作用:命令解释器介于操作系统内核与用户之间,负责解释命令行获得命令帮助内部命令help命令的“--help”选项使用man命令阅读手册页命令行编辑的几个辅助操作Tab键:自动补齐反斜杠“\”:强制换行快捷键Ctrl+U:清空至行首快捷键Ctrl+K:清空至行尾快捷键Ctr......
  • Kotlin中的Data Class
    DataClassKotlin中的DataClass主要用于封装和持有数据,作用类似Java中的POJO对象。dataclassUser(nickname:String,sex:Int,age:Int)在class之前加上data关键字即可声明一个DataClass。Kotlin中编译器会自动为DataClass实现equals()方法hashcode()方法toStr......
  • docker--k8s---终端terminal和普通程序以及jupyter notebook-创建永久的静态环境变量-
    终端terminal和普通程序linux系统的中主要有两种启用系统环境的情况,一种是用户登录,比如进入bash或者sh等命令行操作shell界面,一种是用户不登录,而是程序自动运行。根据两种情况,适用的创建永久的环境变量的方式就会有所不同。创建永久的静态环境变量静态环境变量是指内容不会变......
  • hadoop组件---spark实战-----airflow----调度工具airflow定时运行任务的理解
    我们在前面已经初步了解了airflow:hadoop组件—spark实战-----airflow----调度工具airflow的介绍和使用示例但是我们开始尝试使用airflow的定时任务的时候,常常遇到一个尴尬的情况,任务没有成功运行,或者说设置开始时间是今天,但是明天才开始运行。本篇文章尝试说明其中的......
  • k8s 学习笔记之配置存储——ConfigMap&Secret
    配置存储ConfigMapConfigMap是一种比较特殊的存储卷,它的主要作用是用来存储配置信息的。创建configmap.yaml,内容如下:apiVersion:v1kind:ConfigMapmetadata:name:configmapnamespace:devdata:info:|(这个|后面整个都是值)username:adminpassword:12......
  • hadoop组件---spark实战-----airflow----调度工具airflow部署到k8s中使用
    在之前的文章中我们已经了解了airflow和它的工作原理。hadoop组件—spark实战-----airflow----调度工具airflow的介绍和使用示例Scheduler进程,WebServer进程和Worker进程需要单独启动。Scheduler和WebServer可以跑在一个操作系统内,也可以分开,而通常Worker需要很多,如果是部署特定......
  • k8s---使用ingress配置域名转发时的traefik路径规则详解
    ingress中traefik的使用方式如下:apiVersion:extensions/v1beta1kind:Ingressmetadata:name:spark-client-testnamespace:defaultannotations:kubernetes.io/ingress.class:traefiktraefik.frontend.rule.type:PathPrefixspec:rules:-host:......
  • hadoop组件---spark实战-----airflow----调度工具airflow的介绍和使用示例
    Airflow是什么Airflow是一个可编程,调度和监控的工作流平台,基于有向无环图(DAG),airflow可以定义一组有依赖的任务,按照依赖依次执行。airflow提供了丰富的命令行工具用于系统管控,而其web管理界面同样也可以方便的管控调度任务,并且对任务运行状态进行实时监控,方便了系统的运维和管理,......