首页 > 其他分享 >对象存储服务的回源特性

对象存储服务的回源特性

时间:2024-06-09 20:11:22浏览次数:27  
标签:存储 服务 回源 本端 特性 对象 客户

为充分提升基础设施相关预算的投资效率,数据安全性,客户的数据可能分布在多套存储中,按照价格、业务场景等,可以划分为如下形式:

  • 本地高端存储,支撑生产类业务
  • 本地低端存储,支撑归档类业务、分析型业务
  • 云端高端存储,支撑生产类业务、分析型业务
  • 云端低端存储,支撑归档类业务

依据不同的规则从不同的存储设备上获取数据,对于客户应用而言,则不是一个好消息,因此期望对象存储服务提供一个统一的访问点,简化客户应用程序的实现。
默认情况下,对象存储服务发现客户指定的对象不存在时,直接返回HTTP 404错误码,为实现回源业务,需要针对前述行为增加例外处理。
从实现技术角度,对象存储可以提供如下方案:

  • 重定向
  • 代理
  • CDN
  • 镜像

重定向

对象存储服务基于HTTP协议的301错误码,实现重定向。
相关流程如下:

  • 客户应用访问对象存储,指定对象名。
  • 对象存储服务检查对象名,发现对象在本集群中不存在。
  • 对象存储服务检查回源规则,发现可以由别的对象存储服务提供访问。
  • 对象存储服务在请求响应消息中返回HTTP 301错误码,同时提供指定的存储服务的URL。
  • 客户应用收到HTTP 301错误码后,使用响应消息中的对象存储服务的URL,重新发起访问请求。

在上述操作流程中,客户应用可以感知到本端对象存储服务和源对象存储服务。

代理

相关流程如下:

  • 客户应用访问对象存储,指定对象名。
  • 对象存储服务检查对象名,发现对象在本集群中不存在。
  • 对象存储服务检查回源规则,发现可以由别的对象存储服务提供访问。
  • 对象存储服务将客户端的请求,转发至源对象存储服务。
  • 本端对象存储服务等待源对象存储服务返回响应。
  • 本端对象存储服务收到响应后,重新封装后,返回给客户应用。
  • 客户应用收到响应。

在上述操作流程中,客户应用只能感知本端对象存储服务。
客户应用下次访问相同的对象时,本端对象存储服务仍然需要将请求转发至源对象存储服务。

CDN

相关流程如下:

  • 客户应用访问对象存储,指定对象名。
  • 对象存储服务检查对象名,发现对象在本集群中不存在。
  • 对象存储服务检查回源规则,发现可以由别的对象存储服务提供访问。
  • 对象存储服务将客户端的请求,转发至源对象存储服务。
  • 本端对象存储服务等待源对象存储服务返回响应。
  • 本端对象存储服务收到响应后
    • 重新封装后,返回给客户应用。
    • 在本端对象存储服务中保留一个副本,并指定过期规则。
  • 客户应用收到响应。

在上述操作流程中,客户应用只能感知本端对象存储服务。
客户应用下次访问相同的对象时,

  • 假如对象在本端对象存储服务中未过期,则由本端对象存储服务响应客户应用的请求。
  • 假如对象在本端对象存储服务中已过期,本端对象存储服务仍然需要将请求转发至源对象存储服务,同时将对象在本端对象存储服务中保留一个副本。

镜像

相关流程如下:

  • 客户应用访问对象存储,指定对象名。
  • 对象存储服务检查对象名,发现对象在本集群中不存在。
  • 对象存储服务检查回源规则,发现可以由别的对象存储服务提供访问。
  • 对象存储服务将客户端的请求,转发至源对象存储服务。
  • 本端对象存储服务等待源对象存储服务返回响应。
  • 本端对象存储服务收到响应后
    • 重新封装后,返回给客户应用。
    • 在本端对象存储服务中保留一个副本。
  • 客户应用收到响应。

在上述操作流程中,客户应用只能感知本端对象存储服务。
客户应用下次访问相同的对象时,直接由本端对象存储服务响应客户应用的请求。

实现思路

实现回源的方案时,考虑点如下:
需要回源的对象
比如:

  • 对象名,比如前缀、后缀
  • 访问账户

回源的站点
客户应用可以指定的参数,比如:

  • 站点的URL,可以指定1个或者多个,设计点比如:
    • 1个主站点,多个备站点
    • 多个主站点,多个备站点
    • 主、备之间切换的条件
    • 站点之间的负载策略
  • 站点的访问账户
  • 站点的并发度
    • 超出源站并发度的对策,请求排队或者直接返回即定的错误码
  • 请求超时值
  • 失效阈值
    • 连续失败的次数
    • 给定时间内失败的次数
    • 连续超时的次数
    • 给定时间内超时的次数
  • HTTP头部的处理
    • 可行的操作,比如透传、附加、修改、删除
    • 处理的范围,比如请求消息中的头部、响应消息中的头部

回源支持的操作
比如读相关的操作。

回源方式
不同回源方式涉及到的业务参数。

  • 重定向
    • 指示客户应用需重新访问的错误码,一般是301
    • 错误码映射,兼容源站的即有实现
  • 代理
    • 访问超时值
    • 错误码映射,兼容源站的即有实现
  • CDN
    • 保留期,决定了对象暂存多长时间
    • 保留对象的桶
    • 保留对象的桶的空间配额
    • 超出配额之后的对策,比如:
      • 不缓存新对象
      • 清理老对象,LRU等
  • 镜像
    • 保留对象的桶
    • 保留对象的桶的空间配额
    • 超出配额之后的对策,比如:
      • 不缓存新对象
      • 清理老对象,LRU等

参考资料

华为云

XSKY

标签:存储,服务,回源,本端,特性,对象,客户
From: https://www.cnblogs.com/jackieathome/p/18239937

相关文章

  • 对象存储服务的加密特性
    实现思路加密特性的方案,涉及如下设计点:密钥的用途加密的位置加密的算法加密密钥的使用加密密钥的管理密钥的用途密钥的用途分为管理密钥和数据密钥。管理密钥用于加密数据密钥,需要定期更换,更换成本低;假如管理密钥丢失,则导致数据密钥无法解密,从而丢失数据。数据密钥用......
  • JSON文件存储
    JSON文件存储JSON,全称为JavaScriptObjectNotation,也就是JavaScript对象标记,通过对象和数组的组合来表示数据,构造简洁但是结构化程度非常高,是一种轻量级的数据交换格式。对象和数组在JavaScript语言中,一切皆为对象。因此任何支持的类型都可以通过JSON......
  • AD622ARZ-R7仪表放大器芯片PDF手册数据手册引脚图产品参数产品手册特性
    产品说明:AD622是一款低成本、中等精度的仪表放大器,采用传统引脚配置,仅需一个外部电阻即可设置2至1000之间的任何增益。对于增益为1时,无需外部电阻。AD622是一款完全差分或减法放大器系统,通过集成精密激光调整电阻器,提供出色的线性度和共模抑制性能。AD622取代了低成本、分立......
  • AD620ARZ高精度仪表放大器中文资料PDF数据手册引脚图产品手册产品参数特性
    产品说明:AD620是一款低成本、高精度仪表放大器,仅需一个外部电阻即可设置1至10,000的增益。此外,AD620采用8引脚SOIC和DIP封装,比分立式设计更小,功耗更低(最大电源电流仅为1.3mA),非常适合电池供电的便携式(或远程)应用。AD620具有40ppm(最大非线性值)的高精度、50μV(最大值)的低失调......
  • 存储引擎解析:选择最佳方案以提升数据库性能【文末送书】
    文章目录什么是存储引擎?01关系型数据库&NoSQL数据库&NewSQL数据库02OLTP&OLAP&HTAP对比03总结《深入浅出存储引擎》【文末送书】在计算机科学领域中,存储引擎是数据存储和检索的核心组件之一。它们是数据库系统的重要部分,负责管理数据的持久化存储和快速检索。本文......
  • C++三大特性之多态
    1.多态1.1多态的概念在面向对象方法中一般是这样表述多态性的:向不同的对象发送同一个消息,不同的对象在接收时会产生不同的行为(即方法)也就是说,每个对象可以用自己的方式去响应共同的消息。所谓消息,就是调用函数,不同的行为就是指不同的实现,即执行不同的函数。通俗来说,就是......
  • C++20 新特性: 三向比较运算符
    目录标题功能和用法示例代码如何重载三向比较运算符示例:重载三向比较运算符注意事项结语C++20引入了一种新的比较运算符,称为“三向比较运算符”或“太空船运算符”,其符号为<=>。这个运算符提供了一种简化方式来同时比较两个值的相等性、小于和大于状态。这一特......
  • Wi-Fi 7新特性(三):Preamble Puncturing
    一、总体说明    PreamblePuncturing(前导码打孔)(名字很抽象但实现原理很简单),该机制的作用是,当从信道忙的时仅将忙的信道剔除,继续使用剩余非连续的从信道。而在Wi-Fi6及之前的技术中,当其中任一从信道忙时会将所有的从信道置为不可用,仅在使用主信道,从而导致信道利用率......
  • 精密运算放大器芯片OPA2377AIDGKR中文资料PDF数据手册产品参数产品手册特性
    OPA2377的说明OPA377系列运算放大器是宽带宽CMOS放大器,可提供极低噪声、低输入偏置电流和低失调电压,同时以0.76mA(典型值)的低静态电流运行。OPA377运算放大器针对低电压、单电源应用进行了优化。交流和直流性能的出色组合使其成为各种应用的理想选择,包括小信号调理、音......
  • 第一章 MySQL体系结构和存储引擎
    1.1定义数据库和实例数据库:物理操作系统文件或其他形式文件类型的集合实例:MySQL数据库由后台线程以及一个共享内存区组成在MySQL数据库中,实例与数据库的关系通常是一一对应的,即一个实例对应一个数据库,一个数据库对应一个实例MySQL数据库实例在系统上的表现就是一个进程MySQ......