为充分提升基础设施相关预算的投资效率,数据安全性,客户的数据可能分布在多套存储中,按照价格、业务场景等,可以划分为如下形式:
- 本地高端存储,支撑生产类业务
- 本地低端存储,支撑归档类业务、分析型业务
- 云端高端存储,支撑生产类业务、分析型业务
- 云端低端存储,支撑归档类业务
依据不同的规则从不同的存储设备上获取数据,对于客户应用而言,则不是一个好消息,因此期望对象存储服务提供一个统一的访问点,简化客户应用程序的实现。
默认情况下,对象存储服务发现客户指定的对象不存在时,直接返回HTTP 404错误码,为实现回源业务,需要针对前述行为增加例外处理。
从实现技术角度,对象存储可以提供如下方案:
- 重定向
- 代理
- CDN
- 镜像
重定向
对象存储服务基于HTTP协议的301错误码,实现重定向。
相关流程如下:
- 客户应用访问对象存储,指定对象名。
- 对象存储服务检查对象名,发现对象在本集群中不存在。
- 对象存储服务检查回源规则,发现可以由别的对象存储服务提供访问。
- 对象存储服务在请求响应消息中返回HTTP 301错误码,同时提供指定的存储服务的URL。
- 客户应用收到HTTP 301错误码后,使用响应消息中的对象存储服务的URL,重新发起访问请求。
在上述操作流程中,客户应用可以感知到本端对象存储服务和源对象存储服务。
代理
相关流程如下:
- 客户应用访问对象存储,指定对象名。
- 对象存储服务检查对象名,发现对象在本集群中不存在。
- 对象存储服务检查回源规则,发现可以由别的对象存储服务提供访问。
- 对象存储服务将客户端的请求,转发至源对象存储服务。
- 本端对象存储服务等待源对象存储服务返回响应。
- 本端对象存储服务收到响应后,重新封装后,返回给客户应用。
- 客户应用收到响应。
在上述操作流程中,客户应用只能感知本端对象存储服务。
客户应用下次访问相同的对象时,本端对象存储服务仍然需要将请求转发至源对象存储服务。
CDN
相关流程如下:
- 客户应用访问对象存储,指定对象名。
- 对象存储服务检查对象名,发现对象在本集群中不存在。
- 对象存储服务检查回源规则,发现可以由别的对象存储服务提供访问。
- 对象存储服务将客户端的请求,转发至源对象存储服务。
- 本端对象存储服务等待源对象存储服务返回响应。
- 本端对象存储服务收到响应后
- 重新封装后,返回给客户应用。
- 在本端对象存储服务中保留一个副本,并指定过期规则。
- 客户应用收到响应。
在上述操作流程中,客户应用只能感知本端对象存储服务。
客户应用下次访问相同的对象时,
- 假如对象在本端对象存储服务中未过期,则由本端对象存储服务响应客户应用的请求。
- 假如对象在本端对象存储服务中已过期,本端对象存储服务仍然需要将请求转发至源对象存储服务,同时将对象在本端对象存储服务中保留一个副本。
镜像
相关流程如下:
- 客户应用访问对象存储,指定对象名。
- 对象存储服务检查对象名,发现对象在本集群中不存在。
- 对象存储服务检查回源规则,发现可以由别的对象存储服务提供访问。
- 对象存储服务将客户端的请求,转发至源对象存储服务。
- 本端对象存储服务等待源对象存储服务返回响应。
- 本端对象存储服务收到响应后
- 重新封装后,返回给客户应用。
- 在本端对象存储服务中保留一个副本。
- 客户应用收到响应。
在上述操作流程中,客户应用只能感知本端对象存储服务。
客户应用下次访问相同的对象时,直接由本端对象存储服务响应客户应用的请求。
实现思路
实现回源的方案时,考虑点如下:
需要回源的对象
比如:
- 对象名,比如前缀、后缀
- 访问账户
回源的站点
客户应用可以指定的参数,比如:
- 站点的URL,可以指定1个或者多个,设计点比如:
- 1个主站点,多个备站点
- 多个主站点,多个备站点
- 主、备之间切换的条件
- 站点之间的负载策略
- 站点的访问账户
- 站点的并发度
- 超出源站并发度的对策,请求排队或者直接返回即定的错误码
- 请求超时值
- 失效阈值
- 连续失败的次数
- 给定时间内失败的次数
- 连续超时的次数
- 给定时间内超时的次数
- HTTP头部的处理
- 可行的操作,比如透传、附加、修改、删除
- 处理的范围,比如请求消息中的头部、响应消息中的头部
回源支持的操作
比如读相关的操作。
回源方式
不同回源方式涉及到的业务参数。
- 重定向
- 指示客户应用需重新访问的错误码,一般是301
- 错误码映射,兼容源站的即有实现
- 代理
- 访问超时值
- 错误码映射,兼容源站的即有实现
- CDN
- 保留期,决定了对象暂存多长时间
- 保留对象的桶
- 保留对象的桶的空间配额
- 超出配额之后的对策,比如:
- 不缓存新对象
- 清理老对象,LRU等
- 镜像
- 保留对象的桶
- 保留对象的桶的空间配额
- 超出配额之后的对策,比如:
- 不缓存新对象
- 清理老对象,LRU等