首页 > 其他分享 >浪潮分布式存储:让数据融合互通,为“云数智”应用构筑新平台

浪潮分布式存储:让数据融合互通,为“云数智”应用构筑新平台

时间:2023-02-02 15:31:30浏览次数:36  
标签:协议 存储 HDFS S3 测序 互通 云数智 数据 分布式

数字时代,数据共享互通成为刚需​

数字经济时代,云计算、大数据、人工智能等新技术快速发展,非结构化数据爆发式增长,数据类型变得愈发复杂多样。在自动驾驶、基因测序、气象预报等云数智应用场景中,一次数据处理可能会涉及到文件、对象、大数据等多种协议,数据间的互通转换成为数据存储中至关重要的一环,具备平台化能力的融合存储成为数字基础设施建设的核心。​

以基因测序场景为例,一次完整的基因测序涉及到数据采集、格式化、脱敏、压缩、分析、发布等操作,其过程可以大致分为样本采集、DNA/RNA测序、数据分析和发布四个步骤。在不同的处理阶段,需要使用不同的数据协议进行操作。其中在样本采集和DNA/RNA测序阶段采用NFS文件协议,数据分析阶段采用HDFS大数据协议,数据发布阶段则是通过公网数据共享采用S3对象协议。整个数据处理过程涉及三种协议格式,这就意味着完成一次基因的测序流程需要在NFS、HDFS和S3之间进行两次数据拷贝和数据格式的转换。传统存储仅支持单一的访问协议,这就会造成两个问题:一是数据格式转换和数据拷贝会降低整个数据处理流程的效率;二是多套存储副本增加存储空间成本。​


浪潮分布式存储:让数据融合互通,为“云数智”应用构筑新平台_元数据

基因测序应用需要使用多种数据协议​


百川入海:浪潮基于一套存储 承载多样化数据​

浪潮分布式存储平台AS13000基于对非结构化数据协议(NFS/CIFS/HDFS/S3)融合互通的研究进行技术创新,采用统一的数据管理和元数据管理、统一的增值特性服务、统一的分布式存储资源池和统一的管理软件系统,保证各种协议共享同一份数据和元数据。访问过程中无需数据转换和拷贝,并且为每种协议提供原生语义服务,每种服务均可直接访问,无需安装网关、插件或在计算侧或应用层进行改造。​

浪潮分布式存储:让数据融合互通,为“云数智”应用构筑新平台_数据_02

AS13000非结构化数据融合架构​


基于“多合一”极简架构,浪潮分布式存储得以实现四个“统一”。​

首先,提供统一的数据管理和元数据管理。

数据管理和元数据管理是非结构化数据存储的关键,浪潮分布式存储平台AS13000根据NFS、CIFS、HDFS和S3的语义和元数据特点,抽象各协议的数据和元数据操作,通过一套统一的非结构化数据和元数据管理架构有效地保证各协议的原生访问。​

其次,提供统一的增值特性服务。

基于统一的数据访问接口和元数据管理的架构设计,浪潮AS13000对外提供统一的增值特性服务,包括统一配额、QoS、加密、压缩、快照、回收站、分级存储、远程复制、元数据检索等等。​

以下图为例:同一个元数据检索服务ElasticSearch支持NFS、CIFS、S3、HDFS多种协议,并且各协议为同一配置入口和查询入口。​

浪潮分布式存储:让数据融合互通,为“云数智”应用构筑新平台_HDFS_03

统一增值特性示例:元数据检索服务

再次,构建统一的分布式存储资源池。

AS13000支持NFS/CIFS/HDFS/S3等多种服务协议共享非结构化存储资源池,并且同一个文件不同协议访问的数据和元数据为同一份。例如,通过文件NFS协议写入的一个文件,通过对象存储AWS S3协议、大数据HDFS协议和文件CIFS协议均可读取;每个节点都可以启动文件NAS、大数据HDFS和对象存储S3服务。​

最后,打造统一的管理系统。

管理软件负责集群的安装、部署、业务配置、设备管理、监控、告警等功能。浪潮分布式存储平台AS13000打造了融合互通的管理系统,可同时支持NFS/CIFS/HDFS/S3等多种服务协议,增值特性通过统一的配置入口对所有非结构化存储协议同时生效,减少了企业的管理成本。​

浪潮分布式存储平台AS13000通过多年来的持续技术创新,以一份数据支持多种协议访问,实现了非结构化数据融合互通,在提升数据处理效率的同时降低了存储购置和运维成本,保障各协议的语义无损和性能无损,构筑了面向“云数智”应用的融合存储平台,助力企业数字化转型,加速释放数据价值。​

标签:协议,存储,HDFS,S3,测序,互通,云数智,数据,分布式
From: https://blog.51cto.com/u_15890566/6033714

相关文章

  • 企业级分布式监控WGCLOUD - 如何关闭某个主机的告警提醒
    有时候我们对某个服务器临时进行维护,需要关机那么我们告警就会提示主机已经下线了,那么如何关闭这个提示呢我先写两个常用的方法,选择一种即可:1.直接在主机列表删除该主机......
  • 【分布式链路追踪】Skywalking分布式链路追踪基于Docker安装与使用
    1.服务监控三要素[1]服务监控需要满足的三要素分别如下:日志监控指标监控请求链路追踪服务监控只要能满足这三个要素,基本就能实现我们想要的监控效果。1.1.主流APM......
  • LightDB 1CN2DN分布式环境部署
     环境3台服务器,分布式部署如下:    安装部署(注:以下部署流程中所设计的IP、端口、HOME/DATA等路径需根据实际环境进行替换,此处仅为举例说明)1.使用LightDB安装......
  • 75、缓存---分布式锁---缓存的一致性解决
    我们使用前面记录的redisson来加锁但是此时还存在问题,就是缓存的一致性问题1、双写模式:修改数据后,将缓存中数据一并修改2、失效模式:修改数据后,将缓存中的数据直接删除......
  • Jmeter学习:分布式压测
    GUI模式中的不足A:图形展示与压力机在本机,压测性能受本机的资源限制(CPU和内存)B:本机与应用程序大多数不在同一网段,网络上有延迟和带宽限制C:无法扩容,压力......
  • 75、缓存---分布式锁---Redisson信号量测试
    可以用来做分布式限流操作。我们在redis中存储一个数据为3@AutowiredRedissonClientredissonClient;@AutowiredStringRedisTemplateredisTemplate......
  • 74、缓存---分布式锁---Redisson闭锁测试
    @AutowiredRedissonClientredissonClient;@AutowiredStringRedisTemplateredisTemplate;//闭锁@GetMapping("/lockDoor")@Response......
  • 73、缓存---分布式锁---Redisson读写锁测试
    保证一定读到最新数据,修改期间,写锁是一个排他锁/互斥锁。读锁是一个共享锁。(相当于操作系统中的读写者问题)写锁没释放读必须等待测试如下:@AutowiredRedissonClient......
  • 72、缓存---分布式锁---Redisson的Lock锁测试
    @GetMapping("/hello")@ResponseBodypublicStringhello(){//1、获取一把锁,只要是锁的名字一样,就是同一把锁RLocklock=redissonClien......
  • seata分布式事务原理解释,AT模式简介
    seata是阿里开源的一个分布式事务框架,能够让大家在操作分布式事务时,像操作本地事务一样简单。一个注解搞定分布式事务。有些地方官网文档写的可能比较难以理解,这里用较为简......