首页 > 其他分享 >juicefs cubefs 等元数据分离文件系统分析

juicefs cubefs 等元数据分离文件系统分析

时间:2024-06-23 15:31:34浏览次数:26  
标签:存储 cache cubefs 文件系统 hpfs mp juicefs cephfs 数据

在近期 我看到过国外一个大牛开发的hpfs https://mp.csdn.net/mp_blog/creation/editor/139739977(请看我前面发的片文章)我瞬间就想到国内同类似产品 juicefs cubefs 这两个东西,当时这种产品出现我就有一个疑问,为什么要把元数据单独弄个数据库去存呢?你还要开发数据冗余机制去保护数据的安全和稳定性,存储数据的部分的底座本身就有数据副本机制和安全机制为啥 不直接存储到数据底座上呢?而且,经过二把刀开发的那些东西本身就是是个问题,如何保证元数据的安全?相比rados这种经过多年沉淀的对象存储,这种元数据与数据分离的方案的元数据的的稳定性和安全等同于专业选手9段与一个业余选手入门级的对比,把元数据存储到这样一个东西里本身就是把自身的数据安全和稳定交给了一帮卖二手的人手里。再说性能问题,元数据和数据分离就是把raft 理论做另一种简单分组进行分发,这个事情没任何新意,实际使用中这种并发真的很线性嘛?还有一些锁的问题无法回避,导致并发力度及其有限,很可能弄一大度分组 分发的并发的力度也才提升两三倍,再看看国际上是否看到这样的架构产品呢?几乎没有,为什么?因为这种架构带来的收益和你的产出完全不成正比,甚至是没任何价值的东西。而我看到hpfs这种架构的时候却是在实实在在的在解决问题,而不是制造问题,hpfs请看我前面的文章, hpfs https://mp.csdn.net/mp_blog/creation/editor/139739977(请看我前面发的片文章)
这位国外大牛就是把元数据的并发做的很完美,而且没有引入元数据安全的麻烦,直接把元数据存储到了rados上,这个方案是合理的。
再问一个题,cephfs客户端有cache吗?
答案是没有。难道cephfs那些在国际存储行业的大牛不知道在cephfs客户端使用cache会提高性能,让客户爽歪歪吗?有的客户端cache默认就十几,几百g内存,你的数据量小的客户 他做的后台存储 可能这辈子都不用打交道,就是个单机的内存存储软件,岂能不快?
答案是,他们当然知道,但是,他们也知道客户端引入cache会有很多问题是根本解决不了的,也是数据安全性的问题,不是简单的丢数据的问题,老鸟都知道我就不捅破了,也就是cephfs老外不想诈骗!
hofs url:
GitHub - ptozys2/hpfs
 

标签:存储,cache,cubefs,文件系统,hpfs,mp,juicefs,cephfs,数据
From: https://blog.csdn.net/Hpfs_good/article/details/139897065

相关文章

  • .NET Core的文件系统[3]:由PhysicalFileProvider构建的物理文件系统
    原文链接:https://blog.csdn.net/weixin_33795833/article/details/90324791ASP.NETCore应用中使用得最多的还是具体的物理文件,比如配置文件、View文件以及网页上的静态文件,物理文件系统的抽象通过PhysicalFileProvider这个FileProvider来实现,该类型定义在NuGet包“Microsoft.Ext......
  • 【转】EROFS文件系统这几年(一) —— 缘起
    作为一名多年的文件系统爱好者,自2017年冬在家汇聚一些想法和思路来POC只读压缩文件系统(即后来开源并upstream到Linux主线的EROFS文件系统)直到今天已经有4年的时间。我相信很多人不解为什么要长时间专注一个这么“简单”的只读文件系统,本文希望从我的自述解答如下问题:1、之前的只......
  • Linux文件系统【真的很详细】
    目录 一.认识磁盘1.1磁盘的物理结构1.2磁盘的存储结构1.3磁盘的逻辑存储结构二.理解文件系统 2.1如何管理磁盘2.2如何在磁盘中找到文件 2.3关于文件名哈喽,大家好。今天我们学习文件系统,我们之前在Linux基础IO中研究的是进程和被打开文件之间的关系,以及如何管理被......
  • 列出并排序文件系统根目录(/)下各个目录的大小
    du-sh/*|&grep-v"du:"|sort-hrdu:是一个用于估计文件和目录磁盘使用空间的命令。-s:表示总结,只显示每个指定目录的总大小。-h:表示“human-readable”,即以易读的格式(如K,M,G)显示大小。/:这是一个通配符,它匹配根(/)下的所有目录。因此,du-sh/会列出根目录下所......
  • 充分发挥 EFSDUMP 的强大功能,使用教程 更加高效地进行加密文件系统的管理和审计。请根
    EFSDUMP的基本用法大纲:1.查看帮助信息bashCopyCodeefsdump--help这个命令将显示EFSDUMP的帮助信息,包括可用选项和参数的说明。2.提取加密文件信息bashCopyCodeefsdump<file_path>通过指定要提取信息的加密文件路径,可以使用EFSDUMP命令来获取该文件的加密属性、......
  • 文件系统(六):一文看懂linux ext4文件系统工作原理
    liwen012024.06.09前言Linux系统中的ext2、ext3、ext4文件系统,它们都有很强的向后和向前兼容性,可以在数据不丢失的情况下进行文件系统的升级。目前ext4是一个相对较成熟、稳定且高效的文件系统,适用于绝大部分规模和需求的Linux环境。ext4它突出的特点有:数据分段管理、多块分......
  • 【Gold菜鸟】Linux知识回忆(4)——磁盘存储和文件系统管理
    前言这一部分让我们来了解,Linux中的磁盘存储和文件系统管理吧~VX: wenjinworkon目录磁盘结构1.1设备文件1.2硬盘类型1.3硬盘类型管理存储2.1磁盘分区2.1.1MBR2.1.2GPT2.1.3管理分区命令2.2文件系统2.2.1文件系统类型2.2.2创建文件系统2.3挂载2.3......
  • 11Linux文件系统与日志分析
    目录11.1深入理解Linux文件系统11.1.1inode与block详解1、inode和block概述2、inode的内容3、inode的号码4、inode的大小11.1.2硬链接与软链接1、硬链接2、软链接11.1.3EXT类型文件恢复1、编译安装extundelete2、模拟删除并执行恢复操作11.1.4xfs文件备份和......
  • 11 深入理解Linux文件系统与日志分析
    目录11.1深入理解Linux文件系统    11.1.1inode与block详解        1.inode和block概述        2.inode的内容        3.inode的号码        4.inode的大小    11.1.2硬链接与......
  • 在Linux中,文件系统概念是什么?
    文件系统是Linux操作系统中用于管理文件和目录的一种机制。它通过树状结构来组织数据,使用户能够方便地存储、检索和管理数据。文件系统不仅为操作系统和应用程序提供了数据的存储和检索方法,而且对于系统的稳定性和数据安全性也至关重要。下面将详细介绍Linux文件系统的基本概念和......