- 2024-09-04性能、成本与 POSIX 兼容性比较: JuiceFS vs EFS vs FSx for Lustre
JuiceFS是一款为云环境设计的分布式高性能文件系统。AmazonEFS易于使用且可伸缩,适用于多种应用。AmazonFSxforLustre则是面向处理快速和大规模数据工作负载的高性能文件系统。在本文中,我们将通过一系列测试,来评估这三种主流文件系统的性能与成本表现,帮助用户快速了解这些
- 2024-04-22Lustre架构介绍的阅读笔记-客户端
本文是在阅读IntroductiontoLustre*Architecture的LustreFileSystem–Clients时的笔记。Lustre客户端部署在客户的计算节点上,工作时不占用本地的硬盘。不使用本地硬盘作为缓存或者后备空间。对存储系统的访问均通过网络。Lustre客户端作为Linux内核的模块,工作在内核
- 2024-04-22Lustre架构介绍的阅读笔记-SMB协议
本文是在阅读IntroductiontoLustre*Architecture的LustreSMBGatewaySystemArchitecture时的笔记。Lustre只支持Linux系统,但借助Samba可以支持SMB协议,进而对Windows主机提供文件访问能力。参考资料WelcometotheCTDBwebpagesCTDBisaclusterimplementationof
- 2024-04-06Lustre架构介绍的阅读笔记-基础知识
本文是在阅读IntroductiontoLustre*Architecture的如下章节时的笔记。Lustre–Fast,ScalableStorageforHPCLustreScalableStorageLustreBuildingBlocksLustreStorageScalabilityLustresoftwareservicesareimplementedentirelywithintheLinuxkerne
- 2024-03-06从 HPC 到 AI:探索文件系统的发展及性能评估
随着AI技术的迅速发展,模型规模和复杂度以及待处理数据量都在急剧上升,这些趋势使得高性能计算(HPC)变得越来越必要。HPC通过集成强大的计算资源,比如GPU和CPU集群,提供了处理和分析大规模数据所需的算力。然而,这也带来了新的挑战,尤其是在存储系统方面,包括如何有效处理大量数据
- 2023-11-25【Lustre相关】应用部署-01-源码编译IB驱动及lustre软件包
一、编译安装系统版本:CentOSLinuxrelease7.9.2009(Core)内核版本:3.10.0-1160.el7.x86_64网卡型号:MellanoxTechnologiesMT2892Family[ConnectX-6Dx]软件版本:lfs2.12.9ib注:使用CentOS-7-x86_64-Everything-2009ISO,选择Minimalinstall安装,勾选Debugging