在近期我看到过国外一个大牛开发的hpfshttps://mp.csdn.net/mp_blog/creation/editor/139739977（请看我前面发的片文章）我瞬间就想到国内同类似产品juicefscubefs这两个东西，当时这种产品出现我就有一个疑问，为什么要把元数据单独弄个数据库去存呢？你还要开发数据冗余机制去保

贝壳机器学习平台的计算资源，尤其是GPU，主要依赖公有云服务，并分布在不同的地理区域。为了让存储可以灵活地跟随计算资源，存储系统需具备高度的灵活性，支持跨区域的数据访问和迁移，同时确保计算任务的连续性和高效性；此外，随着数据量的增长，元数据管理的压力也在逐渐加大。贝壳机器学习平

JuiceFSv1.2-beta1今天正式发布。在这个版本中，除了进行了大量使用体验优化和bug修复外，新增三个特性：Gateway功能扩展：新增了“身份和访问管理（IdentityandAccessManagement，IAM）”与“事件通知”，为用户提供更安全、灵活和自动化的数据管理和监控能力，适用于多用户环境和复

当JuiceFS文件系统部署完成并投入生产环境，接下来就需要着手解决一个非常重要的问题——如何实时监控它的运行状态？毕竟，它可能正在为关键的业务应用或容器工作负载提供持久化存储支持，任何小小的故障或性能下降都可能造成不利的影响。JuiceFS启动后会实时发布自身的运行状态数

大模型应用领域的迅猛发展，也推动着基础技术领域持续探索和进步。文件存储服务在AI基础设施中成为不可或缺的重要部分。在过去18个月的时间里，JuiceFS 团队与MiniMax，阶跃星辰，智谱AI，面壁智能，零一万物等大模型团队展开了交流与合作，已经支持了多家客户生产环境中数千卡的训练任

知乎，中文互联网领域领先的问答社区和原创内容平台，2011年1月正式上线，月活跃用户超过1亿。平台的搜索和推荐服务得益于先进的AI算法，数百名算法工程师基于数据平台和机器学习平台进行海量数据处理和算法训练任务。为了提高系统的易用性和灵活性，知乎实施了多云混合部署架构，允

GoogleColaboratory（Colab）是一个由Google提供的云端Jupyter编程笔记本，直接通过浏览器即可进行Python编程。Colab充分利用谷歌的闲置云计算资源，为公众提供免费的的在线编程服务，以及免费的GPU资源，虽然在使用方面有一定的规则限制，但对于一般的研究和学习来说绰绰有余。访

随着AI技术的迅速发展，模型规模和复杂度以及待处理数据量都在急剧上升，这些趋势使得高性能计算（HPC）变得越来越必要。HPC通过集成强大的计算资源，比如GPU和CPU集群，提供了处理和分析大规模数据所需的算力。然而，这也带来了新的挑战，尤其是在存储系统方面，包括如何有效处理大量数据

2023年9月，AI领域的权威基准评测MLPerf推出了 StorageBenchmark。该基准测试通过模拟机器学习I/O负载的方法，在不需要GPU的情况下就能进行大规模的性能压测，用以评估存储系统的在AI模型训练场景的适用性。目前支持两种模型训练：BERT（自然语言模型）和Unet3D（3D医学成像）

NAVER是一家多元化的互联网公司，拥有韩国最大的搜索引擎并在人工智能、自动驾驶等高科技领域积极投入。在搭建AI平台时，NAVER评估了公有云平台的存储产品、Alluxio以及高性能专用存储产品等多种选项后，最终决定采用JuiceFS。通过使用JuiceFS，NAVER成功地将内部存储资源升级为

JuiceFS社区聚集了来自各行各业的前沿科技用户。本次分享的案例来源于刻行，一家商用服务机器人领域科技企业。商用服务机器人指的是我们日常生活中常见的清洁机器人、送餐机器人、仓库机器人等。刻行采用JuiceFS来弥补对象存储性能不足等问题。值得一提的是，前不久社区版v1.1

Ceph提供了对象存储，可作为存储引擎在JuiceFS中使用。这一组合非常适合云计算、大数据分析和机器学习等数据密集型应用场景。在日常部署中可直接通过CephRADOS配合JuiceFS使用，无需部署RGW。基于此方案实践以及运维中的常见问题，结合Ceph官方文档整理了这篇博客，旨在帮助那

随着大数据、AI技术的发展，越来越多的企业、团队和个人开始使用JuiceFS，本文整理了6个超实用的JuiceFS技巧，帮助大家提升JuiceFS的管理效率。一、查看已挂载的文件系统有时候你可能在一台机器上挂载了多个JuiceFS文件系统，或是在多台机器上使用不同的选项挂载了同一个文件

杭州火石创造是国内专注于产业大数据的数据智能服务商，为了解决数据存储及高效服务客户需求，选择了 Elasticsearch 搜索引擎进行云上存储。基于性能和成本的考虑，在阿里云选择用本地SSDECS机型自建集群。但由于是自建集群，如何同步解决数据备份问题并实现最优成本呢？1.背景介绍E

最近，留意到MinIO官方博客的一篇题为“在对象存储上实现POSIX访问接口是坏主意”的文章，作者以S3FS-FUSE为例分享了通过POSIX方式访问MinIO中的数据时碰到了性能方面的困难，性能远不如直接访问MinIO。在对结果进行分析时，作者认为是POSIX本身存在的缺陷导致的性能问题。

JuiceFS在最近v1.1版本中加入了社区中呼声已久的目录配额功能。已发布的命令支持为目录设置配额、获取目录配额信息、列出所有目录配额等。完整的详细信息，请查阅文档。在设计此功能时，对于它的统计准确性，实效性以及对性能的影响，团队内部经历过多次讨论和权衡。在本文中，我们会详

小米作为全球知名的科技巨头公司，已经在数百款产品中广泛应用了AI技术，这些产品包括手机、电视、智能音箱、儿童手表和翻译机等。这些AI应用主要都是通过小米的深度学习训练平台完成的。在训练平台的存储方案中，小米曾尝试了多种不同的存储方式，包括Ceph+NFS、HDFS和对象存储挂

概览JuiceFS 是一款面向云原生设计的高性能共享文件系统，在Apache2.0开源协议下发布。JuiceFS提供完备的 POSIX 兼容性，可将几乎所有对象存储接入本地作为海量本地磁盘使用，亦可同时在跨平台、跨地区的不同主机上挂载读写。JuiceFS也提供如HDFS兼容的API、S3兼容的API

随着企业数据量的持续增长，存储容量需求日益增大。如何采用没有容量上限的云存储替换本容量有限的本地磁盘，已成为广泛的需求和共识。特别是在企业中常用的Samba和NFS共享，如果能够使用云存储作为底层存储，就能有效解决存储扩容和本地磁盘损坏导致的数据丢失问题。本文将以Linux

伴随着公司业务的发展，数据量持续增长，存储平台面临新的挑战：大图片的高吞吐、超分辨率场景下数千万小文件的IOPS问题、运维复杂等问题。除了这些技术难题，我们基础团队的人员也比较紧张，负责存储层运维的仅有1名同事，因而组件的易用性，一直也是我们评估的重要维度。我们尝试过文件

一面数据原有的技术架构是在线下机房中使用CDH构建的大数据集群。自公司成立以来，每年都保持着高速增长，业务的增长带来了数据量的剧增。在过去几年中，我们按照每1到2年的规划扩容硬件，但往往在半年之后就不得不再次扩容。而每次扩容都需要花费大量精力。为了解决包括扩容周期

随着人工智能技术的爆发，内容生成式人工智能（AIGC）成为了当下热门领域。除了ChatGPT之外，文本生成图像技术更令人惊艳。StableDiffusion，是一款开源的深度学习模型。与Midjourney提供的直接将文本转化为图像的服务不同的是它允许用户自行搭配并训练自己的图像风格，这一特性吸引了

我们很高兴地宣布JuiceFSv1.1-Beta版本正式发布啦！这是一个功能丰富的版本，带来了许多实用的新功能和改进。在这个版本中我们新增了以下功能：目录配额：为目录设置配额限制，控制其大小和文件数目录克隆：快速地复制目录及其内容，节省时间和空间一键恢复回收站文件：一次性地恢复某段时

豆瓣成立于2005年，是中国最早的社交网站之一。在2009到2019的十年间，豆瓣数据平台经历了几轮变迁，形成了DPark+Mesos+MooseFS的架构。由机房全面上云的过程中，原有这套架构并不能很好的利用云的特性，豆瓣需要做一次全面的重新选型，既要考虑未来十年的发展趋势，也需要找到与

AI已经成为各行各业软件研发的基础，带来了前所未有的效率和创新。今天，我们将分享苏锐在AWS量化投研行业活动的演讲实录，为大家介绍JuiceFS在AI量化投研领域的应用经验，也希望为其他正在云上构建机器学习平台，面临热点数据吞吐不足的企业提供一些启发。1.背景JuiceFS最初是为了