今天的博客来自JuiceFS云服务用户Jerry，他们通过使用JuiceFSsnapshot功能，创新性地实现了数据的版本控制。Jerry，是一家位于北美的科技公司，利用人工智能和机器学习技术，简化用户购买汽车和家庭保险的比较及购买流程。在软件开发领域，严格的测试和受控发布已经成为几十年来的标

海柔创新是一家专注于箱式仓储机器人系统的研发和设计的科技公司，其仿真平台通过数字模拟技术，再现实际仓库环境和设备，利用导入的地图、订单、库存及策略配置等数据来验证和优化仓储解决方案，确保设计方案的效率和合理性。最初，海柔的仿真平台在单机环境中运行，但随着数据量的增长，运维

好未来，前身学而思，于2010年在美国纽约证券交易所上市。公司积极将大模型研究应用于教学产品中，近期推出了数学领域的千亿级大模型。在大模型的背景下，存储系统需处理巨量数据和复杂文件操作，要求支持高并发和高吞吐量。此外，还需应对版本管理、模型训练性能优化和多云分发的挑战。

环境文件系统使用juicefs，元数据存储使用postgresql，数据存储使用minio问题？通过juicefs写入一个文件，元数据在postgresql中是如何存储的？数据在minio中又是如何存储的？使用docker部署完测试环境后，新建file1、dir1/file1、dir1/file2三个文件在postgresql中jfs_chunk表中记录着文

从去年开始，LLM大语言模型领域发展迅速、如LLaMA、ChatGLM、Baichuan、Qwen和yi-model等基础模型（FoundationModels）的数量显著增加。众多企业也开始基于这些基础模型做post-training的相关工作，以开发特定垂直领域的模型实现应用落地。AI模型的参数规模呈指数级增长，出现了越

HuggingFace的Transformers是一个功能强大的机器学习框架，提供了一系列API和工具，用于预训练模型的下载和训练。为了避免重复下载，提高训练效率，Transformers会自动下载和缓存模型的权重、词表等资源，默认存储在~/.cache/huggingface/hub目录下。这个缓存数据的机制。但是，当

今天这篇博客来自全栈工程师朱唯唯，她在前不久举办的KubeCon中国大会上进行了该主题分享。Kubernetes已经成为事实的应用编排标准，越来越多的应用在不断的向云原生靠拢。与此同时，人工智能技术的迅速发展，尤其是大型语言模型（LLM）的推进，导致企业需要处理的数据量急剧增加，例如，Llama

今天这篇博客转载自我们的全栈工程师朱唯唯。在使用Ollma进行大模型加载时，她尝试使用了JuiceFS进行模型共享，JuiceFS的数据预热和分布式缓存功能显著提升了加载效率，优化了性能瓶颈问题。01背景随着AI技术的发展，大模型已经潜移默化地影响着我们的生活。商业LLM始终因

JuiceFS是一款为云环境设计的分布式高性能文件系统。AmazonEFS易于使用且可伸缩，适用于多种应用。AmazonFSxforLustre则是面向处理快速和大规模数据工作负载的高性能文件系统。在本文中，我们将通过一系列测试，来评估这三种主流文件系统的性能与成本表现，帮助用户快速了解这些

Clobotics是一家将计算机视觉和机器学习技术应用于风电以及零售行业的企业。在风电行业，Clobotics利用无人机对风力发电机叶片进行检查，显著降低了对人工作业的依赖。在零售领域，公司通过分析捕获的包装商品图像来提供基于实时数据的洞察，以增加销售额并减少运营成本。存储方面，Clob

Clobotics是一家将计算机视觉和机器学习技术应用于风电以及零售行业的企业。在风电行业，Clobotics利用无人机对风力发电机叶片进行检查，显著降低了对人工作业的依赖。在零售领域，公司通过分析捕获的包装商品图像来提供基于实时数据的洞察，以增加销售额并减少运营成本。存储方面，Clob

使用PostgreSQL作为JuiceFS元数据引擎，各表的含义和字段做一个简单归纳juicefs数据库用于存储juicefs文件信息postgres=#\lListofdatabasesName|Owner|Encoding|LocaleProvider|Collate|

在大模型的开发与应用中，数据预处理、模型开发、训练和推理构成四个关键环节。本文将重点探讨推理环节。在之前的博客中，社区用户BentoML和贝壳的案例提到了使用JuiceFS社区版来提高模型加载的效率。本文将结合我们的实际经验，详细介绍企业版在此场景下的优势。下图是一个典型的

在高性能计算场景中，往往采用全闪存架构和内核态并行文件系统，以满足性能要求。随着数据规模的增加和分布式系统集群规模的增加，全闪存的高成本和内核客户端的运维复杂性成为主要挑战。JuiceFS，是一款全用户态的云原生分布式文件系统，通过分布式缓存大幅提升I/O吞吐量，并使用成本

在高性能计算场景中，往往采用全闪存架构和内核态并行文件系统，以满足性能要求。随着数据规模的增加和分布式系统集群规模的增加，全闪存的高成本和内核客户端的运维复杂性成为主要挑战。JuiceFS，是一款全用户态的云原生分布式文件系统，通过分布式缓存大幅提升I/O吞吐量，并使用成本较

NAS通过提供多用户网络数据存取服务，极大地简化了数据共享和管理。而NFS作为实现这种共享的一种主流协议，尽管广泛应用，但在处理复杂的AI训练场景时常常受限于其性能和一致性问题。JuiceFS在最新的1.2版本中增加了直连NFS功能，这一创新允许JuiceFS直接利用NAS上的NFS服

1.流程图将JuiceFS、Ceph和MinIO结合使用，可以充分利用Ceph的分布式存储能力、JuiceFS的高性能文件系统特性，以及MinIO提供的对象存储接口。以下是一个方案，介绍如何配置和部署JuiceFS使用Ceph作为其底层存储，并通过MinIO提供对象存储接口。2.前提条件部署

在使用JuiceFS时，我们选择了SeaweedFS作为对象存储，以及TiKV作为元数据存储，目前在SeaweedFS上已经存储了近1.5PB的数据。关于SeaweedFS和TiKV配置的参考资料不多，本文将为社区各位用户提供我们的部署实践，并提供详细的命令示例，希望能给社区各位用户一些参考。此外，在文章

在近期我看到过国外一个大牛开发的hpfshttps://mp.csdn.net/mp_blog/creation/editor/139739977（请看我前面发的片文章）我瞬间就想到国内同类似产品juicefscubefs这两个东西，当时这种产品出现我就有一个疑问，为什么要把元数据单独弄个数据库去存呢？你还要开发数据冗余机制去保

贝壳机器学习平台的计算资源，尤其是GPU，主要依赖公有云服务，并分布在不同的地理区域。为了让存储可以灵活地跟随计算资源，存储系统需具备高度的灵活性，支持跨区域的数据访问和迁移，同时确保计算任务的连续性和高效性；此外，随着数据量的增长，元数据管理的压力也在逐渐加大。贝壳机器学习平

JuiceFSv1.2-beta1今天正式发布。在这个版本中，除了进行了大量使用体验优化和bug修复外，新增三个特性：Gateway功能扩展：新增了“身份和访问管理（IdentityandAccessManagement，IAM）”与“事件通知”，为用户提供更安全、灵活和自动化的数据管理和监控能力，适用于多用户环境和复

当JuiceFS文件系统部署完成并投入生产环境，接下来就需要着手解决一个非常重要的问题——如何实时监控它的运行状态？毕竟，它可能正在为关键的业务应用或容器工作负载提供持久化存储支持，任何小小的故障或性能下降都可能造成不利的影响。JuiceFS启动后会实时发布自身的运行状态数

大模型应用领域的迅猛发展，也推动着基础技术领域持续探索和进步。文件存储服务在AI基础设施中成为不可或缺的重要部分。在过去18个月的时间里，JuiceFS 团队与MiniMax，阶跃星辰，智谱AI，面壁智能，零一万物等大模型团队展开了交流与合作，已经支持了多家客户生产环境中数千卡的训练任

知乎，中文互联网领域领先的问答社区和原创内容平台，2011年1月正式上线，月活跃用户超过1亿。平台的搜索和推荐服务得益于先进的AI算法，数百名算法工程师基于数据平台和机器学习平台进行海量数据处理和算法训练任务。为了提高系统的易用性和灵活性，知乎实施了多云混合部署架构，允

GoogleColaboratory（Colab）是一个由Google提供的云端Jupyter编程笔记本，直接通过浏览器即可进行Python编程。Colab充分利用谷歌的闲置云计算资源，为公众提供免费的的在线编程服务，以及免费的GPU资源，虽然在使用方面有一定的规则限制，但对于一般的研究和学习来说绰绰有余。访