• 2023-08-02构建易于运维的 AI 训练平台:存储选型与最佳实践
    伴随着公司业务的发展,数据量持续增长,存储平台面临新的挑战:大图片的高吞吐、超分辨率场景下数千万小文件的IOPS问题、运维复杂等问题。除了这些技术难题,我们基础团队的人员也比较紧张,负责存储层运维的仅有1名同事,因而组件的易用性,一直也是我们评估的重要维度。我们尝试过文件
  • 2023-02-10浅析 SeaweedFS 与 JuiceFS 架构异同
    SeaweedFS是一款高效的分布式文件存储系统,最早的设计原型参考了Facebook的Haystack,具有快速读写小数据块的能力。本文将通过对比SeaweedFS与JuiceFS在设计与功能上
  • 2023-01-16分布式文件系统seaweedfs搭建配置
    官方网站:https://github.com/chrislusf/seaweedfs/wiki/Getting-Startedseaweedfs是一个非常优秀的由golang开发的分布式存储开源项目。它是用来存储文件的系统,并且与
  • 2022-11-28大数据工具zookeeper、Kafka、Seaweedfs配置安装使用
    ZookeeperZookeeper是一个分布式的,开放源码的分布式应用程序协调服务。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务