标签：方案 存储 同步 HDFS MooseFS 文件系统 Ceph 数据
分布式文件系统选型参考
SeaweedFS是 Minio
分布式文件系统有：GFS、HDFS、Ceph、Lustre、MogileFS、MooseFS、FastDFS、TFS、GridFS
适合做通用文件系统的有：Ceph，Lustre，MooseFS，GlusterFS；
适合做小文件存储的文件系统有：Ceph，MooseFS，MogileFS，FastDFS，TFS；
适合做大文件存储的文件系统有：HDFS，Ceph，Lustre，GlusterFS，GridFS；
轻量级文件系统有：MooseFS，FastDFS；
简单易用，用户数量活跃的文件系统有：MooseFS，MogileFS，FastDFS，GlusterFS；
支持FUSE挂载的文件系统有：HDFS，Ceph，Lustre，MooseFS，GlusterFS。
JuiceFS 是一个分布式文件系统
JuiceFS:云原生时代的分布式文件系统
HDFS 并不适合存储小文件
对象存储
对象存储是能够承载百亿规模文件的，
缺少原生目录支持、缺少完整 POSIX 语义支持、元数据性能弱这三方面的问题让对象存储并不适合海量小文件训练场景。
IDC 机房里设置一个缓存集群，起到缓存数据加速训练的效果，相比每次从对象存储访问数据，既能节省专线带宽，还能节省对象存储 API 调用费用
对象存储解决方案Minio
存储协议
POSIX、HDFS、S3 三大主流访问协议
浪潮AS13000-H并行存储系统 是专门针对高性能计算开发和优化的并行文件存储系统。它基于BeeGFS文件系统商业版本开发
网络硬件
DAS (Direct Attached Storage) ，即“直连存储”
SAN(Storage Attached Network)，就是存储区域网络
NAS为Network Attached Storage
跨平台数据同步工具
rclone
GoodSync 是一款老牌的数据同步工具
Syncthing
Krita/Xmind/Keepass/WPS/Obsdian/RIME/Joplin + Syncthing 就实现了安卓设备、桌面设备的无缝协同
###个人备份
电脑本机一份，NAS一份，云盘一份
1、冷数据和热数据
2、重要数据和普通数据
3、多媒体数据和其它
备份工具
同步的时候，就帮你校验的工具，这里推荐：
1、rsync
2、freefilesync
3、syncthing
标签：方案,
存储,
同步,
HDFS,
MooseFS,
文件系统,
Ceph,
数据
From： https://www.cnblogs.com/ytwang/p/17145419.html