首页 > 其他分享 >二、分布式文件系统概述

二、分布式文件系统概述

时间:2023-03-11 23:44:18浏览次数:57  
标签:文件 存储 FastDFS POSIX 服务器 概述 分布式文件系统

 1 分类

1.1 通用分布式文件系统

​ 和传统的本地文件系统(如ext3、NTFS等)相对应。典型代表:lustre、MooseFS

1.1.1 优点

​ 标准文件系统操作方式,对开发者门槛较低

1.1.2 缺点

​ 系统复杂性较高,需要支持若干标准的文件操作,如:目录结构、文件读写权限、文件锁等。复杂性更高

​ 系统整体性能有所降低,因为要支持POSIX标准(表示可移植操作系统接口(Portable Operating System Interface of UNIX),POSIX标准定义了操作系统应该为应用程序提供的接口标准)

1.2 专用分布式文件系统

​ 基于google File System的思想,文件上传后不能修改。需要使用专有API对文件进行访问,也可称作分布式文件存储服务。典型代表:MogileFS、FastDFS、TFS。

1.2.1 优点

​ 系统复杂性较低,不需要支持若干标准的文件操作,如:目录结构、文件读写权限、文件锁等,系统比较简洁。

​ 系统整体性能较高,因为无需支持POSIX标准,可以省去支持POSIX引入的环节,系统更加高效。

1.2.2 缺点

​ 采用专有API,对开发者门槛较高(直接封装成工具类)

2 Google FS 体系结构

2.1 两个角色

​ 名字服务器(索引服务器)

​ 存储服务器

2.2 架构特点

​ 不支持文件修改功能。

​ 文件分块存储,需要索引服务器

​ 一个文件可以存储多份,一个文件存储到哪些存储服务器,通常采用动态分配的方式。

 

 

三、FastDFS简介

1 简介

​ FastDFS是一个轻量级的开源分布式文件系统。2008年4月份开始启动。类似google FS的一个轻量级分布式文件系统,纯C实现,支持Linux、FreeBSD、AIX等UNIX系统。

​ 主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现了负载均衡。实现了软件方式的磁盘阵列(Redundant Arrays of Independent Drives,RAID),可以使用廉价的IDE(Integrated Drive Electronics)硬盘进行存储。并且支持存储服务器在线扩容。支持相同内容的文件只保存一份,节约磁盘空间。

​ FastDFS只能通过Client API访问,不支持POSIX访问方式。

​ FastDFS特别适合大中型网站使用,用来存储资源文件(如:图片、文档、音频、视频等等)

2 网址

​ FastDFS没有官网。但是作者余庆(happy_fish100)担任chinaunix中FastDFS板块版主。并且会不定期更新板块中内容。

http://bbs.chinaunix.net/

​ FastDFS软件可以在sourceforge中进行下载,最新版本为5.08

https://sourceforge.net/projects/fastdfs/files/

 


标签:文件,存储,FastDFS,POSIX,服务器,概述,分布式文件系统
From: https://www.cnblogs.com/2324hh/p/17207378.html

相关文章

  • [新媒体运营]新媒体运营概述
    1新媒体运营概述新媒体时代(NewMediaEra),如果你还不学点运营思维,你随时都有可能会被套路。就拿双十一来说,其实就是一场盛大的营销活动,如果你懂点运营思维,你就能明白其......
  • 01-C语言概述
    C语言概述1.什么是C语言C语言就是人和计算机交流的一种语言语言是用来交流沟通的。有一方说,有另一方听,必须有两方参与,这是语言最重要的功能:说的一方传递信息,听的一方......
  • java-IO流概述和分类
      ......
  • 爆肝两万字,详解fastdfs分布式文件系统
    1.学习目标2.简介技术论坛:http://bbs.chinaunix.net/forum-240-1.html资源地址:https://sourceforge.net/projects/fastdfs/源码地址:https://github.com/happyfish100......
  • 错题集-3-1-工程项目管理概述
    分部工程和分项工程的区别解析错题1错题2错题3错题4不同建设制度的使用、以及审批程序解析错题1错题2错题3错题4错题5错题6错题7错题8错题9......
  • 明解Redis(一)概述
    一、Redis简介Redis全称为RemoteDictionaryServer(远程词典服务),开源(BSD许可)的,使用C语言开发的。Redis是内存中的数据结构存储系统,它可以用作数据库、缓存和消息中间......
  • java-IO-File类概述和构造方法
         ......
  • java collections的概述和使用
      ......
  • 浅析三款大规模分布式文件系统架构设计
    什么是文件系统当提到文件系统,大部分人都很陌生。但我们每个人几乎每天都会使用到文件系统,比如大家打开Windows、macOS或者Linux,不管是用资源管理器还是Finder,都是在......
  • 第01章_Java语言概述
    吾心安处即吾乡。吾乡何处不可眠1.Java知识脉络图1.1Java基础全程脉络图1.2本章专题与脉络2.抽丝剥茧话Java吾心安处即吾乡。吾乡何处不可眠2.1当前大......