首页 > 其他分享 >分布式文件系统FastDFS安装教程

分布式文件系统FastDFS安装教程

时间:2024-04-20 11:55:48浏览次数:26  
标签:教程 FastDFS fastdfs nginx tracker usr conf 分布式文件系统 fdfs

 

转载链路地址 https://www.cnblogs.com/handsomeye/p/9451568.html

 

 

前言

  centos7 x64 2009、 vmware16 pro (网络仅主机模式)

安装libfastcommon

  1. 获取libfastcommon安装包:

    wget https://github.com/happyfish100/libfastcommon/archive/V1.0.38.tar.gz
    
  2. 解压安装包:tar -zxvf V1.0.38.tar.gz

  3. 进入目录:cd libfastcommon-1.0.38

  4. 执行编译:./make.sh

  5. 安装:./make.sh install

可能遇到的问题:

-bash: make: command not found
-bash: gcc: command not found

解决方案:
debian通过apt-get install gcc make安装
centos通过yum -y install gcc make安装

安装FastDFS

  1. 获取fdfs安装包:

    wget https://github.com/happyfish100/fastdfs/archive/V5.11.tar.gz
    
  2. 解压安装包:tar -zxvf V5.11.tar.gz

  3. 进入目录:cd fastdfs-5.11

  4. 执行编译:./make.sh

  5. 安装:./make.sh install

  6. 查看可执行命令:ls -la /usr/bin/fdfs*

配置Tracker服务

  1. 进入/etc/fdfs目录,有三个.sample后缀的文件(自动生成的fdfs模板配置文件),通过cp命令拷贝tracker.conf.sample,删除.sample后缀作为正式文件:
     
  2. 编辑tracker.conf:vi tracker.conf,修改相关参数

    base_path=/home/mm/fastdfs/tracker  #tracker存储data和log的跟路径,必须提前创建好
    port=22322 #tracker默认22322
    http.server_port=80 #http端口,需要和nginx相同
    
  3. 启动tracker(支持start|stop|restart):

    /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf start
    
  4. 查看tracker启动日志:进入刚刚指定的base_path(/home/mm/fastdfs/tracker)中有个logs目录,查看tracker.log文件

  5. 查看端口情况:netstat -apn|grep fdfs

可能遇到的报错:

/usr/bin/fdfs_trackerd: error while loading shared libraries: libfastcommon.so: cannot open shared object file: No such file or directory

解决方案:建立libfastcommon.so软链接
ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so

配置Storage服务

  1. 进入/etc/fdfs目录,有cp命令拷贝storage.conf.sample,删除.sample后缀作为正式文件;
  2. 编辑storage.conf:vi storage.conf,修改相关参数:

    base_path=/home/mm/fastdfs/storage   #storage存储data和log的跟路径,必须提前创建好
    port=23000  #storge默认23000,同一个组的storage端口号必须一致
    group_name=group1  #默认组名,根据实际情况修改
    store_path_count=1  #存储路径个数,需要和store_path个数匹配
    store_path0=/home/mm/fastdfs/storage  #如果为空,则使用base_path
    tracker_server=10.122.149.211:22122 #配置该storage监听的tracker的ip和port
    
  3. 启动storage(支持start|stop|restart):

    /usr/bin/fdfs_storaged /etc/fdfs/storage.conf start
    
  4. 查看storage启动日志:进入刚刚指定的base_path(/home/mm/fastdfs/storage)中有个logs目录,查看storage.log文件

  5. 此时再查看tracker日志:发现已经开始选举,并且作为唯一的一个tracker,被选举为leader

  6. 查看端口情况:netstat -apn|grep fdfs

  7. 通过monitor来查看storage是否成功绑定:

    /usr/bin/fdfs_monitor /etc/fdfs/storage.conf
    

安装Nginx和fastdfs-nginx-module模块

  1. 下载Nginx安装包

    wget http://nginx.org/download/nginx-1.15.2.tar.gz
    
  2. 下载fastdfs-nginx-module安装包

    wget https://github.com/happyfish100/fastdfs-nginx-module/archive/V1.20.tar.gz
    
  3. 解压nginx:tar -zxvf nginx-1.15.2.tar.gz

  4. 解压fastdfs-nginx-module:tar -xvf V1.20.tar.gz

  5. 进入nginx目录:cd nginx-1.10.1

  6. 安装依赖的库

    apt-get update
    apt-get install libpcre3 libpcre3-dev openssl libssl-dev libperl-dev
    
  7. 配置,并加载fastdfs-nginx-module模块:

    ./configure --prefix=/usr/local/nginx --add-module=/usr/local/src/fastdfs-nginx-module-1.20/src
    此处失败时直接把“fastdfs-nginx-module-1.20”复制到对应未知就可以。
    
    
  8. 编译安装:

    make
    make install
    解决方案:修改fastdfs-nginx-module-1.20/src/config文件,然后重新第7步开始
    ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
    CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

    出处https://github.com/happyfish100/fastdfs-nginx-module/issues/31
    备用命令 rm -rf Makefile (./configure 失败时); make clearn
    
    
    

     

  9. 查看安装路径:whereis nginx

  10. 启动、停止:

    cd /usr/local/nginx/sbin/
    ./nginx 
    ./nginx -s stop #此方式相当于先查出nginx进程id再使用kill命令强制杀掉进程
    ./nginx -s quit #此方式停止步骤是待nginx进程处理任务完毕进行停止
    ./nginx -s reload
    
  11. 验证启动状态:wget "http://127.0.0.1"

    注:宿主访问失败,可能虚拟机防火墙问题。或nginx代理目录没有对应的文件

     

  12. 查看此时的nginx版本:发现fastdfs模块已经安装好了

可能的报错:

/usr/include/fastdfs/fdfs_define.h:15:27: fatal error: common_define.h: No such file or directory

解决方案:修改fastdfs-nginx-module-1.20/src/config文件,然后重新第7步开始
ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

配置Nginx和fastdfs-nginx-module模块

  1. 配置mod-fastdfs.conf,并拷贝到/etc/fdfs文件目录下

    cd fastdfs-nginx-module-1.20/src/
    cp mod_fastdfs.conf /etc/fdfs
    
  2. 进入/etc/fdfs修改mod-fastdfs.conf:

    base_path=/home/mm/fastdfs
    tracker_server=10.122.149.211:22122 #tracker的地址
    url_have_group_name=true #url是否包含group名称
    storage_server_port=23000 #需要和storage配置的相同
    store_path_count=1  #存储路径个数,需要和store_path个数匹配
    store_path0=/home/mm/fastdfs/storage #文件存储的位置
    
  3. 配置nginx,80端口server增加location如图:

    cd /usr/local/nginx/conf/
    vi nginx.conf
    

  4. 最后需要拷贝fastdfs解压目录中的http.conf和mime.types:

    cd /usr/local/src/fastdfs-5.11/conf
    cp mime.types http.conf /etc/fdfs/
    

FastDFS常用命令测试

上传文件
  1. 进入/etc/fdfs目录,有cp命令拷贝client.conf.sample,删除.sample后缀作为正式文件;
  2. 修改client.conf相关配置:

    base_path=/home/mm/fastdfs/tracker //tracker服务器文件路径
    tracker_server=10.122.149.211:22122 //tracker服务器IP地址和端口号
    http.tracker_server_port=80 # tracker服务器的http端口号,必须和tracker的设置对应起来
    
  3. 新建一个测试文档1.txt,内容为abc

  4. 命令:

    /usr/bin/fdfs_upload_file  <config_file> <local_filename>
    
  5. 示例:

    /usr/bin/fdfs_upload_file  /etc/fdfs/client.conf 1.txt
    

    组名:group1 
    磁盘:M00 
    目录:00/00 
    文件名称:CnqV01trmeyAbAN0AAAABLh3frE677.txt
    
  6. 查看结果,进入storage的data目录:

  7. 通过wget和浏览器方式访问成功:

    wget http://10.122.149.211/group1/M00/00/00/CnqV01trmeyAbAN0AAAABLh3frE677.txt
    


下载文件:
  1. 命令:

    /usr/bin/fdfs_download_file <config_file> <file_id> [local_filename]
    
  2. 示例:

    /usr/bin/fdfs_download_file /etc/fdfs/client.conf group1/M00/00/00/CnqV01trmeyAbAN0AAAABLh3frE677.txt a.txt
    
  3. 查看结果:

删除文件:
  1. 命令:

    /usr/bin/fdfs_delete_file <config_file> <file_id>
    
  2. 示例:

    /usr/bin/fdfs_delete_file /etc/fdfs/client.conf group1/M00/00/00/CnqV01trmeyAbAN0AAAABLh3frE677.txt
    
  3. 查看结果,进入storage的data目录文件不存在,通过wget再次获取404:

标签:教程,FastDFS,fastdfs,nginx,tracker,usr,conf,分布式文件系统,fdfs
From: https://www.cnblogs.com/zhangzaizz/p/18147512

相关文章

  • burpsuite使用深色主题暗色主题[保姆姬教程,方便快捷]
    点开burpsuite后点右上角的齿轮,在弹出的新窗口的搜索框搜索'theme',然后点'dark'.具体如图成了PS:我在网上搜burp改暗色主题,全是一大堆要么一上来吹水,要么得下插件的麻烦的教程,我跟着教程搞了一会儿才发现burp自带个暗色主题.于是写下这篇随笔.......
  • 克魔助手抓包工具完整教程
    克魔助手是一款在Mac上运行的Web代理工具,也被称为HTTP代理或HTTP监视器。通过将您的网络浏览器或其他互联网应用程序配置为使用克魔助手作为代理,您可以记录和查看所有发送和接收的数据。  想了解更多关于克魔助手适用于Mac的最新免激活版安装包下载?点击链接:克魔助手最新免激......
  • 【超详细】Windows申请iOS证书上架App Store详细教程
    ​转载:Windows申请iOS证书上架AppStore详细教程(有这一篇就够了)_windows提交ios审核-CSDN博客Windows申请iOS证书上架AppStore详细教程上架基本需求资料1、苹果开发者账号(如还没账号先申请-苹果开发者账号申请教程)2、开发好的APP通过本篇教程,可以学习到ios证书申请和打包i......
  • ImageJ软件使用教程(三):目标计数
    目录多点工具法阀值分割法二值化填充分割自动计数显示结果总结参考资料本文以钢筋计数为例,讲解一下如何使用ImageJ软件进行计数,这里只介绍两种方法:多点工具法阀值分割法钢筋计数是我接触的第一个视觉项目,虽然项目最后不了了之,但作为我机器视觉的开荒项目还是很有纪念意义。......
  • 十万人斩!!!DOTS1.0实战教程首章试读
    教程可以让会用Unity的同学循序渐进地速成DOTS技术。 思路是先消除使用门槛后,再有梯度挖掘DOTS底层实现,学习过程非常平滑。 同时也结合《DOTS-ECS系列课程》(0.51版本)时同学们提出的反馈意见,重点照顾了以下同学的习惯: 1、你可以先看代码,哪里不懂再看视频:工程代码按......
  • Git使用教程
    【本文以Gitee为例】git学习笔记Git安装Git官网下载地址进入官网,下载git安装git其实一直点击next就可以了【具体安装选项的阐述等之后再安装git时再写awa】验证安装是否成功右键出现如下选项时表示安装成功基础使用仓库通过网站快速创建......
  • Snipaste使用教程
    下载官网下载地址-中文​ 根据自己的操作系统选择需要下载的zip文件​ 比如我就要下载64位Windows版本安装将该zip文件解压运行执行程序发送到桌面或添加到任务栏使用运行​ 双击.exe执行程序就可以啦默认F1截屏左键点击Snipa......
  • 开源在线表单工具 HeyForm 使用教程
    HeyForm是一个非常出色的开源在线表单工具,可以通过直观的拖拽式编辑器,快速构建出美观实用的表单。HeyForm的功能非常丰富:支持丰富的输入类型,从基础的文本、数字到高级的图片选择、日期选择、文件上传等,一应俱全。通过条件逻辑和URL重定向实现动态、可适应的表单。提供了......
  • Git学习记录——B站【GeekHour】一小时Git教程
    本博客笔记均来自B站up主GeekHour的【GeekHour】一小时Git教程下方为传送门:【GeekHour】一小时Git教程急于查看命令直接看这部分,想对命令有更深一步理解见后文:Git所有学习到的命令集合/**Git版本查看、用户配置命令:**///查看git版本git-v//配置git用户名(如果用户名有空......
  • ETL工具-nifi干货系列 第十四讲 nifi处理器QueryDatabaseTableRecord查询表数据实战教
    1、处理器QueryDatabaseTableRecord和处理器QueryDatabaseTable比较相似,该组件生成一个SQL查询,或者使用用户提供的语句,并执行它以获取所有在指定的最大值列中值大于先前所见最大值的行。QueryDatabaseTable的查询结果将被转换为Avro,而QueryDatabaseTableRecord的查询结果则被......