FastCFS 基于块存储的通用分布式文件系统开源项目

我要开发同款
匿名用户2020年12月27日
61阅读
开发技术C/C++
所属分类大数据、数据存储
授权协议AGPL-3.0

作品详情

FastCFS是一款基于块存储的通用分布式文件系统,可以作为MySQL、PostgresSQL、Oracle等数据库和云平台的后端存储。

支持的操作系统Linux:Kernelversion>=3.10(完全支持)MacOSorFreeBSD(仅支持服务端,不支持FUSE)依赖libfuse (版本3.9.4或更高版本)Python (版本3.5或更高版本)Ninja (版本1.7或更高版本)gcc (版本4.7.0或更高版本)libfastcommon (tag:V1.0.45)libserverframe (tag:V1.1.1)fastDIR (tag:V1.1.0)faststore (tag:V1.1.0)FastCFS (tag:V1.1.0)安装

libfuse可以采用脚本libfuse_setup.sh一键编译和安装。

libfastcommon、libserverframe、fastDIR、faststore和FastCFS五个安装包可采用fastcfs.sh脚本统一安装配置,也可以按照5.1-5.6部分独立安装配置。

统一安装方式

gitclonehttps://github.com/happyfish100/FastCFS.git;cdFastCFS/

通过执行fastcfs.sh脚本,可自动从github仓库拉取或更新五个仓库代码,按照依赖顺序进行编译、安装,并能根据配置文件模版自动生成集群相关配置文件。

fastcfs.sh命令参数说明:

pull--从github拉取或更新代码库(拉取到本地build目录)makeinstall--顺序编译、安装代码库(make&&makeinstall)init--初始化集群目录、配置文件(已存在不会重新生成)clean--清除已编译程序文件(相当于makeclean)

一键搭建(包括部署和运行)demo环境(需要root身份执行):

./helloWorld.sh--prefix=/usr/local/fastcfs-test

或执行如下命令(需要root身份执行):

./libfuse_setup.sh./fastcfs.shpull./fastcfs.shmakeinstallIP=$(ifconfig-a|grep-winet|grep-v127.0.0.1|awk'{print$2}'|tr-d'addr:'|head-n1)./fastcfs.shinit\--dir-path=/usr/local/fastcfs-test/fastdir\--dir-server-count=1\--dir-host=$IP\--dir-cluster-port=11011\--dir-service-port=21011\--dir-bind-addr=\--store-path=/usr/local/fastcfs-test/faststore\--store-server-count=1\--store-host=$IP\--store-cluster-port=31011\--store-service-port=41011\--store-replica-port=51011\--store-bind-addr=\--fuse-path=/usr/local/fastcfs-test/fuse\--fuse-mount-point=/usr/local/fastcfs-test/fuse/fuse1注:--fuse-mount-point为mount到本地的路径,通过这个mountpoint对FastCFS进行文件存取访问。FCFS_SHELL_PATH=$(pwd)/build/shell$FCFS_SHELL_PATH/fastdir-cluster.shrestart$FCFS_SHELL_PATH/faststore-cluster.shrestart$FCFS_SHELL_PATH/fuse.shrestart

上述操作完成后,通过命令df-h可以看到FastCFS挂载的文件目录。

libfastcommongitclonehttps://github.com/happyfish100/libfastcommon.git;cdlibfastcommon/gitcheckoutmaster./make.shclean&&./make.sh&&./make.shinstall

默认安装目录:

/usr/lib64/usr/lib/usr/include/fastcommonlibserverframegitclonehttps://github.com/happyfish100/libserverframe.git;cdlibserverframe/./make.shclean&&./make.sh&&./make.shinstallfastDIRgitclonehttps://github.com/happyfish100/fastDIR.git;cdfastDIR/./make.shclean&&./make.sh&&./make.shinstallfaststoregitclonehttps://github.com/happyfish100/faststore.git;cdfaststore/./make.shclean&&./make.sh&&./make.shinstallmkdir/etc/fstore/cpconf/server.confconf/client.confconf/servers.confconf/cluster.confconf/storage.conf/etc/fstore/libfuse

构建libfuse需要先安装meson和ninja。安装meson和ninja需要python3.5及以上版本。

python安装

包名:python3python3-pip

Ubuntu下安装命令:

aptinstallpython3python3-pip-y

CentOS下安装命令:

yuminstallpython3python3-pip-y

meson和ninja安装

pip3installmesonpip3installninja

gcc安装

Ubuntu下安装命令:

aptinstallgccg++-y

CentOS下安装命令:

yuminstallgccgcc-c++-y

libfuse安装

gitclonehttps://github.com/libfuse/libfuse.gitcdlibfuse/gitcheckoutfuse-3.10.1mkdirbuild/;cdbuild/meson..mesonconfigure-Dprefix=/usrmesonconfigure-Dexamples=falseninja&&ninjainstallsed-i's/#user_allow_other/user_allow_other/g'/etc/fuse.confFastCFSgitclonehttps://github.com/happyfish100/FastCFS.git;cdFastCFS/./make.shclean&&./make.sh&&./make.shinstallmkdir/etc/fcfs/cpconf/fuse.conf/etc/fcfs/配置

为了更好地控制FastCFS的性能,我们通过各种设置参数为FastCFS提供了高度可配置和可调节的行为。

FastCFS的配置由多个子文件组成,其中一个是入口文件,其他文件用于引用。目录/etc/fstore是FastCFS配置文件的默认存放位置,但是在单个服务器上安装多个FastCFS实例时,必须为每个实例指定不同的位置。

FastCFS有以下几个配置文件:

server.conf-服务器全局参数配置cluster.conf-集群参数配置servers.conf-服务器组参数配置storage.conf-存储参数配置client.conf-客户端使用的配置文件,需引用cluster.conf
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论