FASTDFS 部署

tracker安装（192.168.1.177）
安装 libfastcommon、perl依赖，下载libfastcommon-master.zip，上传到服务器的/usr目录下。
https://github.com/happyfish100/libfastcommon
安装libevent库
yum install -y libevent

[root@localhost usr]# unzip libfastcommon-master.zip
[root@localhost usr]# cd libfastcommon-master
[root@localhost usr]# ./make.sh
[root@localhost usr]# ./make.sh install
[root@localhost usr]# yum install perl


编译安装fastdfs


[root@localhost usr] # tar -zxvf fastdfs-5.08.tar.gz
[root@localhost usr] # cd fastdfs-5.08
[root@localhost fastdfs-5.08] # ./make.sh
[root@localhost fastdfs-5.08] # ./make.sh install
mkdir -p /usr/bin
mkdir -p /etc/fdfs
cp -f fdfs_trackerd /usr/bin
if [ ! -f /etc/fdfs/tracker.conf.sample ]; then cp -f ../conf/tracker.conf /etc/fdfs/tracker.conf.sample; fi
mkdir -p /usr/bin
mkdir -p /etc/fdfs
cp -f fdfs_storaged /usr/bin
if [ ! -f /etc/fdfs/storage.conf.sample ]; then cp -f ../conf/storage.conf /etc/fdfs/storage.conf.sample; fi
mkdir -p /usr/bin
mkdir -p /etc/fdfs
mkdir -p /usr/lib64
mkdir -p /usr/lib
cp -f fdfs_monitor fdfs_test fdfs_test1 fdfs_crc32 fdfs_upload_file fdfs_download_file fdfs_delete_file fdfs_file_info fdfs_appender_test fdfs_appender_test1 fdfs_append_file fdfs_upload_appender /usr/bin
if [ 0 -eq 1 ]; then cp -f libfdfsclient.a /usr/lib64; cp -f libfdfsclient.a /usr/lib/;fi
if [ 1 -eq 1 ]; then cp -f libfdfsclient.so /usr/lib64; cp -f libfdfsclient.so /usr/lib/;fi
mkdir -p /usr/include/fastdfs
cp -f ../common/fdfs_define.h ../common/fdfs_global.h ../common/mime_file_parser.h ../common/fdfs_http_shared.h ../tracker/tracker_types.h ../tracker/tracker_proto.h ../tracker/fdfs_shared_func.h ../storage/trunk_mgr/trunk_shared.h tracker_client.h storage_client.h storage_client1.h client_func.h client_global.h fdfs_client.h /usr/include/fastdfs
if [ ! -f /etc/fdfs/client.conf.sample ]; then cp -f ../conf/client.conf /etc/fdfs/client.conf.sample; fi

如出现以上信息，说明安装成功。

fastDFS命令目录：/usr/bin

fastDFS配置文件目录:/etc/fdfs

创建fastdfs数据目录

mkdir -pv /data/fastdfs/tracker
修改tracker.conf中的 base_path=/data/fastdfs/tracker，即刚才配置的数据文件目录


cp etc/fdfs/tracker.conf.sample etc/fdfs/tracker.conf
vi etc/fdfs/tracker.conf

启动FASTDFS

cd /usr/bin
fdfs_trackerd /etc/fdfs/tracker.conf restart
验证，默认端口是22122

[root@localhost bin]# netstat -antp|grep trackerd
tcp 0 0 0.0.0.0:22122 0.0.0.0:* LISTEN 31046/fdfs_trackerd
storage安装（192.168.1.188，192.168.1.189）
storage的安装与tracker安装类似，首先编译安装fastdfs，然后修改配置文件。

创建配置文件

cp etc/fdfs/storage.conf.sample etc/fdfs/storage.conf
vi etc/fdfs/storage.conf
修改tracker.conf中的

disabled=false #启用配置文件
group_name=group1 #组名，根据实际情况修改
port=23000 #设置 storage 的端口号
base_path=/data/fastdfs/storage #设置 storage 的日志目录（需预先创建）
store_path_count=1 #存储路径个数，需要和 store_path 个数匹配
store_path0=/data/fastdfs/storage #存储路径
tracker_server=192.168.1.177:22122 #tracker 服务器的 IP 地址和端口号
启动

cd /usr/bin
./fdfs_storaged /etc/fdfs/storage.conf restart
java client
Javaclient的jar包不在maven的中央仓库中，需要下载源码包手工安装到私服中。

下载地址：https://github.com/happyfish100/fastdfs-client-java

我们主要关注storageclient这个类，这个类提供了文件上传下载查询文件信息等主要功能，与系统的集成也主要使用这个api。

新建fastDFS.conf配置文件

connect_timeout = 2
network_timeout = 20
#tracker服务器地址，如果有多个tracker可以配置多个tracker_server
tracker_server=192.168.1.177:22122
运行源码包中的org.csource.fastdfs.test.testClient.java，注意在main方法中需要传递两个参数，第一个是配置文件，第二个是待上传的文件

在storage节点上安装nginx，增加http下载支持
编译安装nginx，下载prce、zlib、fastdfs-nginx-module依赖支持，上传到storage的usr/local/src目录下。fastdfs-nginx-module主要用于解决同一组内文件同步不及时的问题。


解压缩

cd /usr/local/src
unzip ./zlib-master.zip
tar -xvf ./nginx-1.11.7.tar.gz
unzip ./pcre-8.38.zip
cd ./nginx-1.11.7
./configure --prefix=/usr/local/nginx --add-module=/usr/local/src/fastdfs-nginx-module-master/src --with-pcre=/usr/local/src/pcre-8.38 --with-zlib=/usr/local/src/zlib-master
make && make install
cp ../fastdfs-nginx-module-master/src/mod_fastdfs.conf /etc/fdfs/
修改nginx.conf

server {
listen 80;
server_name localhost;
location ~ /group1/M00{
root /data/fastdfs/storage;
ngx_fastdfs_module;
}
}
配置mod_fastdfs.conf

#保存日志目录
base_path=/data/fastdfs/storage
#tracker 服务器的 IP 地址以及端口号 storage_server_port=23000 #storage 服务器的端口号
tracker_server=192.168.1.177:22122
#当前服务器的 group 名
group_name=group1
#文件 url 中是否有 group 名
url_have_group_name = true
#存储路径个数，需要和 store_path 个数匹配 store_path0=/data/fastdfs/storage #存储路径
store_path_count=1
# 从文件 扩展 名查 找 文件 类型 （ nginx 时 为true） group_count = 2#设置组的个数
http.need_find_content_type=true

[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/data/fastdfs/storage
安装nginx反向代理服务器（192.168.1.177）
安装nginx，安装过程参考上一步

配置nginx.conf

upstream fdfs_group1 {
server 192.168.1.188 weight=1 max_fails=2 fail_timeout=30s;
#server 192.168.1.189 weight=1 max_fails=2 fail_timeout=30s;
}
server {
listen 80;
server_name localhost;
location /group1/M00 {
proxy_next_upstream http_502 http_504 error timeout invalid_header;
proxy_pass http://fdfs_group1;
expires 30d;
}
#其他配置
}
再次使用Javaclient测试





---------------------------------------------------------------------------------------------

环境准备
使用的系统软件
名称 说明
centos 7.x
libfastcommon FastDFS分离出的一些公用函数包
FastDFS FastDFS本体
fastdfs-nginx-module FastDFS和nginx的关联模块
nginx nginx1.15.4
编译环境
yum install git gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl-devel wget vim -y
磁盘目录
说明 位置
所有安装包 /usr/local/src
数据存储位置 /home/dfs/
#这里我为了方便把日志什么的都放到了dfs
mkdir /home/dfs #创建数据存储目录
cd /usr/local/src #切换到安装目录准备下载安装包
安装libfastcommon
git clone https://github.com/happyfish100/libfastcommon.git --depth 1
cd libfastcommon/
./make.sh && ./make.sh install #编译安装
安装FastDFS
cd ../ #返回上一级目录
git clone https://github.com/happyfish100/fastdfs.git --depth 1
cd fastdfs/
./make.sh && ./make.sh install #编译安装
#配置文件准备
cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf
cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf
cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf #客户端文件，测试用
cp /usr/local/src/fastdfs/conf/http.conf /etc/fdfs/ #供nginx访问使用
cp /usr/local/src/fastdfs/conf/mime.types /etc/fdfs/ #供nginx访问使用
安装fastdfs-nginx-module
cd ../ #返回上一级目录
git clone https://github.com/happyfish100/fastdfs-nginx-module.git --depth 1
cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs
安装 nginx
wget http://nginx.org/download/nginx-1.15.4.tar.gz #下载nginx压缩包
tar -zxvf nginx-1.15.4.tar.gz #解压
cd nginx-1.15.4/
#添加fastdfs-nginx-module模块
./configure --add-module=/usr/local/src/fastdfs-nginx-module/src/
make && make install #编译安装
单机部署
tracker配置
#服务器ip为 192.168.52.1
#我建议用ftp下载下来这些文件 本地修改
vim /etc/fdfs/tracker.conf
#需要修改的内容如下
port=22122 # tracker服务器端口（默认22122,一般不修改）
base_path=/home/dfs # 存储日志和数据的根目录
storage配置
vim /etc/fdfs/storage.conf
#需要修改的内容如下
port=23000 # storage服务端口（默认23000,一般不修改）
base_path=/home/dfs # 数据和日志文件存储根目录
store_path0=/home/dfs # 第一个存储目录
tracker_server=192.168.52.1:22122 # tracker服务器IP和端口
http.server_port=8888 # http访问文件的端口(默认8888,看情况修改,和nginx中保持一致)
client测试
vim /etc/fdfs/client.conf
#需要修改的内容如下
base_path=/home/dfs
tracker_server=192.168.52.1:22122 #tracker服务器IP和端口
#保存后测试,返回ID表示成功 如：group1/M00/00/00/xx.tar.gz
fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/nginx-1.15.4.tar.gz
配置nginx访问
vim /etc/fdfs/mod_fastdfs.conf
#需要修改的内容如下
tracker_server=192.168.52.1:22122 #tracker服务器IP和端口
url_have_group_name=true
store_path0=/home/dfs
#配置nginx.config
vim /usr/local/nginx/conf/nginx.conf
#添加如下配置
server {
listen 8888; ## 该端口为storage.conf中的http.server_port相同
server_name localhost;
#charset koi8-r;
#access_log logs/host.access.log main;
location / {
root html;
index index.html index.htm;
}
location /group1/M00 {
alias /home/fastdfs/file;
}
# 增加这一行
location ~/group([0-9])/M00 {
ngx_fastdfs_module;
}
#测试下载，用外部浏览器访问刚才已传过的nginx安装包,引用返回的ID
http://192.168.52.1:8888/group1/M00/00/00/wKgAQ1pysxmAaqhAAA76tz-dVgg.tar.gz
#弹出下载单机部署全部跑通
分布式部署
tracker配置
#服务器ip为 192.168.52.2,192.168.52.3,192.168.52.4
#我建议用ftp下载下来这些文件 本地修改
vim /etc/fdfs/tracker.conf
#需要修改的内容如下
port=22122 # tracker服务器端口（默认22122,一般不修改）
base_path=/home/dfs # 存储日志和数据的根目录
storage配置
vim /etc/fdfs/storage.conf
#需要修改的内容如下
port=23000 # storage服务端口（默认23000,一般不修改）
base_path=/home/dfs # 数据和日志文件存储根目录
store_path0=/home/dfs # 第一个存储目录
tracker_server=192.168.52.2:22122 # 服务器1
tracker_server=192.168.52.3:22122 # 服务器2
tracker_server=192.168.52.4:22122 # 服务器3
http.server_port=8888 # http访问文件的端口(默认8888,看情况修改,和nginx中保持一致)
client测试
vim /etc/fdfs/client.conf
#需要修改的内容如下
base_path=/home/moe/dfs
tracker_server=192.168.52.2:22122 # 服务器1
tracker_server=192.168.52.3:22122 # 服务器2
tracker_server=192.168.52.4:22122 # 服务器3
#保存后测试,返回ID表示成功 如：group1/M00/00/00/xx.tar.gz
fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/nginx-1.15.4.tar.gz
配置nginx访问
vim /etc/fdfs/mod_fastdfs.conf
#需要修改的内容如下
tracker_server=192.168.52.2:22122 # 服务器1
tracker_server=192.168.52.3:22122 # 服务器2
tracker_server=192.168.52.4:22122 # 服务器3
url_have_group_name=true
store_path0=/home/dfs
#配置nginx.config
vim /usr/local/nginx/conf/nginx.conf
#添加如下配置
server {
listen 8888; ## 该端口为storage.conf中的http.server_port相同
server_name localhost;
location ~/group[0-9]/ {
ngx_fastdfs_module;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
启动
防火墙
#不关闭防火墙的话无法使用
systemctl stop firewalld.service #关闭
systemctl restart firewalld.service #重启
tracker
/etc/init.d/fdfs_trackerd start #启动tracker服务
/etc/init.d/fdfs_trackerd restart #重启动tracker服务
/etc/init.d/fdfs_trackerd stop #停止tracker服务
chkconfig fdfs_trackerd on #自启动tracker服务
storage
/etc/init.d/fdfs_storaged start #启动storage服务
/etc/init.d/fdfs_storaged restart #重动storage服务
/etc/init.d/fdfs_storaged stop #停止动storage服务
chkconfig fdfs_storaged on #自启动storage服务
nginx
/usr/local/nginx/sbin/nginx #启动nginx
/usr/local/nginx/sbin/nginx -s reload #重启nginx
/usr/local/nginx/sbin/nginx -s stop #停止nginx
检测集群
/usr/bin/fdfs_monitor /etc/fdfs/storage.conf
# 会显示会有几台服务器 有3台就会 显示 Storage 1-Storage 3的详细信息
说明
配置文件
tracker_server #有几台服务器写几个
group_name #地址的名称的命名
bind_addr #服务器ip绑定
store_path_count #store_path(数字)有几个写几个
store_path(数字) #设置几个储存地址写几个 从0开始
可能遇到的问题
如果不是root 用户 你必须在除了cd的命令之外 全部加sudo
如果不是root 用户 编译和安装分开进行 先编译再安装
如果上传成功 但是nginx报错404 先检查mod_fastdfs.conf文件中的store_path0是否一致
如果nginx无法访问 先检查防火墙 和 mod_fastdfs.conf文件tracker_server是否一致
如果不是在/usr/local/src文件夹下安装 可能会编译出错
如果 unknown directive "ngx_fastdfs_module" in /usr/local/nginx/conf/nginx.conf:151，可能是nginx一直是启动的，必须要重启nginx才可以，`nginx -s reload`无效。
教程是在上一位huayanYu(小锅盖)的基础上添加了一些东西，本质上还是huayanYu(小锅盖)写的教程