FastDFS分布式文件系统

FastDFS简介 FastDFS是一个轻量级的开源分布式文件系统

FastDFS主要解决了大容量的文件存储和高并发访问的问题，文件存取时实现了负载均衡

FastDFS实现了软件方式的RAID，可以使用廉价的IDE硬盘进行存储 支持存储服务器在线扩容

支持相同内容的文件只保存一份，节约磁盘空间 FastDFS只能通过ClientAPI访问，不支持POSIX访问方式

FastDFS特别适合大中型网站使用，用来存储资源文件(如：图片、文档、音频、视频等等)

FastDFS简介

FastDFS是一个轻量级的开源分布式文件系统

FastDFS主要解决了大容量的文件存储和高并发访问的问题，文件存取时实现了负载均衡

FastDFS实现了软件方式的RAID，可以使用廉价的IDE硬盘进行存储

支持存储服务器在线扩容

支持相同内容的文件只保存一份，节约磁盘空间

FastDFS只能通过ClientAPI访问，不支持POSIX访问方式

FastDFS特别适合大中型网站使用，用来存储资源文件(如：图片、文档、音频、视频等等)

系统架构-架构图

系统架构-上传文件流程图

1. client询问tracker上传到的storage，不需要附加参数;

2. tracker返回一台可用的storage;

3. client直接和storage通讯完成文件上传。

系统架构-下载文件流程图

1. client询问tracker下载文件的storage，参数为文件标识(组名和文件名);

2. tracker返回一台可用的storage;

3. client直接和storage通讯完成文件下载。

相关术语

Tracker Server：跟踪服务器，主要做调度工作，在访问上起负载均衡的作用。记录storage server的状态，是连接Client和Storageserver的枢纽。

Storage Server：存储服务器，文件和meta data都保存到存储服务器上

group：组，也可称为卷。同组内服务器上的文件是完全相同的

文件标识：包括两部分：组名和文件名(包含路径)

meta data：文件相关属性，键值对(Key Value Pair)方式，如：width=1024,heigth=768

同步机制

同一组内的storageserver之间是对等的，文件上传、删除等操作可以在任意一台storage server上进行;

文件同步只在同组内的storage server之间进行，采用push方式，即源服务器同步给目标服务器;

源头数据才需要同步，备份数据不需要再次同步，否则就构成环路了;

上述第二条规则有个例外，就是新增加一台storage server时，由已有的一台storageserver将已有的所有数据(包括源头数据和备份数据)同步给该新增服务器。

通信协议

协议包由两部分组成：header和body

header共10字节，格式如下：

–8 bytes body length

–1 byte command

–1 byte status

body数据包格式由取决于具体的命令，body可以为空

运行时目录结构-tracker server

${base_path}

|__data

| |__storage_groups.dat：存储分组信息

||__storage_servers.dat：存储服务器列表

|__logs

|__trackerd.log：trackerserver日志文件

运行时目录结构-storage server

${base_path}

|__data

| |__.data_init_flag：当前storageserver初始化信息

||__storage_stat.dat：当前storage server统计信息

||__sync：存放数据同步相关文件

|| |__binlog.index：当前的binlog文件索引号

|| |__binlog.###：存放更新操作记录(日志)

|| |__${ip_addr}_${port}.mark：存放同步的完成情况

||

| |__一级目录：256个存放数据文件的目录，如：00, 1F

| |__二级目录：256个存放数据文件的目录

|__logs

|__storaged.log：storageserver日志文件

安装和运行

#step 1. download FastDFS source package and unpack it,

# if you use HTTP to download file, please downloadlibevent 1.4.x and install it

tar xzf FastDFS_v1.x.tar.gz

#for example:

tar xzf FastDFS_v1.20.tar.gz

#step 2. enter the FastDFS dir

cd FastDFS

#step 3. if HTTP supported, modify make.sh, uncommentthe line:

# WITH_HTTPD=1, then execute:

./make.sh

#step 4. make install

./make.sh install

#step 5. edit/modify the config file of tracker andstorage

#step 6. run server programs

#start the tracker server:

/usr/local/bin/fdfs_trackerd

#start the storage server:

/usr/local/bin/fdfs_storaged

FastDFS和集中存储方式对比