2.ceph安装与扩容

生产环境最低配置

• 最少三个MON节点

• 最少三个OSD节点

• 最少两个MGR节点

每个OSD磁盘启动一个osd进程，用来上报该osd的状态。所有osd磁盘平均读写
每个OSD上的数据平均分配，数据分片大小2M-4M

MDS本身只在内存中缓存元数据加速访问，真正的数据在osd里面。

ceph严格要求时间同步

[root@servera ~]# ceph -s
  cluster:
    id:     89db0033-4d6a-41c8-946f-7025482702d5                集群id，自动生成
    health: HEALTH_OK                                           集群健康状态
 
  services:
    mon: 3 daemons, quorum servera,serverb,serverc          3个mon节点
    mgr: servera(active), standbys: serverc, serverb        mgr的节点，standbys是当前的活动节点，其余是备份节点
    osd: 9 osds: 9 up, 9 in
 
  data:
    pools:   0 pools, 0 pgs
    objects: 0 objects, 0 bytes
    usage:   965 MB used, 133 GB  134 GB avail
    pgs:

ceph -w 实时打印集群状态日志

组件端口说明

·Mon 
    6789/TCP
·Mgr
    6800/TCP: Mgr的守护端口，用来和mon进行通信
    7000/TCP：提供dashboard
    8003/TCP：提供zabbix监控的端口
    9283/TCP：提供给Promethcus监控的端口
·OSD：
    6800-7300/TCP  osd的动态端口
    一个osd进程监控了四个端口：
        第一个端口用来与和monitor和client通讯
        第二个用户多个osd之间进行数据同步
        剩下两个用在网络之间传递心跳

OSD状态说明

up      osd进程启动
in      osd进程正在对外提供服务
down    osd进程down
out     osd进程无法对外提供服务

up in   服务正常
up out  对磁盘进行维护时，摘除集群
down in  集群异常，磁盘磁盘故障    
down out 集群异常

[root@servera ~]# ceph osd df
ID CLASS WEIGHT  REWEIGHT SIZE   USE  AVAIL  %USE VAR  PGS 
 1   hdd 0.01459  1.00000 15348M 107M 15241M 0.70 1.00   0 
 3   hdd 0.01459  1.00000 15348M 107M 15241M 0.70 1.00   0 

ID:磁盘编号
CLASS：磁盘类型
WEIGHT：磁盘权重(根据磁盘大小进行计算  1T数据盘为1 2T数据盘为2)
REWEIGHT：当前所有的OSD磁盘大小重新计算的权重
SIZE：磁盘大小
USE：磁盘使用量
AVAIL：磁盘空余量
%USE：当前使用的百分百比