分布式存储是什么
分布式存储系统将大量的普通服务器，通过网络互联，对外作为一个整体来提供存储服务。分布式存储系统通过把一个完整的数据集分片，存储到不同的节点中，每个节点都能对外提供服务来提高整个存储集群的存储能力、处理能力、快速响应能力，从而更好地整合了更多的服务器，来处理更多的数据。
分布式存储在中国移动的应用
移动苏研可提供整体的云解决方案，供公有云、私有云、金融云、政务云等场景使用，目前可以覆盖：IaaS & SaaS应用、运营和运维管理平台、安全管理平台、SaaS管理平台等。
以移动集团云基础设施为例，中国移动从2015年开始布局云计算领域，并由苏研进行承建，先后在全国多地数据中心构建了统一的云平台，对内支撑集团产品云化，对外服务全网政企客户和互联网客户，提供安全、可信、稳定、高效的云服务。截止至目前，总计承载50+万vCPU的计算资源，分布式存储系统裸容量达到了100PB。
除此之外，在移动集团各省公司、专业公司以及外部客户中，苏研分布式存储系统总部署规模已超过350PB，近4000个节点。
分布式存储分类及选型
在苏研提供的云解决方案中，自研存储占据绝大比例，按照使用场景，可分为以下三类：块存储、对象存储、文件存储。
以上三类存储在IO路径上提供不同层次的封装，一般而言，块存储性能更优，文件存储更注重数据即时性，对象存储更注重数据长效性。
苏研的分布式存储选型，主要基于开源社区的明星项目ceph以及glusterfs来进行定制开发：
以ceph的RBD接口构建分布式块存储集群；
以ceph的RGW接口构建分布式对象存储集群；
以glusterfs构建分布式文件存储集群。
并以此为基础，增加更为丰富的企业级特性，满足客户的使用需求。
分布式块存储相关实践
基于ceph深度定制开发的分布式块存储集群，可提供RBD、iSCSI、NBD等多种访问接口，可以满足KVM、VMware、Xen、Baremetal、K8S等多种使用场景，其架构图如下：
在分布式块存储实践中，苏研引入了智能的缓存层实现数据的智能存储，同时也支持iSCSI协议对块设备进行访问，满足KVM场景外的使用需求。
缓存方面，在经过大量对比调研之后，选择bcache方案为ceph进行智能加速，热点数据存储在ssd中获取更高的访问性能，冷数据存储在hdd中获取更低的存储成本，数据依据其访问频度智能地在ssd与hdd设备之间进行迁移，达到均衡存储性能与存储成本的目的；
iSCSI协议方面，在用户态进行了功能实现，除iSCSI基础功能之外，还可支持MPIO多主模式、全路径负载均衡技术及高可用技术，提供高读写性能；可支持LUN Masking、LUN Mapping功能，提供数据访问隔离；且实现了VMWare VAAI以及Windows ODX规范指令集，在VMWare或Windows应用场景下提高数据拷贝等操作的性能。
分布式对象存储相关实践
基于ceph深度定制开发的分布式对象存储集群，可提供S3、Swift等多种访问协议，且支持对象多版本、生命周期等诸多高级特性，其架构图如下：
在分布式对象存储实践中，接入层引入Keepalived+LVS方案进行RGW组件的高可用以及负载均衡；引擎层结合低频存储特性，依据对象访问频度在副本池与纠删码池之间智能进行存储，且数据可依据自身生命周期在“高低频”存储池之间进行智能迁移。
对象存储因其更为简易的使用方式，更为便捷的数据管理，以及数据多版本等优良特性，越来越多地得到应用，其典型使用场景可汇总如下：
分布式文件存储相关实践
基于glusterfs深度定制开发的分布式文件存储集群，可提供传统NAS、云化NAS等服务，可以满足常规NAS、容器存储等多种使用场景，其架构图如下：
在部署方面，使用distribute replicate volume方案，结合DHT分布卷与AFR复制卷优势，兼顾数据安全性以及数据存储成本。
文件存储在数据共享、高频更新方面有着天然优势，且遵循POSIX语义，业务无需改造即可直接使用，其典型使用场景可汇总如下：
小结
中移苏研一直秉承“源于社区、回馈社区”的理念，在使用社区项目的同时，苏研也积极支持社区发展，苏研在Ceph社区贡献排名国内企业前三名，在glusterfs社区，苏研也一直持续进行patch提交。
作为Ceph基金会全球首批顶级会员，苏研也会持续助力Ceph等开源技术产品化进程，同时，也为客户提供更大价值。
Ceph中国社区
是国内唯一官方正式授权的社区，
为广大Ceph爱好者提供交流平台！
开源-创新-自强
官方网站：www.ceph.org.cn
合作邮箱：devin@ceph.org.cn
投稿地址：tougao@ceph.org.cn
长期招募热爱翻译人员，
参与社区翻译外文资料工作。
