作者简介： |
郭加鹏，从事IT基础架构规划和项目管理 |
一、现状与背景
（一）存储资源管理模块建设现状
2015年在7个省市单位开展云资源管理系统存储资源管理模块的试点建设工作，将现有存储资源融入到资源池管理体系中。2015年通过存储资源管理模块部署实施完成对存储资源的配置、性能、告警的“监测“。截至12月初，试点单位已经全部完成存储资源管理模块实施，共纳管51套存储设备，总容量共3854T，已分配2905T，平均分配率为75%。
（二）存储虚拟化建设现状
基于数据中心集中式中高端SAN存储品牌差异等运维压力，多个省市公司采购IBM、EMC、华为等品牌存储虚拟化管理软件。存储虚拟化软件可以解决不同品牌、不同存储原理、不同硬件配置等SAN存储的统一监控、调配和管理等。目前存储虚拟化软件主要有：基于SAN网关型IBM SVC、EMCVPLEX、飞康、信核等，基于存储设备HDS：VSG1000。
（三）分布式存储研发与试点现状
为提升公司自主可控能力和适应分布式架构，经过实验对比论证，2015年公司基于开源软件Ceph开展了自主分布式研发与试点工作，目前已研发可同时支持对象存储、文件系统、块存储的分布式存储系统SG-DS，并在山东等3个单位进行部署验证，共计16个节点100T，承载oracle数据库和资源池虚拟机。
为实现“十三五”规划“大云物云”目标，集中式存储于分布式存储将长期共存，存储一体化监督和管理是云资源管理的重要组成，依托存储虚拟化、分布式存储和基于openstack等云计算资源管理等等技术实现。
二、应用场景与需求
（一）存储虚拟化定义
目前业界对于存储虚拟化的定义不统一，狭隘概念为图2针对集中式SAN存储虚拟化管理；广义概念为图3针对所有架构的存储虚拟化管理。一般厂商所宣传为狭义的概念。本文提存储虚拟化均为狭义概念。
存储虚拟化将实际的物理存储实体（如磁盘）与存储的逻辑表示分离开来，应用服务器只与分配给它们的逻辑卷(或称虚卷)打交道，而不用关心其数据是在哪个物理存储实体上。存储虚拟化用于简化相对复杂的底层存储架构。存储虚拟化的思想是将资源的逻辑映像与物理存储分开，从而为系统和管理员提供一幅简化、无缝的资源虚拟视图。是集中式存储的优化方案。
存储虚拟化主要有两种技术：基于SAN存储网关（下图左）和基于存储设备（下图右）的虚拟化技术。
（二）应用场景
根据存储对象不同，存储主分为：
文件系统：主要存储照片、文档、视频、音频等非结构化文件，典型场景为非结构化平台、电子商务平台，目前主要通过上图4NAS存储实现；
对象存储：主要指镜像文件，典型场景为应用系统或资源池的虚拟镜像文件，目前国网通过上图2中高端SAN存储实现；
块设备：即一般的数据库存储，主要有oracle、MySQL等，目前主要通过上图2中高端SAN存储实现；
（三）典型问题
集中式存储，面临的主要问题如下：
非结构化数据增长迅猛，NAS存储扩容压力大
因非结构化数据单文件大、多媒体场景增加等特点，据统计信息，全球非结构化数据爆炸增长；公司电子商场上线、电子商务招投标文件、GIS等应用，非结构化平台数据增长迅猛。但基于集中式存储特点，扩容压力较大。
中高端SAN存储品牌差异，缺乏统一管理
因建设周期，招标过程，技术发展，目前公司中高端SAN存储主要有：EMC、HDS、IBM、HP、DELL、NetApp、华为、宏杉等，品牌不统一、机制有差异、协议不兼容、管理封闭性强等问题，造成数据中心存储管理不智能、不统一。
中高端SAN资源无法动态调动，扩容性差
因SAN存储的集中式架构特点，数据集中在固定的磁盘柜，数据无法在不同磁盘柜之间动态调动；且扩容性差，数据扩容一般需停机，造成业务中断。
三、技术解决方案
针对上述三类存储需求和典型问题，公司开展了分布式文件系统研发，分布式存储替代，存储虚拟化管理及云资源管理等措施解决。
（一）分布式文件系统替代NAS存储
较为著名和成熟的分布式文件系统有HDFS、MFS、Ceph等，针对现状较为成熟的方案有：
采用基于HDFS或MFS分布式文件系统替代，技术成熟，经过测试和论证，目前已有部分系统采用此方案，运行稳定，成本降低，性能显著提升；
采用基于Ceph自主分布式存储（大容量型方案）替代，2015年产品研发完成，技术成熟，个别省公司之间系统采用此方案，运行稳定，性能显著提升；
（二）商业存储虚拟化软件统一管理集中式SAN存储
针对集中式SAN存储品牌差异、管理不统一、无法动态调动等问题，目前部分商业存储虚拟化软件可实现不同品牌存储的集中式管理，以IBM SVC为例，主要优点如下：
支持市场上多数存储品牌；
实现存储资源的虚拟化管理，资源动态调动；
屏蔽底层差异，精简配置管理；
实现本地或300公里内存储双活；
减少机头购置，节约扩容费用等；
（三）研发基于Ceph的自主分布式存储
2015年公司开展了分布式存储研究，其IO性能、稳定性均能够满足现有业务应用的需求。此外还具有如下特点：
同时满足对象、文件系统和块存储3种需求，可以实现统一管理；
无单点故障，可无限扩展；
多副本模式，实现数据高可用；
成本低廉，管理便利；
（四）基于openstack等云架构管理模块统一管理
以openstack为例，通过Swift、Cinder等3个组件，基于API接口，可以实现文件系统、对象和块存储3种管理，目前可以支持主流厂商如 NetAPP、IBM、SolidFire、EMC 和及分布式存储CEPH、XIV等。目前公司软硬件资源池采用此种技术，实现了集中式存储的统一查看功能，对资源统一管理和分布式存储的兼容性，还在研发与调试。最大的障碍是，不同厂商开放协议、端口及功能差异较大，不能够完全适配。
四、演进路线
针对十三五规划，和云计算广泛推进，改变传统集中式存储技术封闭、扩展性型差、无法弹性调度等缺陷，集中式存储向分布式存储转变、孤立存储向云平台统一管理转变势在必得。
1.NAS存储扩容新建全部采用技术成熟的分布式存储；
2.在不购置集中式存储的基础上，为解决现有集中存储问题和充分利用已购置设备，经过测试和论证情况下，可以适当引入成熟存储虚拟化软硬件，构建公司级集中式存储资源池；
3.不再新建、扩容SAN存储，使用分布式存储构建公司级分布式存储资源池；
4.新建业务系统统一部署于分布式存储资源池；非核心业务系统，逐步由集中式存储迁移至分布式存储资源池；核心业务，经过论证，可暂时留在集中式存储池；
5.加强公司云计算存储资源核心技术研究与管理模块开发，利用API接口（如OpenstackSwift/Cinder等组件）实现存储资源的整体监控、管理、调动。
五、工作建议
1.加强集中式存储向分布式存储迁移策略研究；加强集中式存储和分布式存储异构应用策略和技术验证；
2.构建公司级分布式存储资源池，不再购置集中式存储，新增、扩容、改造系统采用分布式存储替代。
3.在实现展示功能的基础上，加强云计算存储资源调配管理技术研究和相关模块的开发。
1）即日起，凡是推送在【子衿技术】平台的文章，阅读量超过1000，该文章作者可获赠礼品。
2）投稿数量较多的作者可获赠礼品。
3）从关注的用户中每月抽取3名幸运关注用户，这3名幸运用户可获赠礼品。
技术干货文章随时欢迎向“子衿技术团队”订阅号投稿。
投稿邮箱：xx.miaojingwen@163.com。
欢迎扫码关注子衿技术
