暂无图片
暂无图片
1
暂无图片
暂无图片
暂无图片

数据库服务能力成熟度模型

SQLServer 2023-05-04
1145

作为DBA,你的日常工作也许是部署、迁移、升级、优化、排查问题、背锅等。但有时候你会发现,自己所想所做的事情,总是锁死在这有限的思维里。如何从繁杂重复的工作中跳出这个框架,提升至架构师或管理者的思维,对数据库的管理体系有一个全面的认知呢?
我推荐大家来认识一下能力成熟度模型(Capability Maturity Model,CMM)。CMM是一种用于开发和改进组织软件开发过程的方法。该模型描述了组织或系统越来越成熟的五级进化路径。CMM 和 ISO 9001 之间的主要区别是用意不同;ISO 9001 规定了软件过程的最低可接受质量水平,而 CMM 建立了持续过程改进的框架。
CMM应用在各种项目的组织管理中。在国内数据库方面,中国信息通信研究院及各云厂商协作制定了《数据库服务能力成熟度模型》,编号为T/CCSA 418-2022。该模型规定了数据库服务的范围、总体框架、各类服务能力要求以及成熟度模型。

数据库服务能力成熟度模型定义了3项一级指标,27项二级指标。

一级指标
规划设计能力
实施部署能力
运维运营能力
二级指标
架构规划咨询
单机部署
基本运维
容灾备份规划
集群部署
云化运维
数据安全规划
容灾架构部署
数据库监控
产品选型规划
同步架构设计与部署
监控检查
开发规范设计
数据库迁移
SQL 审核
数据库运维规范设计
数据库升级
备份恢复
数据模型物理化设计
数据库整合
安全审计
数据生命周期设计

应急方案演练


培训


性能优化


模型优化


数据生命周期管理


数据库服务能力成熟度模型定义了5个能力等级。

能力等级

内容描述

第一级:初始级
具有简单的数据库服务相关的组织内通用流程、管理规范和人员岗位设置等,可被动地根据需求及问题作出反应,能够基本完成数据库服务建设目标,但是有一定的偶然性。
第二级:可重复级
经过历史数据库服务工作的技术及经验积累。形成初步数据库服务的组织内通用流程和管理规范等,有基本工具支撑流程的执行,通过经验和技术积累保障目标达成的成功率。
第三级:稳健级
  • 具有数据库服务较为完备的组织内通用流程和管理规范等,有较完善的工具和经验丰富的人员支撑流程的执行,有基本制度保障流程的执行。
  • 组织通过沉淀的知识库(经验、方法、思路)、流程和规章制度提升工作效率,保障目标达成的成功率。
第四级:量化管理级
  • 完善己有数据库服务建设的组织内通用流程和管理规范等,具备水平较高的工具和人员保障目标达成的成功率。
  • 在组织层面建立可量化的评估指标体系,有专门工具和人员对流程的执行进行监控和量化分析。形成组织能力基线,有专门制度保障流程的监控、量化分析和及时改善。
  • 参与国家、行业等相关标准的制定工作。
  • 在数据库服务过程中充分借鉴了行业最佳案例、国家标准、行业标准等资源,促进组织本身的数据库服务管理提升。
第五级:优化级
  • 组织能够利用数据库服务创造更多的价值和不断迭代优化组织的效率。
  • 组织结合环境的变化,主动优化己有流程、工具、制度等,不断引入新的技术和理念,超预期达成目标。
  • 能够主导国家、行业相关标准的制定工作。
  • 组织的服务经验可以作为行业最佳案例进行推广。


一、 规划设计能力

规划设计能力主要指以咨询、规划和设计数据库模型、架构、流程、管理制度为主要目的的数据库服务,整体服务主要包括架构规划咨询、容灾备份规划、数据安全规划、产品选型规划、开发规范设计、数据库运维规范设计、数据模型物理化设计、数据生命周期设计。

1. 架构规划咨询

概述:

架构规划咨询主要指数据库服务方根据需求方的业务特性、业务要求及未来发展需求,对数据库类型及其它基础设施如服务器配置、存储、操作系统、集群架构等部分进行短期、中期、长期规划和设计。在使用服务器或云服务时,帮助需求方选择合适的数据库类型,规划设计数据库架构体系,包括但不限于满足高可用需求、容灾需求、读写分离需求、双活需求、分库、分表、分区需求。

过程描述:

a )数据库服务方根据需求方业务现状及未来 5 到 10 年业务规划,初步选定业务系统的整体架构。
b )整体架构建立后,根据客户业务要求,选定高可用架构和容灾架构。
c )如果业务方有读写分离、分库、分表需求,服务方基于业务需求制定业务的网络及数据库架构。
d )根据客户的容灾切换需求,制定基于多地域多中心的部署方案,及相应的数据同步方案,需要达到业务规定的 RPO 和 RTO 要求。
e )搜集到业务等流量等级分类后,制定相应的等级分类策略,满足相应的系统扩展性需求。明确相应的扩展性需求后,需要输出相应的扩展策略,包括触发阈值,扩展动作,扩展方式等。

2. 容灾备份规划

概述:

容灾备份规划主要指数据库服务方为确保用户数据的安全性,根据需求方的 RTO 、 RPO 等要求,结合用户的实际情况,设计符合用户要求的容灾架构和备份策略,当数据库系统发生软、硬件故障或机房遇到自然灾害时,既保证数据安全,也不中断业务或快速恢复业务。灾备根据业务等级,分为单机房灾备、本地同城灾备、两地三中心灾备等方式。


过程描述:

a )服务提供方了解客户需求,基于成本因素考虑,客户可根据自身业务数据的容灾要求和数据中心分布情况,选择不同的部署方案。针对客户不同的数据中心架构,在数据可靠性与可用性上做出权衡.做到灵活部署。

b )根据客户的需求,如项目的可用性、一致性、成本要求等,进行场景细分设计,选择合适的部署方案,如:同城三中心架构、同城单中心架构、两地三中心架构、两中心架构等。

c )根据需求方对数据安全性、可靠性、持久性的需求选择合适的备份方式,需要达到自动备份、一键式恢复的能力。并可以提供自定义备份策略。通常数据库的备份分为全量备份和增量备份。 

d )服务方支持恢复到某一时间点的能力,通过数据库回档能力,最大程度地减少系统损失。通过指定恢复的冷备副本,一键式完成恢复操作。并可提供详细的恢复流程指引说明。


3. 数据安全规划

概述:

数据安全规划主要指数据库服务方为确保用户的数据库、数据安全性,制定标准且可落地的数据库用户、口令、权限的设计规范作为新系统上线的安全管理基准参照。基于用户数据安全性和敏感性的要求,从防侵入、防窃取、防篡改、防泄密可追溯等多维度提供基于数据库的安全策略、安全软件、安全规范建议。


过程描述:

a )根据客户需求确定需要满足的标准要求,建议有可参考的国标等。

b )设计安全审计部分功能规则,如什么情况下会产生审计数据,每个审计记录中需要包含哪些信息。根据需求制定安全审计查阅、选择性审计中的组件等安全评估内容。

c )根据需求,制定用户数据保护策略,如基于安全属性的访问策略、带安全属性的用户数据输出、不带安全属性的用户数据输入、基本内部传送保护等。

d )设计标识与鉴别规则,满足每个数据库用户具有标准的安全属性,通过设定鉴别、标示时机来满足用户鉴别需求。

e )设计安全功能行为的管理规则,已识别的授权角色对安全管理功能应进行权限划分。

f )制定安全功能保护策略、容错策略。


4产品选型规划

概述:

产品选型规划是指数据库服务方根据需求方业务特性和用户的信息技术策略偏好,提供适合用户系统特色的数据库与平台的类型、版本、补丁选择,也可以向用户提供产品选型策略标准。


过程描述:

a )产品需求分析;用户根据开发要求、性能/成本平衡、产品的运行管理工具、后期产品升级、所选产品是否满足国标和行标要求、安全等级要求、总成本分析等诸多因素,对所选产品提出可量化的需求指标。 

b )产品选型分析,可从如下角度对产品进行评估:

1 )运行环境:产品支持的平台、操作系统。 
2 )应用类型:支持单独的 OLTP/0LAP ,或者混合型应用类型。 
3 )功能分析:基本功能支持,如标准接口兼容性、多种数据类型、字符集、表、视图、索引、触发器、函数、存储过程、序列、同义词、事务、备份恢复等;高级特性,如全文检索、时空数据、行列混合存储、多种分区方式、安全加密、审计、中间件兼容性、多租户等。 
4 )高可用和容灾架构:产品是否具有成熟稳定的高可用和容灾方案,可同机房/同城、异地部署;提供高可靠复制方案,超远程多功能复制方案;两地三中心数据实时热备、故障秒级切换、多活节点、读写分离,负载均衡、应用透明连接;分布式集群可实现读写分离、数据库可实现横向扩展等。 
5 )性能和稳定性:分析用户现有和未来业务数据量和复杂度前提下,性能和稳定性指标是否满足要求,如 7 * 24 小时稳定性测试指标。 
6 )可扩展性:是否具有良好的伸缩性和灵活的配置功能,满足硬件扩展和集群系统扩展需求。 
7 )安全性:分析产品提供的加密算法和标准以及具有的加密功能、审计功能、权限管理、访问控制等,评估其安全等级是否满足需求。 
8 )工具和平台:产品是否提供开发、监控、运维等辅助工具和管理平台。 
9 )服务质量:能否提供稳定、全面、及时、满意的产品售后服务支持。 

c )产品选型测试:根据选择的产品,模拟业务运行环境进行产品测试,包括功能、高可用、性能、稳定性、安全性以及相关工具的测试工作。 

d )产品选型确认:根据用户需求和产品测试结果综合评估,确定最终产品。


5开发规范设计

概述:

开发规范设计主要指数据库服务方根据数据库特性与开发的相关性,从 SQL 代码编写、表设计、索引设计、其他数据库对象设计等多方面提供全面细致的开发规范指导,规范数据库需求方在业务系统开发过程中数据库的设计与开发,防范低效的数据库设计、低质量的结构化查询语言代码的出现,提升业务系统质量和开发效率。


过程描述:

a )服务方确定系统架构,可以从存储层、中间件层、运营管理系统三个架构进行规划设计。 

b )设计数据库开发规范,如数据库命书规范、表设计规范、 SQL 开发规范、接日连接驱动规范等。 

c )设计数据分片内容,根据分表字段确定拆分维度,通过定义规则实现数据库的垂直拆分或水平拆分。并确定部分开源数据库的兼容性。 

d )如果是分布式事务可以进行事务隔离机制的设计,常见的四种标准隔离级别为未提交读、提交读、重复读、串行化,至少需要完整地支持两种,以满足业务多样性的需求。

e )设计数据库治理相关功能点,如实例管理功能、监控与告警功能、参数管理、备份恢复功能、数据库加密及脱敏功能、审计功能等常见治理相关功能点。


6数据库运维规范设计

概述:

数据库运维规范设计主要指数据库服务方根据数据库及业务系统特点,提供数据库标准化运维体系,如组织架构、管理流程、管理规范、变更管理流程等,保证系统长期、稳定、安全运行,强化数据库标准化管理,减少故障停机时间,在出现各类异常时有标准处理流程与处理方法可依。


过程描述:

a )制定数据库运维组织架构、管理流程、管理变更流程、故障响应等级、运维培训规范、应急演练规范。

b )制定数据库运维规范相关手册,如数据库操作手册、数据库例行维护手册、故障处理手册、应急手册等。

c )根据需求方的资源环境情况和业务场景,提供系统环境配置建议。


7数据模型物理化设计

概述:

数据模型物理化设计是指在开发部门完成业务模型、逻辑模型设计后,数据库服务方根据所选数据库的特性,结合各个逻辑模型的业务特性,如并发、读写、数据特征等,进行数据模型的物理化设计,确定其对应的表类型、索引设计等,从而获得高效持久的运行效率。


过程描述:

a )数据库服务方与开发商或用户方交流逻辑模型相关信息,了解逻辑模型的业务特性,如并发量、读写特性、数据访问规律、数据增长情况等。

b )对逻辑模型的业务特性进行分析,结合数据库特性,从性能、数据生命周期等维度综合考虑,制定逻辑模型的物理化设计,包括制定分区分表分库策略、选取合适的表类型、确定表和索引等对象的属性特征、规划前瞻性索引设计等。


8数据生命周期设计

概述:

数据生命周期设计是指数据库服务方根据数据的特质将数据归类,对不同性质的数据和不同生命周期的数据制定不同的数据生命周期管理办法。对持续增长的业务数据,根据数据特征和业务特征,提前规划出实现数据生命周期需求的表和数据处理方案,如归档、清理等。


过程描述:

a )与开发商或用户方交流业务数据的相关信息。

b )根据业务数据的特质将数据进行归类,比如临时数据、中间数据、在用数据、静态数据、存档数据等。

c )根据不同类别的数据的生命周期需求制定不同的管理方案,包括但不限于:

1)临时数据和中间数据使用完毕后及时清理;
2)常用数据和静态数据利用分片或分区表进行存放;
3)存档数据进行定期备份归档操作,存入归档数据库中或者进行备份,并从原数据库中清理。


二、 实施部署能力

实施部署能力主要指以部署、升级、迁移、整合数据库为主要目的的数据库服务,整体服务主要包括单机部署、集群部署、容灾架构部署、同步架构设计与部署、数据库迁移、数据库升级、数据库整合。

1. 单机部署

概述:

单机部署是指数据库服务方根据业务需要,基于标准化安装文档,完成数据库单机的安装部署,在安装时注意规避环境、参数设置、存储空间的风险,并测试验证数据库的可用性。


过程描述:

a )部署前环境检查:检查服务器部署环境中的磁盘空间、产品版本、操作系统和版本号;检查数据库选型、操作系统核心参数配置是否满足数据库安装所需的基本要求。

b )部署安装:按照数据库标准化安装步骤和客户需求,完成相应数据库产品的单机部署。

c )部署后调整验证及交付:

1)设置数据库环境变量:根据产品需求和操作系统环境设置数据库基本的环境变量,根据用户应用需求设置字符集、日期格式等应用相关参数;
2)更改数据库参数配置:根据操作系统资源环境调整资源配置参数,如数据库配置参数、连接参数等信息;
3)启动并检查数据库:启动数据库,检查数据库日志、状态等健康状况;
4)验证数据库可用性:模拟应用环境测试并验证数据库是否满足应用需求,检查应用运行状况,检查数据健康状况,并交付用户使用。

2. 集群部署

概述:

数据库集群部署主要指数据库服务方根据业务需要,基于标准化安装文档,完成数据库集群架构的安装部署,在安装时注意规避环境、参数设置、存储空间的风险,并测试验证集群的可用性。


过程描述:

a )部署前准备:

1)组网规划:基于前期确定好的硬件资源,设计集群的逻辑组网规划和物理组网规划,例如单机房、本地同城、两地三中心组网规划等;
2)检查安全环境硬件资源与前期规划一致性,包括不同组件对应机器的CPU、内存、存储、网络等硬件信息;
3)检查操作系统与前期规划一致性,包括操作系统类型、操作系统版本、待安装的数据库版本是否正确等;
4)检查安装环境系统环境配置、参数是否符合数据库安装要求,如 IP配置是否符合要求时钟同步是否开启、防火墙是否关闭及数据库运行需要的其它特殊配置;

b )部署安装:按照数据库标准化安装步骤和客户需求,完成相应数据库产品的安装及参数配置。

c )部署后调整验证及交付:

1)组建集群:安装完成后,根据前期的集群规划,组建集群;
2)验证数据库可用性:数据库启动成功后,根据安装指导手册验证数据库基本功能是否正常;
3)交付使用:基本功能验证无异常后,将数据库提交给使用者使用;

3. 容灾架构部署

概述:

容灾架构部署主要指数据库服务方基于容灾架构设计,为需求方完成数据库容灾架构部署,确保容灾的可用性和可切换性。


过程描述:

a )部署前准备:

1)确定容灾目标和成本:包括但不限于灾难发生后的数据恢复能力,响应效率,对不同故障、网络分区发生灾难的承受能力;
2)容灾部署环境检查:检查部署硬件资源、网络资源、软件资源是否满足容灾方案要求;
3)容灾部署规范定义:统一定义容灾部署中的服务器名、实例名、IP信息、端口信息、文件规范等;

b )部署安装:根据容灾架构设计方案,进行容灾架构部署与配置,对于数据库产品组件的构成和负载,细化容灾解决方案中每个组件的拓扑。

c )部署后调整验证及交付:

1)容灾架构检验:通过压力测试或者模拟故障场景,测试灾备架构的效果,验证灾备设计的目标是否达成;
2)容灾架构完善:建立容灾架构巡检计划,通过监测工具进行日常巡检,完善容灾操作指南针对灾难恢复过程中已知和未知问题建立实施对策,并为今后系统扩展提供指导方案和迁移方案;


4. 同步架构设计与部署

概述:

同步架构设计与部署是指数据库服务方基于需求方同步的实时性要求、环境情况,结合数据特征,确定数据同步的技术、平台、实现方案、数据范围等,进而在需求方的环境中部署数据同步架构,测试验证同步架构的有效性和数据一致性。


过程描述:

a )需求与环境调研:调研需求方的业务环境,如系统数据量、同步实效性,同步业务架构、网络环境等,调研需求方的同步架构设计需求。

b )方案设计:根据客户需求和业务环境.制定部署方案。包括同步任务的种类和能力要求,实时性要求,数据对象的范围和类型,同步过程的冗余及事务机制,自动化程度等。

c )同步部署:申请相关资源和权限,根据需求调研和申请的环境,进行数据同步任务的配置与调度,在不影响或较少影响生产环境的前提下同步数据。

d )同步测试与校验:数据同步完成后,利用同步校验工具或平台完成全量数据和增量数据的校验和修复工作,保证同步的数据准确一致。

e )同步优化:通过调整参数等方式,不断优化同步的一致性和性能。


5. 数据库迁移

概述:

数据库迁移是指数据库服务方根据需求方的迁移需求,结合实际的环境情况,例如数据规模、数据类型等,制定能够圆满达成用户需求的迁移方案,并实施与交付。数据库迁移需确保数据的完整性与一致性,迁移方案需包含回退方案,迁移完成后至少通过业务验证。


过程描述:

a )前期调研评估:数据库服务方调研迁移背景和用户环境,了解客户需求,明确迁移场景、数据量、环境信息、停机时间、迁移计划等重要信息;对迁移工作进行兼容性评估、风险评估和规划设计,制定并审核迁移实施计划、迁移方案和回退方案。

b )中期迁移实施:

1)搭建实施环境,如需必要,按客户要求选取典型模块进行POC验证和一定程度的业务改造;
2)全面业务测试,测试环境应尽量接近生产环境,测试内容通常包含功能测试、性能测试、稳定性测试、可靠性测试、扩展性测试、安全性测试、回退方案验证等;
3)根据备份恢复及容灾方案,对新旧系统进行同步互备,根据割接方案进行割接演练,演练次数宜三次以上,制定数据库切换检查清单,并逐步执行;
4)在需求方时间窗口内,选择合适的迁移工具完成全量数据和增量数据的迁移,并进行数据校验和修复,迁移结束需确认环境;
5)对业务功能进行验证,验证无误准备生产环境,按照割接方案正式割接;

c )后期保障护航:对可能出现的业务高峰和突发问题,数据库服务方应配置数据库专家快速响应,如遇到无法处理的情况,依据回退方案和演练细则逐步完成回退,保障业务系统稳定运行。


6. 数据库升级

概述:

数据库升级主要指数据库服务方根据需求方的升级需求,结合实际的环境情况,例如数据规模、数据类型等,制定能够圆满达成用户需求的升级方案,并实施升级。升级需确保数据的一致性与业务的可用性,升级方案需包含回退方案,升级完成后至少通过业务验证。


过程描述:

a )前期调研评估;数据库服务方调研客户环境,了解客户需求;对升级工作进行风险评估和规划设计,制定并审核升级实施计划、升级方案和回退方案

b )中期迁移实施:

1)安装部署数据库测试环境,如需必要,按客户要求选取典型模块进行POC验证和一定程度的业务改造;
2)全面业务测试,测试环境应尽量接近生产环境,测试内容通常包含功能测试、性能测试、稳定性测试、可靠性测试、扩展性测试、安全性测试、回退方案验证等;
3)根据备份恢复及容灾方案,对新旧系统进行同步互备,根据割接方案进行割接演练,演练次数宜三次以上,制定数据库切换检查清单,并逐步执行;
4)在需求方时间窗口内,选择合适的工具完成全量数据和增量数据的升级,并进行数据比对,升级结束需确认环境;
5)对业务功能进行验证,验证无误准备生产环境,按照割接方案正式割接;

c )后期保障护航;对可能出现的业务高峰和突发问题,数据库服务方应配置数据库专家快速响应,如遇到无法处理的情况,依据回退方案和演练细则逐步完成回退,保障业务系统稳定运行。


7. 数据库整合

概述:

数据库整合是指数据库服务方根据需求方的整合需求,结合实际的环境情况,例如数据规模、数据类型等,制定能够圆满达成用户需求的整合方案,整合需确保数据的完整性、一致性,业务的可用性,整合方案需包含回退方案,整合完成后至少通过业务验证。


过程描述:

a )前期调研评估:成立项目组,数据库服务方调研客户环境,了解客户需求;对整合工作进行风险评估和规划设计,制定并审核整合实施计划、整合方案和回退方案,方案需包括性能评估规划、资源划分等内容。

b )中期迁移实施:

1)安装部署数据库测试环境;
2)全面业务测试,测试环境应尽量接近生产环境,测试内容通常包含功能测试、性能测试、稳定性测试、可靠性测试、扩展性测试、安全性测试、回退方案验证等;
3)根据备份恢复及容灾方案,对新旧系统进行同步互备,根据割接方案进行割接演练,演练次数宜三次以上,制定数据库切换检查清单,并逐步执行;
4)在需求方时间窗口内,选择合适的工具完成数据库整合,并进行数据比对,整合结束需确认环境,为确保业务系统高可用,宜构建数据回流;
5)对业务功能进行验证,验证无误准备生产环境,按照割接方案正式割接;

c )后期保障护航:对可能出现的业务高峰和突发问题,数据库服务方应配置数据库专家快速响应如遇到无法处理的情况,依据回退方案和演练细则逐步完成回退,保障业务系统稳定运行。


三、 运维运营能力

运维运营能力主要指以保障、监测、数据库状态,优化提升数据库水平和为数据库从业人员提供培训为主要目的的数据库服务,整体服务主要包括基本运维、云化运维、数据库监控、健康检查、SQL审核、备份恢复、安全审计、应急方案演练、培训、性能优化、模型优化和数据生命周期管理。

1. 基本运维

概述:

基本运维是指数据库服务方具备完善的售后服务体系,保证数据库的维保服务;提供热线支持服务,以及包括现场、远程支持问题处理、补丁升级、软件更新等服务。数据库服务方在生产经营中有健康财务支持,可以保证数据库产品的长期发展。


过程描述:

a )电话或其他聊天工具联系到一线工程师,及时响应。一线工程师沟通了解问题紧急程度,对问题进行初步判断,确认故障级别及处理难易程度。如若疑难操作,升级到二线专家、三线专家介入。

b )若客户提供远程工具,则立即通过远程工具进行故障分析及处理。若无法通过远程支持,工程师及时赶到现场提供服务。

c )在问题分析后,沟通协商解决问题,恢复业务正常运行。

d )问题处理后写邮件或报告,对问题原因、操作细节、后续建议形成文档留存。


2. 云化运维

概述:

云化运维是指数据库服务方为满足需求方数据库规模化场景下的云化运维需求,为用户提供能够实现标准化、流程化、自动化运维能力的基于云平台部署的数据库自动化运维平台,能够支持多种数据库类型、支持不同架构的数据库安装部署,支持数据库的容灾、高可用架构部署,并进行统一的数据库运维管理操作,防范不同能力的数据库管理员分别管理不同类型数据库带来的低效、低质量运维情况。自动化运维平台可具备集中监控、备份恢复、日志管理等基础能力。


过程描述:

a )数据库服务方规划并配置云化数据库平台的资源。

b )确定云化数据库的资源需求和特性需求,例如架构、版本、容灾高可用等。

c )根据需求一键式安装部署所需数据库,一键式安装部署功能包括单机、集群、容灾架构。

d )通过云化运维平台对数据库进行标准、统一的运维管理操作。

e )通过云化运维平台实现数据库的集中监控、集中备份等云化运维需求。

f )当确定数据库不再使用时,通过云化数据库平台对相关数据库进行下线操作。


3. 数据库监控

概述:

数据库监控是指数据库服务方能够通过自研的数据库监控平台,完成对数据库状态、可用性、性能等关键指标的监控和存储,监测信息至少包含数据库运行状态,服务器CPU、I/0等资源消耗,存储空间情况,数据库性能数据,报错信息等。监控平台应具备报警功能。


过程描述:

a )调研和需求分析:对需求方的数据库监控需求进行调研和分析,了解数据库规模、数据规模、网络拓扑、集群部署等客观信息,并收集需求方对于数据库监控实际要解决的技术问题、管理规范等需求,明确数据库监控的指标以及监控频率等重要信息。

b )方案制定:针对需求方的数据库客观应用信息和部署信息,结合用户的实际需求,制定数据库监控方案,内容包括但不限于数据采集方式、采集数据类型、数据传输、数据处理、数据存储、异常告警和可视化等,以及监控平台的具体部署方式。

c )监控实施:根据数据库监控实施方案,部署监控环境,将需要进行监控的数据库加入到数据库监控平台,并配置监控值、报警方式等信息。

d )监控验证:针对部署完成的监控平台环境,对监控进行功能验证。针对异常告警,模拟用户实际场景,进行告警功能验证,通过监控平台对数据库状态、可用性、性能、安全性、空间、报错等关键指标进行监控报警。

e )监控上线:对验证通过的监控方案上线运行。


4. 监控检查

概述:

健康检查是指数据库服务方能够对需求方的数据库、平台进行综合性、多维度深入分析,发现数据库运行一段时期后可能存在的故障、错误或隐患,提出合理的处理建议并进行处理,保障数据库系统的正常运行,保证数据的安全性、完整性和可用性。


过程描述:

a )调研和需求分析:对需求方的数据库巡检需求进行调研和分析,了解数据库规模、数据规模、网络拓扑、集群部署等客观信息,并收集需求方对于数据库巡检的实际需求。

b )方案制定:针对需求方的数据库客观应用信息和部署信息,结合用户的实际需求,制定数据库巡检方案,包括数据采集方式、采集数据类型、数据处理、数据存储、数据分析、处理方案推荐和巡检可视化等,以及确定巡检平台的具体部署方式和巡检方式。以上所有方案流程具备详细的操作手册和执行明细。

c )巡检实施:根据制定的巡检方案,进行巡检平台部署和实施。

d )巡检验证:根据巡检方案和操作手册,巡检平台对数据库进行定期巡检。保证巡检平台的运行符合用户需求,巡检结果准确,并且针对问题推荐合理的处理方式和处理建议。

e )巡检上线:对验证通过的巡检方案上线运行。


5. SQL 审核

概述:

SQL审核是指数据库服务方通过SOL审核平台或软件对未上线、上线的SQL代码进行代码语法、算法的安全性和质量审核检查,提前发现SQL编写、表和索引设计等方面的隐患问题,推动开发部门提前进行规避性优化处理。


过程描述:

a )数据库服务方与用户沟通SQL审核的管理流程,确定其中关键角色。

b )安装部署相关脚本或SQL审核工具。

c )确定需要审核的数据库和相关人员。

d )根据具体的审核需求,连接数据库采集SQL信息,或由用户提交审核信息,或者其他SQL来源。

e )查看SQL审核结果,发现SQL代码存在的隐患。

f ) 制定相关的优化建议并提交相关人员。

g )由相关人员对存在隐患的SOL代码进行整改。

h )对比整改前后的SQL运行情况,确认整改的执行性和优化的有效性。


6. 备份恢复

概述:

备份恢复是指数据库服务方根据需求方的需求或规划好的备份策略进行数据库备份和恢复的运维操作,在遇数据丢失故障时,能够快速实现数据恢复,满足需求方RTO、RPO的要求。数据库备份可划分为物理备份和逻辑备份两大类,物理备份可进一步分为冷备和热备。


过程描述:

a )制定备份策略:制定并确认备份策略。

b )备份策略部署:按照备份策略,进行备份策略部署,包括但不限于备份脚本的编写与部署、设置备份任务、备份存放位置、备份文件存储格式、备份文件加密方式、备份方式、备份频度、冗余策略等。

c )备份确认:确认备份的有效性和备份策略的准确性。

d )制定恢复策略和方案;根据故障场景和用户需求,制定恢复策略和方案,应充分考虑业务的特点、投入成本等多方面因素。

e )验证恢复策略:按照恢复方案,进行恢复测试,确认恢复脚本的可行性和完整性。

f )恢复演练:定期执行恢复演练,熟悉恢复过程,确认恢复各步骤的详细时间,为故障发生时快速实现业务恢复奠定基础。

g )实施恢复:根据故障场景,结合恢复策略和恢复工具的特点,选定恢复方案并实现数据快速恢复。


7. 安全审计

概述:

安全审计是指数据库服务方根据需求方的安全审计要求,通过数据库自带的审计功能,或独立的安全审计软件、平台实现数据库安全审计功能,记录符合审计选项的操作记录。通过对用户访问数据库行为的记录、分析和汇报,帮助用户事后生成合规报告、事故追根溯源,同时加强内外部数据库行为记录提高数据资产安全。


过程描述:

a )调研和需求分析:对需求方的安全审计需求进行调研和分析,了解需求方的管理规范、管理流程和审计需求。

b )制定方案:根据需求分析结果,制定安全审计方案。方案包括但不限于安全审计的配置操作手册、安全审计结果记录、安全审计结果呈现等。

c )安全审计实施:根据制定的安全审计方案,对安全审计进行在线或离线的启用、关闭等,并对相关的审计规则、告警规则等进行配置。如果有安全审计的辅助平台,要一并部署并保证能顺利执行。

d )安全审计验证:根据安全审计方案实施后,形成满足需求方的安全审计环境。与需求方一起选取代表性的业务场景,对安全审计功能进行验证,从而证明安全审计功能满足需求方的要求。


8. 应急方案演练

概述:

应急方案演练是指数据库服务方为确保核心系统出现故障时,业务能够尽可能不受影响,针对可能出现的紧急情况,如数据库无法启动、数据文件访问报错、访问性能极差、连接数超限等,提前规划应急方案并进行演练。应急方案应考虑全面且经过验证。应急方案应提供标准的判断方法、处理流程及善后指导并具备可标准性和可操作性。为确保紧急情况出现时应急方案的有效性,需定期组织进行应急方案演练。


过程描述:

a )应急响应启动:故障发生,启动快速应急响应流程。

b )灾难评估启动:根据灾难的不同等级,结合风险、技术、人员等综合条件,评估已有的灾备手段,选出可行的应急方案。

c )灾难恢复决策启动;根据灾难评估的结果及选出可行的应急方案,进行灾难恢复决策。

d )应急演练启动:相应的应急小组成员、应急厂家人员根据灾难评估和灾难恢复决策,根据应急演练计划及应用演练具体操作步骤,正式启动应急演练,应急演练执行过程包括但不限于:

1)IT系统切换;
2)切换后的业务验证;
3)对外提供业务;
4)业务回流开启;
5)切换后业务运行;
6)业务回切;
7) 容灾系统恢复;

e)应急方案演练总结:根据应急演练执行的具体操作步骤在应急演练的各流程阶段出现的问题与应急小组成员专项讨论及优化改进,更新应急方案。


9. 培训

概述:

培训是指数据库服务方具备系统的培训课程体系与完整的培训教材。能够为用户提供与数据库管理、开发相关的技能培训与认证培训,辅助用户培养自己的数据库人才,形成支撑数据库运营体系的阶梯团队。为确保培训质量,数据库服务方需要有完善的讲师、教务体系支撑培训的有效落地。


过程描述:

a )培训前:培训提供方应全面评估需求方人员团队专业技能水平程度、项目环境技术特点以及后期对技术的要求制定全面和持续的培训教学计划和任务,包括讲师师资、时间计划、教学教案,测试练习、培训目标等方面的制定。

b ) 培训中:培训提供方根据培训教学大纲在确定的场所或通过网络方式,通过理论联系实际和循序渐进的原则逐步开展教学任务。

c )培训后:培训提供方应根据培训教学任务,分阶段、分专业对受训学员进行真实、公开的能力水平测评工作,按照学习成绩和掌握能力水平程度,给予结业、合格、优秀等分级别认定,有条件的培训提供方根据企业标准制定认证培训工作,并在行业内推动人才认证的互认体系和标准。


10. 性能优化

概述:

性能优化是指数据库服务方通过架构调整、参数调整、分区分片、模型优化、索引增删、SQL改写、读写分离、数据缓存等手段,对数据库架构与配置、中间件架构与配置、操作系统配置、SQL代码及算法等各方面优化调整,达到应用性能提升、服务器资源消耗降低、计划任务时间缩短等效果,此优化不涉及前端应用代码层面。


过程描述:

a )数据库服务方对需求方的优化需求与业务特性进行调研。

b )根据调研情况收集数据库的相关性能信息。

c )结合调研信息,对收集的数据库性能信息进行深度分析,分析包括但不限于数据库的架构、配置、参数、表设计、索引设计、SQL等维度,发现相关性能问题和原因。

d )对发现的问题提出优化改进建议并制定性能优化目标。

e )在用户的测试环境验证优化建议。

f )制定适合现状的优化实施方案。

g )在用户给定的时间窗口,对数据库存在的问题进行优化调整。


11. 模型优化

概述:

模型优化是指数据库服务方根据需求方业务特性和性能要求,对数据模型物理化后的数据库对象进行优化调整或重构,以达到减少竞争、提升运行效率、降低资源消耗的效果


过程描述:

a )数据库服务方向开发商或用户方了解数据模型相关信息,了解逻辑模型的业务特性,如并发量读写特性、数据访问规律、数据增长情况等。

b )收集模型的相关性能数据。

c )对数据模型的业务特性进行分析,结合数据库特性,从性能、数据生命周期等维度综合考虑,制定数据模型更优的物理化设计,包括制定分区分表分库策略、选取合适的表类型、确定表和索引等对象的属性特征、规划前瞻性索引设计等,以满足规模效应下相关业务的处理需求。

d )对数据模型物理化后的数据库对象进行优化调整或重构。

e )对比优化调整或重构后的结果,确定达到性能提升的效果。


12. 数据生命周期管理

概述:

数据生命周期管理是指数据库服务方根据数据生命周期设计中的管理办法和数据处理方案,对不同性质的数据和不同生命周期的数据进行管理,以提升优化需求方数据质量。


过程描述:

a )数据备份与恢复:针对数据特性和全生命周期管理需要,设置满足需求方要求的数据备份策略在发生极端灾难时保证备份数据可恢复。

b )数据备份转储;为满足需求方定制化备份存储的需求,数据备份可以转储到需求方指定的磁盘带库等存储设备上。

c )数据容灾:针对需求方数据容灾的需要,数据库服务方可对数据库进行不同级别的容灾建设来满足数据容灾的要求,比如多副本多中心容灾等。

d )数据迁移:数据库服务方针对需求方具体数据迁移需要,制定相关数据迁移方案,并实施落实。

e )数据归档:对需求方不同数据性质和生命周期的数据进行数据归档。

f )数据清理:针对需求方需要,对不同生命周期的数据进行定期数据清理。








最近文章推荐:

历史文章推荐:



文章转载自SQLServer,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论