运营商Oracle数据库特点、维护原则以及维护禁区-郭岳-三少.pdf

lastdance

218

7页

0次

2021-03-07

100墨值下载

书名书名书名书名书名书名书名书名书名书名书名书名书名书名

·2·

一、运营商数据库特点

一提到运营商的数据库，我相信很多人第一时间想到的，就是大。我认为这个大包括两

个方面的概念，一个是数据量大，电信运营商的数据，可以说，在国内同等级别的单位，例如

地市级别，或者是省的级别，其数据量远远大于银行，证卷，电力，交通以及其他政府机关的

数据库；另外一个大，就是系统压力大，主要表现在数据库的连接数的多（Active 的链接也非

常之多），并且 SQL 的执行频度也是非常的高。

就我三年全省集中运营商核心 BOSS 系统的运维经验来看，其核心 OLTP 系统的数据量，

在 TB 级别是很正常，而其计费系统的数据量，就直接达到几十 TB 的级别；而其系统压力大，

就更明显，一套 RAC 系统，一个节点的连接数在 5000 以上是非常正常的，每天每个节点执

行上亿条 SQL。

运营商数据库另外一个显著的特点，就是对于系统的高可用性要求非常之高，高到什么

程度呢？可以这么说，交通，税务，等等系统，半夜 3 点暂停个 1 小时，根本不算个什么事；

而对于运营商系统则完全不同。我还记得我刚开始维护运营商的数据库的时候，收到的第一个

需要我进行分析的问题，是一个 CALLCENTER 的系统，这个系统每天的凌晨 4 点，会发生 5

分钟左右的 hang，导致 CALLCENTER 在这个时候业务处理终止，因此就跨部门请求资源分

析，就为了这 5 分钟，我们安排了值班人员，在凌晨 3：30 起床，盯着系统，看看系统到底发

生了什么，记录所有的系统状况，并分析这个问题（这个案例会在后续部分描述）。要知道，

对于运营商来说，CALLCENTER 并不是其最为核心的业务系统，在系统分级的概念上，

CALLCENTER 并不能占据最为关键的核心系统的地位，由此可见运营商对高可用性要求之一

斑。

当然，运营商对系统高可用的要求是有其业务原因的，并非有意为难运维工程师或者

ORACLE 厂商。按照内部的一般准则，运营商级别的系统，停机一小时，其损失大致相当于

人民币 72 万，由此也可以知道，运营商级别的系统，为很么需要如此高的高可用要求。

正是基于如此之环境，对于运维工程师来说，必然带来巨大的工作压力，当然，这种压

力，和工地上搬砖头干苦力是完全不一样的，这种压力更多的来自于心理压力。在运维运营商

的系统之前，我是一个睡眠很好的人，每天晚上挨着床，我就睡着了；维护运营商的系统以后，

我发展到晚上将手机短信调整为震动，就震动一下，然后手机放到被子上，这种情况下，我都

能被惊醒。在值班的日子里，如果晚上没收到电话，早上醒来第一感觉，是不是漏接了电话，

是不是睡的太沉，是不是监控系统发生了问题，可以说，已经神经质了。

在值班的时候，我们的要求，是你不管干什么都要带上手机，而且，只要是有电话，必

须在最多三次内接电话，否则，一个是电话会自动升级到你的主管那里，另外一个，如果由于

你没接电话，引起了故障，那么这次故障就算你的了。在运气最不好的一个晚上，我每隔 30

分钟左右接一个电话，那感觉，刚要睡，就有电话，一个晚上在半睡半醒之间折腾，当然，也

有运气好的时候，一个晚上没电话，那就早上醒来的时候担心了。时间长了以后，你的睡眠就

被摧毁了，到现在，已经离开运营商的数据库 2 个多月了，似乎睡眠还没有恢复过来（工作时

似乎运气好的时候比运气差的时候要少很多）。不论在任何时候，作为一个运营商的运维 DBA，

接到告警后的第一反应，是终止任何事情，启动处理流程。

第 1 章章名章名章名章名章名

·3·

对于很多 DBA 来说，都希望进入到运营商级别的数据库进行维护，确实，这样的系统很

能锻炼人，但是，也很“折磨”人，看看我毕业 8 年到现在，都始终如一的保持了苗条的身材，

就可见一斑了。如果你是一个 DBA，如果你梦想能接触到运营商级别的核心系统进行维护，

我想，你首先应该问自己，你能否承受非常大的工作压力，否则，建议你，还是慎重点好。

运营商级别的数据库，对运维工程师的要求之高，已经到了苛刻的地步，因为，他有这

样的需求，特别是核心系统，对系统性能有着极为苛刻的要求，对高可用，有着近乎变态的需

求。我记得，我运维的系统，核心系统，CPU 的使用率，不得超过 50%，如果超过了，就要

开始漫长的分析过程，当然，系统的性能都是逐步恶化的，正是这种近乎变态的要求，也保证

了那些系统的稳定运行；而高可用，我们已经锻炼到，所有人都能在半夜 3 点精神最为疲惫最

为迷糊的时候被喊起来，5 分钟准备时间，10-15 分钟将核心生产系统切换到容灾系统并保证

容灾系统正常提供服务。

嗯，闲话扯了这么多，总结下，运营商级别的数据库最大的特点，总结出来，就是一个

字：大。数据量大，系统压力大，运维工程师的心理压力大，工作量也大。

二、运营商数据库维护原则以及维护禁区

既然运营商数据库系统的特点如此，那么，对于运维运营商数据库的操作来说，还是有

一些基本的原则要遵守，当然，也有他自己的禁区存在，就我个人的经验，运营商数据库运维，

应该遵循如下的原则和禁区（以下排名分先后，排名靠前的，更为重要）：

1. 高度的信息安全意识

运营商最为看重的事情，是什么？如果我问你，你对运营商最为不满意的是什么？或许

你会说，是网络质量，是资费，是服务等等。其实这些都不是运营商最为看重的事情。假设你

的通话记录会被泄密，我想，即便这家运营商的网络质量好到你在海底 10000 米都能流程通

话，资费低到打长途比市话还便宜，服务好到给你配个一对一服务的美女客户经理，你还是会

选择离开这家运营商。

既然客户这么看重信息安全，那么，运营商最为看重的，必然也是信息安全。作为运营

商的 DBA，由于工作的需要，他能接触到很多核心的信息，例如，运营商最终用户的身份信

息，什么姓名，家庭住址甚至是身份证号码，还有通话的详单等等。人都是有好奇心的，当你

开始做运营商的 DBA 的时候，你发现，以前你怎么都不可能得到的信息，现在，只需要举手

之劳，就能偷窥到。可能仅仅是为了在朋友面试证明下自己多么强大，多么厉害，赢取朋友羡