暂无图片
暂无图片
1
暂无图片
暂无图片
暂无图片

【干货篇】在国内外数据库百家争鸣的时代,DBA们该何去何从?

一森咖记 2019-12-22
1472
【此为"一森咖记"公众号——第95篇文章】
本文速读10分钟,精读20分钟

【引言】

前段时间收到ACOUG年会邀请,让做一场关于Oracle的主题分享。本来想分享下技术方向;但思索后更想分享另一个主题,也是自己一直在思考的一个话题,主题为非技术类方向,是有关现今oracle dba在当下不得不面临的一些问题和一些思考。


昨天在2019ACOUG年会上分享了ppt主题《在Oracle 智能、自治、云时代下的一些思考》,今天整理了更为详细的内容,个人公众号推下。

 

先介绍下ACOUG

作为全国 Oracle 用户及技术爱好者的共享平台,ACOUG 自成立之日就一直积极致力于线上线下 Oracle 技术的分享传播。从最初 ACOUG Tech DayACOUG Campus Tour,到 ACOUG China Tour到去年 ACOUG Asia Tour,再到今年的“数据技术嘉年华”,日益发展的不仅仅是规模和战线,如今,ACOUG 已经成长为涵盖云架构、数据技术,智能运维与行业实践等各方面技术的分享社区。

 

ACOUG 一年一度,作为2019年最后一场技术分享,1221日,ACOUG 联合创始人盖国强、杨廷琨及多位核心专家奉献一场线上线下同时进行的,多层次、多维度、多行业的主题分享。

 

大会链接:https://www.modb.pro/event/93

会上的几张现场图:

以下切入分享主题《在Oracle 智能、自治、云时代下的一些思考》,副标题“未来已来,暗夜潜行;认清大势,走出迷茫”的正文内容。

 

一开始是想分享一篇技术文章《RHEL 7.x High Availiability 实现Oracle 但实力高可用架构》,文章链接如下:https://www.modb.pro/doc/976

 

为啥一开始分享这篇文章?

 

墨天轮中浏览量最高一篇文章,自文章2019-09-30日,两个多月时间,截止目前,访问量为726次。有图有真相:

但有一个更想分享的话题:在国内外数据库百家争鸣的时代,DBA们该何去何从?

 

一种思维模式:

大家在面对不熟悉的事与物时,可以先从其出现的背景来分析,然后一路顺藤摸瓜的看到该事物的现今,当然也可以推断下未来;

 

在判断一个行业景不景气时,也是要先分析下社会大趋势,在大趋势下看一个行业顺不顺应时代潮流,如果顺应,找到自己再其中的位置,找到发力点,接下来就是在正确的道路上坚持的事了,必将成为那头迎风飞的“猪”。

 

看一个现今的大势:人民对美好生活的向往。现今,智能家庭、社区,到智慧政府、城市,再到数字中国、智慧中国。这其中涉及技术就有:大数据、云计算、人工智能;云计算技术提供算力,人工智能提供算法和决策,大数据提供数据支撑和数据服务。这里的数据服务就包含了今天的要讲的主题。

 

一、 Oracle的“道路自信”

四个自信:道路自信、理论自信、制度自信、文化自信.

 

首先要建立起Oracle的“道路自信”,为啥?

原因很简单,行业有发展,个人有奔头,才能有信心走下去。

两个原因:

行业来看:Oracle是数据库技术创新的领跑者,有着强大的技术支持(metalink)和多年运营下来的各行业业务用户群。一直在强有力的引导整个数据库行业的发展和创新。多年来,一直对各行各业提供成熟、有效的数据服务支持。

 

个人发展来看:很多人的职场生涯是从Oracle起步的;很多数据库的研发思维和发展路线都在或多或少的借鉴着Oracle;熟习Oracle的各位朋友在理解其他数据库架构或者技术时,也会不自觉的往Oracle上去对比和理解,学习其他库更容易切入。

 

会议主题:主题:荟聚·不忘初心,赋能·方得始终

 

这里先抛一个话题:DBA的不忘初心是什么?

很多人的学习是从sql serveroracle开始,但DBA职场生涯基本是从Oracle起步的,Oracle在这个百家争鸣的时代,也一直在技术和发展趋势上引领者大家,很多国产库的研发思维和发展路线都在或多或少的借鉴着Oracle,熟习Oracle的各位朋友在理解其他数据库架构或者技术时,也会不自觉的往Oracle上去对比和理解;

 

Oracle是数据库技术创新的领跑者,有着强大的技术支持(metalink)和多年运营下来的各行业业务用户群。一直在强有力的引导整个数据库行业的发展,我们可以认为Oracle就是数据库界的那个初心。


这张图引出一个问题:“为什么在有像oracleTDDB2这样一些强大的数据库外,还有如此众多的数据库产品在不断出现?”

大家可以从开源趋势、数据业务需求、计算机硬件发展、高并发的访问、数据安全等角度去思考下。

 

再来看一组风向标数据

以上是2019年最终DB-Engines 12月数据库流行度排行榜,这是 2019 全年的收官积分,

12月的积分榜前三名上,Oracle 增长 10.33 分,同比增长 63.17 分,MySQL 增长 9.38分,同比增长了 114.42 分,Microsoft SQL Server 增长了 14.29 分,同比增长了 55.86分。

 

再看下发展势头,Oracle, MySQL和Microsoft SQL Server保持在前三,很稳定,但开源库PGMongoDB发展势头迅猛,正在大踏步迎头赶上。见下两幅图。

上图链接:https://www.modb.pro/db/12110

 

db-engine排名并没有收录国产数据库,正如西方现在还未充分认知中国力量。

 

我们再看下数据行业的salary是Kelly在2019年公布的高科技和互联网行业从业人员的薪酬列表。

Kelly Services是全球前五大的人力资源解决方案服务公司,Kelly Services(纳斯达克:KELYAKELYB)排名美国财富500强。


以下两个行业也是kelly公司认可的有关数据行业的发展态势。

1. The upcoming data-driven computing economy provides advanced productivity and high efficiency

Big data products and solutions have been applied in more scenarios. Data driven companies, and in the more long term, entering the era of artificial intelligence and continuous improvements of AI-oriented data fusion management capabilities will be the key breakthroughs of 2019. In 2019, with the emergence of industrial leaders in data services, big data technology and products, leading international scientists, and application talent will be popular in the talent market.

 

2. Financial technology will develop into the new phrase 

With the application of emerging technologies such as cloud computing, big data, artificial intelligence and block chain in the financial industry, and the steady development of financial technology, financial technology will also compete in more scenarios and niche markets.  iversified financial services may arouse the financial technology industry’s need of diversified talent.

这是一个数据的时代,所以,我们DBA应该要有这个“道路”自信。

 

初心有了,道路自信有了,我们来看下Oracle的现状。

 

二、 Oracle发展现状/趋势

Oracle在刚刚过去的917日,在Oracle Open World大会上,Oracle 推出了全自治的操作系统 Oracle Autonomous Linux,号称可以self-driving, self-securing, and self-repairing,通过机器学习、AI等技术让数据库能够完成自我管理、自我保护以及自我修复,Exadata版本支持自动创建维护索引;同期,云上数据库的也在不断完善和发展,Autonomous Linux 是以 Oracle Linux 为基础的,为 Oracle Cloud Oracle 工程系统提供了支持。该操作系统对Oracle 云基础设施客户是免费的。

看了上面一段话,作为OraleDBA,有没有一种扑面而来的挑战感、压迫感,云时代比想象来的更快一些。


这个时候,会很自然问出自己这样几个问题:

    发展这么快,我要怎么办?
    有一种焦虑感,要学习起来!
    转型升级节段,我能做些什么?
    完成云化后,我该何去何从?


    一时间,智能自治、云时代、人工智能齐头并进,风云跌宕。

     

    这种趋势下,就有了一种声音:“DBA行业将要逐渐消亡,考虑另谋出路吧诚然,随着Oracle新版本新功能的不断增加,原本很多需要人工设置的工作都可以自治完成,给人的印象就是Oracle入门门槛变低,DBA行业要大范围缩减。但这只是针对初级DBA职位,高级DBA还是要了解Oracle的新特性,以及这些新特性的限制和有可能导致的问题。

     

    所以,对些还在Oracle岗位的友,请加强自我提升,争取成为那个熊追人故事里的跑相对快的人。再说现如今哪个行业不是在快速迭代更新,连传统行业都在寻求突破;应了那句话这个时代原地踏步或走得慢,都是一种退步,都会被挨打

     

    还有一个方向可供选择,基于一些现实情况,有些朋友不想在Oracle上继续深耕,毕竟Oracle自治带来的门槛变低并不意味着成为高级Oracle DBA的难度降低那可以考虑学习MySQLPGMongoDBRedissparkFink等。相信有Oracle做背景知识,转型其他新库学习也会上手容易的多。

     

    认知到了现状,也要认清大势。


    三、 认清大势

    从标准化、自动化 智能化,数据库基础运维正在走向 AIOps

      阶段1- 标准化:由运维经验丰富的DBA结合以往案例和经验,提取数据库运维常用的
      原子操作,形成标准操作流程;
      阶段2- 自动化:以标准化规范为基础,进行运维工具的开发和测试,形成自动化基
      本操作流程,原子化服务化支持自动编排;
      阶段3- 智能化,与运维平台对接,形成系统直观可操作的图形化流程。逐步引入机器学习与智能化算法应用,走向自治。

      由上可以看到,很多公司的Oracle运维层面还是在阶段12,或者到了阶段3,对接了运维平台,但还未引进机器学习与智能化算法应用,可以说在2.5阶段。剩下的走向0.5的智能化道路并不好走。

       

      Oracle 在突飞猛进的发展,战略和思路也在做调整。现如今Oracle的很多新技术、新版本,还需要我们Oracle DBA在实际生产中去尝试和验证,其实有很多事情可以做。

       

      下图是Oracle 的使用现状图(样本:据 Bethune 平台 6127 套数据库)

      另再看下11g,12c,18c,19csupport lifetime。具体请详见我的个人微信文章

      https://mp.weixin.qq.com/s/876aNMHxXi6a085nTf-LRg

       

      1.  11.2.0.4 Extended Support Ends (ES)的截止时间:31-Dec-2020

      2.  12.2.0.1 Release Family 12.2 Lifetime SupportExtended Support Ends的截止时间为:Mar 2026

      3. 18c Release Family 12.2 Premier Support Ends (PS)截止日期为:20-Nov-2020 for Patching31-Mar-2023 for all other Support Offerings

      4. 19c Terminal Release for 12.2 FamilyExtended Support Ends (ES)的截止时间为31-Mar-2026

       

      以上可以看出,Oracle 在突飞猛进的发展,战略和思路也一直在做调整。Oracle方向就有很多工作需要我们待做,如对传统11g的升级迁移,多租户特性的统一资源统整合,sharding技术应用等。

       

      另一方面,国产数据库的大环境也在猛然发生变化,国产数据库如GaussDbOceanBaseSequoiaDB等国产数据库一路高歌猛进。且国内的很多业务用户在对国产数据库的使用心态上也有了悄然变化,有了更多的容忍性。这是很好的事情。

       

      1126日刚刚过去的2019数据嘉年华中传递出来这样一个声音:“各类国产数据库需要有一种的统一标准和规范,避免出现国产数据库孤岛,各成一家”

       

      这句话潜台词为,同一个标准,利人利己,形成良性竞争,避免把自己搞死。

       

      DBA们在哪些地方可以发力:

      1. Oracle一直在成长创新,需要我们保持学习,跟上队伍;

      Oracle作为最成熟成功的商业数据库,也一直在发展中,新版本的新特性也需要我们时刻学习。即使你目前是在从事其他库的研发和使用,Oracle的最新版本的新特性也是你不得不时刻关注的方向,就有指引性;

       

      2. 引导国产库更加贴切业务需求;

      国产数据库最终要面向用户,积累了那么多生产案例的我们是不是闪闪发光的试金石,能够验证新生库的利弊优缺;

      3. 参与到数据服务/组织转型中去;

      推动公司/企业的数据服务/组织改革;

      4. 参与到国产库的自主开发过程中去;

      国产数据库的研发基本遵循两种路径:

      1在成熟的开源库如MysqlPostgreSQL等上的二次迭代开发;

      2借鉴成熟的商业库和开源库功能,构建自研库的架构。

       

      基于开源库产品mysqlpg的二次开发,发展成了分布式数据库;这也是国人的一种思维,当一个人/库搞不定时,那就用很多人/库来共同处理,但也增加了沟通成本,带来的问题也不小/少,引出了cap理论(一致性Consistency、可用性Availability、分区容错性Partition tolerance),又引进很多新技术/协议去解决这些问题,比如dbproxy的分库分表的策略,zookeeper协议和paxos算法解决数据一致性问题等。

       

      且在二次开发或者重新自研库的过程中,都在借鉴成熟库的一些设计思路,如OracleMySQL的重做日志机制,sharding技术,在此技术上做改进,和传统库做对比,来证明自己的性能改进。从这种趋势来看,数据库发展到究极,定是个“大一统”的境地,所有的数据服务对用户不可见,用户只管提出自身数据需求即可。这种境地已经看得见摸得到,数据库服务云化只是当中的一个发展阶段,这是趋势;

       

      5. 帮助国产库构建知识库和生态环境;

      熟悉OracleDBA们还有了一种选择,我们能否帮助各类国产数据能构建出类似于Oraclemetalink的知识库,构建知识库或者生态环境;良好的学习途径是国产数据库传播更广,最终业务用户体验好的一个强力推手。谁的数据库生态环境做的好,谁就能在未来的国产库标准规范中更具有话语权和主导权;

       

      6. “钱”看;

      以上觉得离自己有点远,还可以跨库学习向“钱”看,那么多数据库产品可转研;从O往其他库转,相信大家都会有一种理科生转文科的感觉。

       

      接下来,要多讲下数据服务改革,这个数据服务改革是什么呐?那就是数据库云服务化,这里多讲一下。

       

      因为能为业务提供云化数据服务,是未来的终极之战。

       

      因为在甲方,所以很认同eygle(盖国强)的toB和toC的两个观点:

      1. toB 市场的认同成为数据库成败的关键,云上和云下的融合是大势所趋

      个人理解:因为你要让甲方/市场认同你的东西,被市场所认可,得到各行业的验证,尤其是金融、电信、交通运输行业的认可和考验;有了认可,才能有更多的案例来帮助你完善产品功能和性能,这时候马太效应就出现了:越来越好;数据库产品才能真正说明自己的数据库产品成功。类似于微软的市场占领。

       

      2. toC 注重极致的用户体验

      个人理解:各行业有自身的业务需求,数据应该成为其强力助推剂,这也是为什么数据库从rdbmsnosql,再到NewSQL的发展历程原因,因为业务需求满足不光需要有结构化数据还需要非结构化数据的支持,还需要有算力的支持,从而了大数据技术和分布式技术的发展,数据库产品也开始同时支持OLTPOLAP的业务需求。才出现了公有云、私有云、混合云的出现。数据库大家都比较谨慎,所以toC的数据库代表产品有OracleExdataOceanBase的一体机、GaussDB的一体机。高可用性、高可靠性、可扩展性、高并发性全满足,且同期配套了备份恢复、监控管理、良好的用户web界面。让最终用户将主要精力集中到自身的业务诉求上去。

       

      四、一些个人思考

      《我的DBA之路》中,自己有一些思考,推文链接如下:

      https://www.modb.pro/doc/971

       

      人生总要有点追求,让自己在正确的道路发力前行

      因为自己喜爱健身,有9年的健身史。所以这里拿健身做个对比:好的身体是革命的基础,没有人不想有个健康、美感的身体。但你要在这条路上学会孤独和坚持,一个月没有效果,三个月没有效果、六个月效果不明显,那就坚持一年、二年、三年,方向对了,剩下的就交给时间来验证。更何况在这条路上,我们还是能收获一些挚友,相信最终的人生高度也会不一样。

       

      格局很重要,已经要时时的跳出目前的局限和眼光,站在更高一层的来看待问题,眼界就很不一样,看待问题会通透些。

       

      关于DBA的未来方向,11月份的2019数据嘉年华盖老师(eygle)分享了Jeff一段话:

      多年来,我们意识到我们花了太多时间来管理和扩展数千个旧的Oracle数据库。我们的DBA不再专注于高价值的差异化工作,而是花费大量时间应对事务率上升和存储数据总量不断增加的挑战。这包括花费在处理复杂且效率低下的硬件配置,许可证管理和许多其他问题上的时间,而这些问题现在最好由现代的托管数据库服务来处理。


      有什么具体建议呐?

      1. 打开耳朵,聆听外界声音

      参加社区论坛(听听他人见解,比避免闭门造车,打开耳朵聆听);

      2. 勇于提问

      理解的最高形式是有效提问;

      3. 刻意的训练

      有方向的进行刻意训练,动手来研究、验证、落地新技术。

      4. 定期分享

      比如墨天伦,CSDNgithubitpub,微信等多种渠道分享,分享能带来知识的锤炼,前行路上很孤单,但也收获很多感动,比如同行人的友谊和鼓舞,助人利己;

      来之身边人的激励和鼓舞,secooler(侯圣文)有个观点“你鼓舞了谁,又在被谁所鼓舞”。

      身边的真实案例:杨建荣3000+篇每天一更的文章分享,老刘(bisal)坚持每天一更的技术和个人分享,坚持了也有4年时间”。

      5. 参与到业务需求中去(Don't be shy

        参与到业务需求中去,哪怕不是整个全过程的参与;业务需求才是未来数据服务的重点中之重。

      6. 积极推动公司的数据转型

        构建适用于自家公司的数据服务中台,积极推动公司数据化、云化转型。

      7. 提升自身的软实力

      这些软实力包括组织能力、沟通能力、表达能力,是DBA们更上一层楼必备之技能。

       

      五、一点个人感悟

      “我的DBA之路”中有更详细的感悟,文章链接如下:

      https://www.modb.pro/doc/971

       

      人生不过几次关键的选择,关于数据库这个职业,想说的话是:

      “人生关键选择只有7次,最主要机遇集中在20-50岁间。”

      很庆幸选择了计算机这个职业,很庆幸进入数据库这个领域。

       

      未来世界是个信息化时代,数据是其“基石”,云化是其趋势。

       

      最后分享一个自己很认同的一个观点:“最高形式的理解是有效提问”。

      包括问别人,也可以问自己。

       

      愿大家今后都能定期向自己抛一些“为什么”。

      做到:多聆听、多思考、多发问、多分享、多主动。

       

      当然还有更重要的一点:打铁还需自身硬,锻炼好身体,打好革命基础。



      最后分享一个有品位、有追求的公众号:“一森咖记”,二维码如下:以下为

                     

         

      近期热文

      你可能也会对以下话题感兴趣。点击链接就可以查看。


      最后修改时间:2019-12-23 09:59:31
      文章转载自一森咖记,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

      评论