暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

悬在我国“数字大厦”上的达摩克利斯之剑——数据库篇

现代数字城市研究 2021-04-28
686


计5586间8

............


引言

当前,数字化转型浪潮风起云涌,国际关系不确定性不断增强,我国核心数字化技术与产品“受制于人”的局面亟待破解。数据库作为政企数字化转型的底层软件与核心支撑,肩负着数据资源化、资产化、资本化的重担,亟需率先实现国产化的全面突破。在开源技术、云计算技术迭代发展的环境下,数据库国产化替代已是弦上之箭。



1. 破局:数字化转型浪潮下数据库国产化势在必行

1.数据库是数字化转型的“基石”

数据库是一种专门管理数据资源(文字、数码、符号、图形、图像以及声音等)的系统,是按照一定结构来组织、存储和管理数据的仓库。从IT基础架构来看,数据库位于计算机架构的底层,与操作系统、中间件并称基础软件“三驾马车”。根据Gartner数据,2017年全球企业基础设施软件市场规模为1958.52亿美元,数据库市场规模是388亿美元,占比近20%。当前,城市数字化浪潮风起云涌,上海、深圳、杭州等地纷纷提出“城市数字化转型”战略,全面加快政府、社会、经济数字化发展。因此,提升数据采集、管理、服务和应用能力成为当前亟待解决的问题,数据库作为底层的核心支撑之一,保障数据库的安全性、稳定性、高效性,成为数字化时代高质量发展的题中之义。

1.2 数据库受制于人的困境亟待破解
数据库技术一直以来被认为是计算机三大基础软件中技术难度最高的领域,纯论技术难度甚至高于操作系统和中间件。近期,中国科学院提出了中国被美国“卡脖子”的35个关键核心领域,数据库管理系统位列其中。从国内数据库市场来看,截至2019年,国外厂商占据传统部署的关系型数据库市场80%以上份额,海外四巨头Oracle、IBM、Microsoft、SAP市场份额在55%以上(如图1所示)。随着中美两国之间的技术摩擦、贸易摩擦不断升级,受制于人的数据库犹如悬挂在“数字大厦”上的“达摩克利斯之剑”,加快数据库核心技术研发攻关,尽快完成数据库的国产化替代,成为保障国家网络与信息化安全发展的关键举措之一。


1  2019年国内传统部署的关系型数据库市场份额

IDC,MDC绘制


2. 机遇:政策、需求、技术叠加,开辟市场新空间

随着数据库技术持续迭代、需求场景日趋多元,全球数据库进入了以云数据库和开源数据库为前沿引领,关系型数据库与非关系型数据库竞逐发展的新阶段(见表1),国产数据库迎来快速突破、弯道超车的重要“窗口期”。
表1  关系型数据库与非关系型数据库对比
IDC,MDC绘制


2.1 信创浪潮创造广阔市场空间

近年来,中美摩擦不断升级,中央及地方政府纷纷出台信创政策,对信息技术创新的支持也逐步公开化、透明化。自2019年以来,湖北、山东、黑龙江、山西、北京等多个省市均将“自主可控”“安全可信”作为数字政府建设与数字经济发展的前提要求。2020年8月,国务院发布《新时期促进集成电路产业和软件产业高质量发展的若干政策》,从财税、投融资、研究开发、进出口、人才、知识产权、市场应用、国际合作等八个方面提出全方位的支持措施。随着信创工程的持续推进,国产数据库的替代需求将进一步释放,国产数据库企业即将进入快速发展期。从增量市场来看,根据智研咨询的数据显示(见图2),国内数据库市场从2012年的53.15亿元增长至2020年的191.92亿元,预计2021年达到225.32亿元。从存量替代来看,根据民生证券研究院预测,政府、事业单位和国企未来五年按照每年采购项目分别占整体市场规模的20%、30%、25%、15%、10%计算,累计将创造近626亿元的数据库替代市场空间。

图2  中国数据库市场规模

智研咨询,MDC绘制

2.2 多元需求催生赶超细分赛道

随着移动互联网、5G、物联网、工业互联网等新技术、新模式的兴起,数据库技术产品的发展面临新的形势。一是数据规模快速飙升,根据国际权威机构Statista的统计和预测,2020年全球数据产生量将达到47ZB,2035年将增长到2142ZB;二是数据类型更加多元,据IDC调查数据显示,企业的结构化数据只占全部数据量的20%,剩下的80%将以图片、视频、文档、XML、HTML等非结构化数据形式存在;三是数据处理场景更加丰富,分布式计算、边缘计算、实时计算等需求成为常态,而传统的关系数据库(SQL)在处理超大规模、高并发的异构数据时显得力不从心,非关系型数据库、分布式数据库、云数据库等多种类型数据库快速崛起。根据智研咨询相关数据显示,2020年我国非关系型数据库占数据库总规模的20%,2024年将上升至30%。更加多元化的需求催生出的多样化的数据库细分赛道,有助于打破Oracle、IBM等国际巨头的技术、市场垄断,为国产数据库企业开辟广阔的成长空间,推动国产数据库进入百花齐放、百家争鸣的时代。

2.3 新型技术环境降低竞争壁垒

开源以及云化是新阶段推动数据库发展的重要力量,在数据库国产化过程中将起到举足轻重的作用。开源数据库提供开放源代码,使用成本相较于传统商业数据库可节省70%,并能够进行二次开发,破解数据库新入局者从“0”起步的技术难题,降低数据库研发创新门槛。从上世纪90年代末开始,开源数据库逐步崭露头角,出现了PostgreSQL、MySQL、MongoDB等多种开源数据库。伴随着商业数据库市场的巨大许可成本压力,倡导免费的开源数据库队伍日益壮大,开源数据库的性能及生态不断完善,其受欢迎程度逐年升高,据DB Engines数据显示开源数据库受欢迎程度从2013年的35.53%上升到2020年的49.7%,与商业数据库基本持平。
当前,企业上云已成为数字化转型的重要途径,基于云的数据库部署方式将成为主流。据IDC预测(如图3所示),全球范围内云端部署的数据库市场份额将从2020年的32%攀升至2025年的55%。数据库云端部署的技术架构及运营维护要求与传统部署方式截然不同,云计算厂商利用云对用户的黏性,能够基于开源数据库快速开发出丰富多样的数据库产品体系,并以经济高效的部署方式和按需付费的使用模式对外提供服务,从而吸引大批政企用户,打破传统关系型数据库巨头的垄断地位。

图3  数据库本地部署和云部署份额变化趋势

IDC,MDC绘制

3. 崛起:技术和产业生态持续完善加速国产化渗透
国产数据库的发展历史可追溯到上世纪70年代,1978年中国人民大学萨师煊教授开始为学生普及数据库知识,推开了中国数据库领域的大门。在国内信息技术快速发展以及去“IOE”浪潮迭起的背景下,国内数据库厂商蓬勃发展,在国内外市场上取得了非凡成绩,国产化渗透率持续走高。
3.1 产业发展生态逐步完善
根据墨天轮数据显示,已经有超100个国产数据库产品上榜,自主创新的数据库产业生态正在逐渐成熟完善。从数据库产品类型来看,上榜产品拥有关系型数据库、分布式数据库、云原生数据库、图形数据库、时序数据库、键值数据库、宽列存储等多种类型数据库,能够极大满足数字经济时代不同场景、不同业务对数据管理的需求。
从数据库开发者类型来看,已形成学院派、互联网派、龙头科技企业派、创业派等四类企业并驾齐驱的格局(见表2)。学院派以人大金仓、武汉达梦、神州通用、南大通用等传统“老四家”为代表,最初源于国家的引导支持,是最早参与推动数据库国产化发展的核心力量。互联网派以阿里巴巴、腾讯等互联网巨头为代表,依托云平台建设发展的先天优势,通过自主研发以及借助开源软件,形成以解决自身数据库应用问题为主,对外提供数据库服务为辅的数据库应用推广模式,逐步成为数据库国产化的中坚力量。龙头科技企业派以华为、中兴、浪潮等ICT企业为代表,充分发挥企业级服务经验,开展数据库核心技术攻关,推动数据库国产化进入快车道。创业派是由来自Oracle、IBM、Intel等国际企业的技术创业者与资本市场结合,形成的一系列独立第三方数据库企业,包括巨杉、PingCAP、星环、柏睿、易鲸捷等,为国产数据库市场增添了无限活力。
表2  主要国产数据库厂商产品矩阵图
各公司网站,MDC绘制
3.2 技术产品竞争力持续提升
数据库前沿技术研究成果达到国际领先水平。据中信证券相关数据统计显示(见图4),2020年,数据库领域三大顶级会议之一的VLDB(Very Large Data Base)一共刊登63篇论文,涉及异常检测、数据库存储、云数据库、机器学习等数据库技术热点方向,其中,来自中国的学者和研究人员发表23篇,排在所有国家第一位,占论文总数的36.5%。2020年共有234位作者在VLDB发表论文,中国学者有23位,占比9.8%,如果范围扩大到华人作者,则占比提高至38.4%。从业界发表论文角度,阿里发表三篇论文,与谷歌、微软、IBM 发表论文数相同。

图4  2020年各国家VLDB论文发表数量
Web of Science、中信证券,MDC绘制

自研数据库产品性能具备行业顶尖实力。国内企业在全球数据库市场收入榜上的排名持续攀升(如图5所示),阿里巴巴从2014年的第26名上升到2018年的第9名,华为从2015年的第24名上升到2018年的第11名,腾讯从2016年的第27名上升至2018年的第13名。根据 Gartner发布的2020年度全球数据库魔力象限评估结果,阿里云凭借PolarDB的强大性能首次挺进全球云数据库供应商的第一阵营,进入领导者(LEADERS)象限,成为首个进入全球顶级数据库行列的中国企业。与此同时,腾讯和华为纷纷入选特定领域者象限,创造历史。

从全球最知名的数据管理系统评测基准标准化组织TPC(事务处理性能委员会)颁布的数据库评测结果来看,国内企业表现同样惊艳。2018年5月,星环科技的TDH平台成为全球首个经过TPC-DS基准测试的数据平台;2019年初,阿里云AnalyticDB通过TPC-DS测试;2019年10月,蚂蚁金服自主研发的分布式数据库OceanBase登顶TPC-C榜单;2020年05月,OceanBase在TPC-C基准测试中打破由自己保持的世界纪录。

图5  2011-2018年全球DBMS市场收入排名

Gartner

3.3 国产化渗透率不断提高
在前期政策强推的背景下,国产数据库厂商建立起产品研发的闭环生态,实现实战应用反馈数据库产品研发迭代的正向循环,国产数据库产品性能、稳定性等得到了全面提升。

从市场份额来看,据IDC相关数据显示,国内传统关系型数据库市场国产市占率从2009年的4.2%提升至2019年的18.9%以上;2019年,国内关系型云数据库市场国内云厂商占据约3/4的市场份额,其中阿里、腾讯、华为分别占据市场的48.1%、20.4%、10%。从行业领域来看(见表3),2020年,国产数据库在政务、银行、保险、石化、通信、汽车、互联网等多个行业领域实现“首次”应用、全面开花。比如2020年8月,武汉达梦中标中国石油天然气股份有限公司管道分公司的国产化改造一期项目,成为应用到管道生产核心系统的首家国产数据库厂商;2020年10月,腾讯的TDSQL投产平安银行信用卡核心,活跃卡量超6000万,成为全球首例银行“大型机迁移”项目。

表3  2020年部分国产数据库服务商重点项目表

互联网新闻资料,MDC绘制

4. 引领:把握现在、着眼未来,加快能力前瞻布局

数据库国产化道阻且长,加快推进数据库国产化并不是简单对Oracle、IBM、Microsoft、SAP四巨头的国内市场份额进行替代,而是要把握国家数字化转型发展战略机遇,着眼未来发展趋势和市场需求,加快技术产品创新和生态体系构建,助力数字经济高质量发展。

4.1 把握现在:加快完善产品服务生态

政企开展数字化转型过程中,选择数据库产品时重点考虑的因素按优先级排序,可分为服务、生态、自主、成本等。目前来看,国产数据库在性能、功能、成本等方面已经能够满足市面上绝大多数需求,甚至有些产品在功能、性能方面已超出国外产品。但产品服务体系及服务生态尚不健全,与国外龙头企业相比差距巨大,比如ORACLE大中华区OPN成员数量在2013年就已经达到2412家,国产数据库厂商中拥有合作伙伴最多的武汉达梦在2020年仅仅只有101家合作伙伴,其他的数据库厂商合作伙伴均低于50家。

未来,国产数据库服务生态的构建,需在当前百家争鸣、百花齐放的基础上,不断完善行业标准、规范,形成向前发展的合力。一是完善国产数据库技术及服务标准规范体系,提升不同数据库产品之间及数据库与周边配套软件之间的兼容性,规范国产数据库服务市场,保障用户数据库的平滑迁移以及顺畅运行,解决国产数据库用户的后顾之忧;二是通过设立完善本土开源软件基金、开源协议、代码托管平台、商业运作模式等,建立本土数据库开源生态,搭建起数据库服务商与客户之间良性互动的纽带,激发数据库开发者创新活力,丰富数据库配套应用软件种类;三是通过在高校增设开源数据库、国产数据库周边技术课程以及配套的数据库资格认证,形成服务国产数据库发展的人才培养体系,夯实国产数据库人才梯队。

4.2 着眼未来:聚焦前瞻布局弯道超车

当前,国产数据库的发展热潮有两大特点,一是顺应政企数字化转型、迁云上云的趋势,立足于“开源+云”的新技术体系环境,重点布局分布式数据库、云原生数据库等新领域,避开与ORACLE、IBM等巨头的直面竞争。二是以应用为牵引,走出数据库技术研发的“象牙塔”,实现研发与应用的深度融合。未来,国产数据库要实现从“跟跑”到“并跑”再到“领跑”,亟需构建前沿数据库技术产品创新的支撑体系。

从企业侧来看,需要建立更加广泛的产学研联盟,发挥企业在数据库应用痛点、未来需求等方面的敏锐洞察能力以及学术界、科研界的深厚理论、技术积累优势,形成跨界融合创新生态。聚焦数据库技术与云计算、人工智能、边缘计算、智能制造等技术的交叉领域,超前布局DBaaS、HTAP混合事务分析、Serverless数据库等前沿方向。从政府侧来看,各级政府部门需不断完善财税、投融资、研发经费支持、知识产权保护、应用示范等相关配套政策,制定详细的落地实施方案,降低企业创新成本,加强知识产权保护,打造公平公正的市场环境,助力企业想创新、敢创新、能创新。





文章转载自现代数字城市研究,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论