云原生数据库综述.pdf

盖国强

281

28页

15次

2024-01-20

免费下载

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn

Journal of Software, [doi: 10.13328/j.cnki.jos.000000] http://www.jos.org.cn

!"#$%&'(

!"#$%&'$%()*$%+,-%

(清华大学计算机科学与技术系 10084)

通讯作者: 李国良, E-mail: liguoliang@tsinghua.edu.cn

! ": 云基础设施的虚拟化、高可用、可弹性调度等特点,为云数据库提供了开箱即用、可靠可用、按需计费

等优势.云数据库按照架构可以划分为云托管数据库(Cloud-Hosted Database System)以及云原生数据库(Cloud-

Native Database System). 云托管数据库将数据库系统直接部署到云上虚拟机环境中,具备低成本、易运维、高可靠

的优势.在此基础上,云原生数据库充分利用云基础设施弹性伸缩的特点,采用计算存储分离的架构,实现了计算资

源和存储资源的独立伸缩,进一步提升数据库性价比.然而计算存储分离的架构为数据库系统设计带来了新的挑战.

本综述深入分析云原生数据库系统的架构和技术.首先本文将云原生 OLTP 和云原生 OLAP 的数据库架构按照资

源分离模式的差异分别进行了归类分析,并对比了各类架构的优势与局限.其次本文,基于计算存储分离的架构,按

照各个功能模块深入探讨云原生数据库的关键技术:主要包括云原生 OLTP 关键技术(数据组织、副本一致性、主

备同步、故障恢复、以及混合负载处理)和云原生 OLAP 关键技术(存储管理、查询处理、无服务器感知计算、数

据保护、以及机器学习优化).最后,本文总结现有云原生数据库的技术挑战并展望未来研究方向.

#$%: !"#$%&; '()*+,; $%&-./;

&'()*+: TP311

A Survey of Key Techniques on Cloud-Native Databases

DONG Hao-Wen, ZHANG Chao, LI Guo-Liang, FENG Jian-Hua

(Department of Computer Science, Tsinghua University, Beijing 100084, China)

Abstract: The virtualization, high availability, high elasticity, and other characteristics of cloud infrastructure provide cloud databases

with advantages such as out-of-box, high reliability, availability, pay-as-you-go, etc. Cloud databases can be divided into two categories

based on the architecture design: cloud-hosted databases (aka database as a service) and cloud-native databases. The cloud-hosted database

deploys the database to the cloud virtual machines, bringing the advantages of low cost, easy operation and maintenance, and high reliability

to database users. Besides, the cloud-native databases take full advantage of the elasticity feature of the cloud infrastructure. They adopt the

compute-storage disaggregation architecture to realize the independent scaling of computing and storage resources, further reducing the cost

of the database. The disaggregated architecture influences traditional data processing flows, which brings new challenges to cloud-native

* 基金项目: 国家自然科学基金(62232009, 61925205, 62072261)

云原生数据库关键技术综述

2205

databases. This survey focuses on cloud-native databases, considering both the OLTP databases for transaction processing and OLAP

databases for data analytics. First, we categorize the architectures of existing cloud-native databases according to the disaggregated resource

management methods and conduct horizontal comparisons for advantages and limitations. Second, based on the disaggregated architectures,

we explore the key technologies of cloud-native databases by functional modules: data organization, replica consistency, synchronization,

recovery, HTAP in OLTP systems and storage management, analysis processing, serverless, data protection, AI for DB in OLAP systems. At

last, we summarize challenges in existing works and outlook the future development in this field.

Key words: Cloud databases; Disaggregation of Computation and Storage; Database-as-a-Service

近年来云服务技术的普及和发展推动了计算机应用云端化的进程.云服务开箱即用、按需计费、弹性伸缩

等特性为数据库系统领域也带来了全新的发展机遇,越来越多的本地部署的数据库系统已经向云端迁移

[1]

.从

市场规模来看,2022 年数据库系统全球整体的市场规模约为 653 亿美元

[1]

,其中数据库即服务(Database-as-a-

Service)的全球市场规模约为 135 亿美元

[2]

,占比约为 20.7%.按照目前的发展趋势来看,未来几年间云数据库市

场规模的增长速度(年平均增长率预期为 15.7%)将高于总体数据库市场规模增长速度(年平均增长率预期为

10.8%).这将进一步扩大云数据库系统在整体数据库领域中的市场占比,得益于云环境的发展,亚马逊、微软、谷

歌等大型云数据库公司取得了明显的市场扩张,在市场份额和市场利润等方面已经逐步追赶甚至超越 Oracle、

IBM 等传统数据库系统巨头公司

[3]

.因此,云数据库系统将在下一代数据库管理系统的发展中扮演重要角色.

云数据库系统的快速发展得益于其所具备的多方面优势

[4]

这些优势可以从云数据库系统的使用者和提

供商两个角度进行分析:

Ø 对于云数据库使用者而言,云数据库系统相较于传统数据库系统具备 4 个方面的优势:(1)弹性:云数据库可

以基于工作负载实现自动扩缩容,使实际资源使用量实时匹配于工作负载,避免因预先部署资源不足导致

的业务容量瓶颈.(2)可用性:云数据库同时维护多个计算和存储副本以保证系统的高可用性,同时底层云基

础设施跨地域的部署方式能够有效应对单一数据中心的极端灾难.(3)灵活性:开箱即用的特性让用户免于

复杂的数据库部署过程;系统支持自动化的运维调优,降低用户的管理压力.(4)低成本:按需计费模型让用户

仅需为实际资源使用量付费,而非传统的预置模式.结合实际工作负载的波动性,云数据库能大幅降低用户

的使用成本.

Ø 对于云数据库提供商而言,云数据库系统相较于传统数据库系统具备 3 个方面的优势:(1)市场份额扩大:随

着大数据时代的到来,数据处理需求扩张迅速.,云数据库能吸引缺乏专业数据库运维团队的小规模企业,从

而拓展新的客户群体.(2)降低平均成本:规模效应下,大规模的数据中心能降低单位硬件资源的建设成本以

及采购成本.此外,整体性的集群设计和管理团队能够降低平均运维成本.(3)提高资源利用效率:云数据库系

统中资源不会与用户绑定,而是按照工作负载动态分配给有需求的用户.因此,提供商可以将一份硬件资源

分时段地分配给多位用户,实现资源超卖以避免资源的闲置

图 1 云托管与云原生数据库架构差异

纵观近十年的发展历程,云数据库系统可分为两个发展阶段:(1)计算存储耦合架构的云托管数据库系统

of 28

免费下载

李国良

文档被以下合辑收录

数据库简史（共33篇）

关于我的新书《数据库简史》中引用的一些资料，统一辑录在这里。

关注

文档被以下合辑收录

评论