OceanBase分布式关系数据库架构与技术.pdf

落枫0907

340

15页

1次

2024-02-20

100墨值下载



OceanBase分布式关系数据库架构与技术

阳振坤　杨传辉　韩富晟　王国平　杨志丰　成肖君

（北京奥星贝斯科技有限公司　北京　100102）

（zhengxiang@oceanbase.com）

Infrastructure and Technology of OceanBase Distributed Relational Database

YangZhenkun,YangChuanhui,HanFusheng,WangGuoping,YangZhifeng,andChengXiaojun

（Beijing OceanBase Technology Co., Ltd., Beijing 100102）

Abstract　Relational database is the key information infrastructure of today's society. The Internet and digitization

have brought high concurrency and massive data. Due to their centralized architectures, the processing power and

storagecapacityoftraditionalrelationaldatabasesarestretched.OceanBaseisadistributedrelationaldatabasebased

on commodity PC servers. It achieves online horizontal scalability, automatic lossless disaster recovery from data

center failure and high-ratio data compression. It has been used in finance, government affairs, telecommunication

systems, Internet, etc. This paper introduces the infrastructure and some key technologies of OceanBase, including

distributed transaction processing, LSM-tree-based storage system and distributed SQL optimizer. In addition, this

paperexplainsindetailthehighavailabilityanddataconsistencyofOceanBase,whichcanensurethatRPOis0and

RTOislessthan8seconds.Atthesametime,italsointroducesOceanBase’smulti-tenantmechanism,whichadoptsa

nativemulti-tenantdesignwithintheclustertoimplementmultipleindependentdatabaseservicesinthecluster.Based

ontheSysbenchandTPC-Hevaluationbenchmarks,comparativeexperimentalresultsshowthat1)inastand-alone

mode,theperformanceofOceanBaseis1.27timestoover2timesthatofMySQL;2)inasingle-mastermode,the

performanceofOceanBaseis1.25timestonearly2timesthatofMySQL;3)Inamulti-mastermode,theperformance

ofOceanBaseis1.09to3.1timesthatofMySQL,andforcomplexOLAPqueries,theperformanceofOceanBaseis6

to327timesthatofMySQL.

Key words　relationaldatabase；distributedtransaction；LSM-tree-basedstorage；distributedSQLoptimizer；multi-

tenant

摘　要　关系数据库是当今社会的关键信息基础设施，互联网和数字化带来了高并发和海量数据，传统关

系数据库均为集中式架构，处理能力和存储容量都捉襟见肘.OceanBase分布式关系数据库基于通用PC

服务器，不仅实现了在线水平伸缩，还实现了机房故障自动无损容灾以及高倍率数据压缩等，已经应用于

金融、政务、通信和互联网等行业.介绍了OceanBase分布式关系数据库的系统架构和关键技术，包括分布

式事务处理、基于LSM-tree的存储系统以及分布式SQL优化器.详细阐述了OceanBase数据库的高可用

和数据一致性，包括RPO为0和RTO小于8秒.也介绍了OceanBase数据库多租户机制，即采用了集群内

原生多租户设计，在集群内实现多个互相独立的数据库服务.基于Sysbench和TPC-H评测基准，对比实验

结果表明， 1）在单机模式下， OceanBase的性能是 MySQL的 1.27倍至 2倍多； 2）在单主模式下，

OceanBase的性能是MySQL的1.25倍至近2倍；3）在多主模式下，OceanBase的性能是MySQL的1.09倍

至3.1倍，对于下OLAP复杂查询，OceanBase的性能是MySQL的6倍到327倍.



收稿日期：2023-10-19；修回日期：2023-12-14

通信作者：阳振坤（zhengxiang@oceanbase.com）



计算机研究与发展

DOI：10.7544/issn1000-1239.202330835

JournalofComputerResearchandDevelopment

x（x）：xx−xx，xxxx

关键词　关系数据库；分布式事务；基于LSM-tree存储；分布式SQL优化器；多租户

中图法分类号　TP311.13

1970年Edgar.F.Codd博士发明关系模型

[1]

以及

随后SQL语言的出现，关系数据库系统从1980年代

起逐步发展成为了业务信息系统的基石.由于业务

信息系统的稳定性、可用性、实时性和高性能的要

求以及事务的原子性、一致性、隔离性和持久性

(ACID)属性，关系数据库的技术门槛非常高，当前全

世界广泛使用的关系数据库系统都是集中式系统，

可以离线、垂直扩展(scale-up)，难以在线、水平扩展

(scale-out)，处理能力和容量有限.

1990年代，随着互联网的发展和普及，以电子商

务为代表的各种线上业务产生了百倍、千倍于线下

实体店（商场、酒店、工厂等）的并发访问量和数据

量，远远超出了集中式关系数据库的处理能力和存

储容量，对应用系统进行拆分并对数据库进行分库

分表几乎成为了唯一可行的手段，然而，这种削足适

履的办法意味着应用系统的重构，低效率、低性能的

跨库访问和跨库事务，外键、全局唯一约束、全局索

引等只能被束之高阁，数据分析无法直接进行，数据

管理的成本显著增加.

分布式关系数据库具备在线、敏捷的水平伸缩

的能力，能够很好地克服业务的高并发以及海量数

据的挑战.然而，与集中式关系数据库相比，分布式

关系数据库更加复杂，在高可用、数据一致性、事务

性能等方面面临更大的技术挑战.

2019年，OceanBase分布式关系数据库

[2-3]

通过

了国际事务处理性能委员(TPC)的TPC-C联机事务

处理基准测试

[4]

并打破Oracle保持了9年的性能记

录.2021年，OceanBase通过了TPC-H联机分析处理

基准测试

[5]

并登顶性能榜首(@30,000GB).OceanBase

是迄今为止唯一获得了TPC-C和TPC-H性能榜首的

数据库.



1　OceanBase系统架构

作为一个分布式关系数据库，OceanBase集群由

若干zone组成，通常是1-5个zone，图1是一个3-zone

集群.每个zone包含1个或多个OceanBase节点，称为

OBServer.每个OBServer由SQL引擎、事务引擎和存

储引擎等构成.每个zone都包含了整个系统的全部

数据，zone内每个OBServer管理其中的部分数据即

若干数据分片，单个zone内各个OBServer管理的数

据彼此没有交集.每个数据分片在每个zone里都有



……

OBProxy

Proxy layer

Application layer

……

Data service

layer

User requests

Execution results

SQL engine

Transaction

processing engine

Transaction

processing engine

Transaction

processing engine

Transaction

processing engine

Transaction

processing engine

Storage engine

…

OBServer-1

Zone 1

SQL engine

Storage engine

…

OBServer-2

SQL engine

Storage engine

OBServer-m

SQL engine

Storage engine

OBServer-1

Zone 2

SQL engine

Storage engine

OBServer-2

SQL engine

Transaction

processing engine

Storage engine

OBServer-m

Zone 3

...

Transaction

processing engine

Transaction

processing engine

…

SQL engine

Storage engine

OBServer-1

SQL engine

Storage engine

OBServer-2

SQL engine

Transaction

processing engine

Storage engine

OBServer-m

...

…

...

Fig.1　ThesystemarchitectureofOceanBase

图1　OceanBase系统架构

计算机研究与发展　xxxx，x（x）

of 15

100墨值下载

oceanbase 分布式关系数据库架构与技术

关注

评论