架构简介.pdf - 墨天轮文档

架构简介.pdf

刘贵宾

143

2页

1次

2023-06-19

100墨值下载

架构简介

⼤家好，我是偶⼩梦。本节课程将介绍 OushuDB 5.0 的基础架构。

OushuDB 是⼀款云原⽣架构的分布式数据库，具备⾼并发、⾼吞吐和⾼性能的弹性计算能⼒。它⽀持多主节点、

多虚拟计算集群和多虚拟存储集群。每⼀层级的节点都可以⽔平扩展，存储与计算完全分离。

这是 OushuDB 的架构。

在主节点（Main Node）包含资源管理器、查询解析器（Parser/Analyzer）、优化器、容错服务、事务管理、权

限安全、调度服务等重要组件。在执⾏查询时，针对⼀个查询，弹性执⾏引擎会启动多个虚拟⼦节点(Segment) 同

时执⾏查询，节点间数据交换通过⾼速互联⽹络(Interconnect）进⾏。如果⼀个查询启动了1000个虚拟⼦节点，

意味着这个查询被均匀的分成了1000份任务，这些任务会并⾏执⾏。所以虚拟⼦节点数量代表了查询的并⾏度。查

询的并⾏度是由弹性执⾏引擎根据查询复杂度以及当前资源使⽤情况动态确定的。

组件的作⽤及其关系如下：

资源管理器：资源管理器负责整个集群的资源管理。资源管理模块能够感知集群健康状态，动态识别集群节

点。协调并发查询之间的资源分配，避免查询之间相互影响，提升系统的可⽤性。

查询解析器：负责解析查询，并检查语法及语义。最终⽣成查询树传递给优化器。

分析器：针对语法树结构进⾏检查，对语法树进⾏数据补充或者必要的优化改进，在 OushuDB 中分析器和查

询解析器是合并的。

优化器：负责接受查询树，⽣成查询计划。针对⼀个查询，可能有数亿个可能的等价的查询计划，但执⾏性能

差别很⼤。优化器的作⽤是找出优化的查询计划。

容错服务：负责检测哪些节点可⽤，哪些节点不可⽤。不可⽤的机器会被排除出资源池。

事务管理：提供分布式事务的控制能⼒，OushuDB 能够提供基于多版本的事务隔离机制。

权限安全：负责控制⽤户的⾏为，对⽤户权限进⾏约束，保障数据库访问安全。

调度器：优化器优化完查询以后，查询派遣器派遣计划到各个节点上执⾏，并协调查询执⾏的整个过程。查询

派遣器是整个并⾏系统的粘合剂。

计算层可以被划分为多个虚拟计算集群（Virtual Compute Cluster），每个虚拟集群相互独⽴，并且⽀持动态弹性

扩展。每个虚拟计算集群下可以划分多个虚拟计算集群实例，这些实例能够很⽅便的提供多租户⽀持。每个虚拟计

算集群实例⼜包括多个计算节点。每个计算节点上会运⾏⼀个 OushuDB ⼦节点（Segment）。计算节点可以动态

添加，节点加⼊到虚拟计算集群后即可接受查询任务。⼦节点实现了 OushuDB 的计算，在执⾏查询时，会在资源

容器中启动多个查询执⾏器（Query Executor），实现对数据的并⾏处理。计算层⽀持全新的 SIMD 向量化执⾏引

擎，相⽐于传统的MPP数据库，查询性能可以实现数量级提升。计算层的集群虚拟化能够在物理上进⾏计算资源隔

离，⾼效隔离执⾏错误，快速容错，增强计算弹性，集群内的数据共享也解决了数据孤岛问题。

虚拟存储集群（Virtual Storage Cluster）是 OushuDB 的存储层，由存储节点组成的多个可插拔存储集群组成。

OushuDB ⽀持可插拔存储，包括 Magma、HDFS、S3，并⽀持⽤户对存储集群按照不同的特性与⽤途进⾏集群分

组, 这些不同的存储集群是 OushuDB 中的虚拟存储集群。存储集群虚拟化可以⽀持更⼤规模的存储，⽀持多租户

的存储资源隔离，并提供全球级别的数据分布和更⾼的容灾级别。Magma 是 OushuDB ⾃研的存储模式，是⼀种

⾼可⽤的⽀持分布式事务的⾼性能分布式存储，⽀持存储与计算分离架构。在虚拟存储集群中，主要分两类：元数

据集群与数据集群。元数据集群依托于 Magma 存储，是 OushuDB ⽤来管理元数据的集群，相⽐于传统的集中式

元数据管理，元数据集群能够极⼤的提⾼元数据管理上限，提升数据库容错能⼒。⽤户数据存储则到数据集群中。