暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

OushuDB 丨 国产数据库都有哪些

原创 宗恩 2022-12-26
208

Oushu Database(简称OushuDB)是由Apache HAWQ创始团队打造的新一代数据仓库(New Data Warehouse)。采用了存储与计算分离技术架构,具有MPP的所有优点,其三大优势为

  • 弹性:主要包含存算分离,弹性扩展,多级资源管理;
  • 高性能:基于领先的性能优化技术打造的世界上最快的分析型数据库;
  • 多云:支持 AWS、Azure、阿里云、腾讯云、金山云等大厂的统一数据管理方案,也可结合私有云进行混合管理。

遵循ANSI-SQL标准,兼容Oracle,Greenplum Database和PostgreSQL,提供PB级数据交互式查询能力,提供对主要BI工具的描述性分析和AI支持。OushuDB已在金融、电信、制造、医疗和互联网等行业得到广泛的部署和应用。

OushuDB 包含计算层和存储层,存储和计算分离,可以独立扩容。

一个 OushuDB 的计算层有多个 OushuDB Master 节点,内部包含了元数据管理服务和资源管理服务。其他节点为 Slave 节点,每个 Slave 节点上安装有一个 OushuDB Segment,用于实现 OushuDB 的计算。

在 OushuDB master 节点内部有几个重要组件:查询解析器(Parser/Analyzer),优化器,资源管理器,容错服务,查询派遣器,事务管理器,元数据服务在查询执行时,针对一个查询,弹性执行引擎会启动多个虚拟 Segment 同时执行查询,节点间数据交换通过 Interconnect(高速互联网络)进行。

  • 查询解析器:负责解析查询,并检查语法及语义。最终生成查询树传递给优化器。
  • 优化器:负责接收查询树,生成查询计划。针对一个查询,可能有数亿个可能的等价的查询计划,但执行性能差别很大。优化器的作用是找出最优的查询计划。
  • 资源管理器:资源管理器负责整个集群的资源管理。资源管理器需要在并发的查询之间分配资源,并保证查询不使用超过分配给该查询的资源,否则查询之间会相互影响,可能导致系统整体不可用。
  • 容错服务:负责检测哪些节点可用,哪些节点不可用。不可用的机器会被排除出资源池。
  • 查询派遣器:优化器优化完查询以后,查询派遣器派遣计划到各个节点上执行,并协调查询执行的整个过程。查询派遣器是整个并行系统的粘合剂。
  • 事务管理器:管理分布式事务
  • 元数据服务:负责存储 OushuDB 的各种元数据,包括数据库和表信息,以及访问权限信息等。
  • 高速互联网络:负责在节点之间传输数据。使用软件实现,基于 UDP 协议。UDP 协议无需建立连接,从而可以避免 TCP 高并发连接数的限制。

OushuDB Segment 在执行查询的时候会在资源容器中启动多个 QE (Query Executor, 查询执行器)。而节点可以动态的加入集群,并且不需要数据重新分布。当一个节点加入集群时,他会向 OushuDB Master 节点发送心跳,然后就可以接收未来查询了。

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论