暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

云原生数据仓库 OushuDB 4.8 版本发布了

原创 宗恩 2022-09-15
264

近日,偶数科技发布了OushuDB 4.8版本。团队历时2个多月的开发,相比之前的版本又引入了以下新的功能特性:



1. 添加了全新的Extendable Resource Manager,相比之前单点RM,通过引入ERM部署多个RM的方式来均衡负载,更加合理的分配资源。



存储与计算分离架构下,如何更有效的注册节点,调度资源以及在资源调度的同时更好的考虑数据本地性,是资源管理器需要解决的问题。4.8版本之前,资源管理器是一个单点架构,在大规模计算节点和多集群架构下存在瓶颈。因此4.8引入可扩展的资源管理器,解除了单点的限制,可以通过添加新的RM的方式,均衡超大规模集群的负载。




2. 新增Native Magma格式,支持更高效的增删改查,并发小查询性能也得到进一步优化。



Native Magma格式实现了QD端元数据的缓存,优化了单个事务内对magma元数据的访问次数。此外在Prepared Statement场景支持了PlanCache, 省去了优化器重复生成查询计划的时间。进一步提升Magma实时处理的性能。



3. 优化新执行器external sort,采用新的外排优化算法,达到了更高效的排序性能。



排序算法包含内存算法和外存算法。当计算机内存因容量不足无法存放所有数据时,需要将中间排序结果写入到磁盘中,最后统一归并成有序输出。OushuDB 4.8针对新执行器原有的外部排序修复了归并文件过大问题,同时针对内存排序性能进行优化,处理速度得到进一步提升。



Oushu Database(简称OushuDB)是新一代云原生数据仓库,让企业用户轻松构建核心数仓、数据集市、实时数仓以及湖仓一体数据平台。OushuDB通过计算存储分离架构解决了传统数据仓库高成本、高门槛、难维护、难扩展的问题;OushuDB由国人自主研发,符合国家信创标准,同时支持各大公有云和私有云。



「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论