暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

云原生数据仓库 OushuDB 4.8 版本发布了

偶数科技 2021-11-13
629

近日,偶数科技发布了OushuDB 4.8版本。团队历时2个多月的开发,相比之前的版本又引入了以下新的功能特性:


1. 添加了全新的Extendable Resource Manager,相比之前单点RM,通过引入ERM部署多个RM的方式来均衡负载,更加合理的分配资源。


存储与计算分离架构下,如何更有效的注册节点,调度资源以及在资源调度的同时更好的考虑数据本地性,是资源管理器需要解决的问题。4.8版本之前,资源管理器是一个单点架构,在大规模计算节点和多集群架构下存在瓶颈。因此4.8引入可扩展的资源管理器,解除了单点的限制,可以通过添加新的RM的方式,均衡超大规模集群的负载。


2. 新增Native Magma格式,支持更高效的增删改查,并发小查询性能也得到进一步优化。


Native Magma格式实现了QD端元数据的缓存,优化了单个事务内对magma元数据的访问次数。此外在Prepared Statement场景支持了PlanCache, 省去了优化器重复生成查询计划的时间。进一步提升Magma实时处理的性能。


3. 优化新执行器external sort,采用新的外排优化算法,达到了更高效的排序性能。


排序算法包含内存算法和外存算法。当计算机内存因容量不足无法存放所有数据时,需要将中间排序结果写入到磁盘中,最后统一归并成有序输出。OushuDB 4.8针对新执行器原有的外部排序修复了归并文件过大问题,同时针对内存排序性能进行优化,处理速度得到进一步提升。


Oushu Database(简称OushuDB)是新一代云原生数据仓库,让企业用户轻松构建核心数仓、数据集市、实时数仓以及湖仓一体数据平台。OushuDB通过计算存储分离架构解决了传统数据仓库高成本、高门槛、难维护、难扩展的问题;OushuDB由国人自主研发,符合国家信创标准,同时支持各大公有云和私有云。





↑扫描上方二维码↑
拉你进入技术交流群

⌈偶数科技⌋是一家领先的AI和大数据产品、解决方案提供商,致力于赋能全球各行业客户。公司的愿景和使命是 “让人类只为兴趣而工作”。偶数科技的产品已在金融、电信、制造、公安、能源和互联网等行业得到广泛的部署和应用。目前⌈偶数科技⌋已经获得多轮国际顶级VC的投资,是微软加速器成员企业,并入选美国著名商业杂志《快公司》“中国最佳创新公司50”榜单。


↓点击阅读原文,进入偶数社区

最后修改时间:2021-11-13 14:31:09
文章转载自偶数科技,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论