暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

openGauss高效数据压缩算法

suger 2022-11-24
216


1主要创新技术点
openGauss的主要创新技术点总结如下:
(一)改进压缩算法,压缩数据单位依然是选择页级别,进一步结合Page结构以及本身数据的特征,将page交给通用压缩算法前,先将Page按照字节级别进行有序转换、或者是多页联合重组、或者是差分预处理,这样能获得更高的压缩率,且这一步预处理几乎不会带来多大的性能损耗。
(二)压缩存储块管理,单个页面压缩后的压缩块以chunk为粒度进行存储,然后将存储结果和页面的映射关系进行管理,因此相对于压缩页面需要在内存和磁盘之间加一层映射关系管理,记录页面压缩块与chunk存储单元之前的关系,我们称之为压缩页面地址管理(pca),对应的将记录压缩块chunk的页面称为压缩页面数据管理(pcd)。非压缩页面的页面号与存储资源block是一一对应的,不需要单独管理。Pca中不但要记录每个页面的压缩块使用了哪些chunk资源块,而且记录了chunk资源块的排列顺序,在页面访问时都先通过查询地址管理页面才能找到压缩块的存储位置。由于使用了更小的chunk,将每个页面节省的空间累积在一起,通过打洞方式返还给操作系统。

原文链接:https://blog.csdn.net/GaussDB/article/details/127880868

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论