暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

openGauss行存储的基本模型与页面组织结构

openGauss小助手 2021-10-27
509

行存储的Tuple结构以及页面组织,是行存储DML实现、可见性判断以及行存各种功能与管理机制的基石。

由于行存储是基于磁盘的存储引擎,因此在存储格式的设计中遵从段页式设计,存储结构需要以页面(page)作为单位,以方便与操作系统内核以及文件系统的接口进行交互。也是由于这个原因,页面的大小需要和目标系统中一个block(块)的大小对齐。在比较通用的linux内核中,页面大小默认一般为8192(8k)。一个基本的Heap(堆)页面如图9-3所示:

图9-3 Heap页面示意图

页面开头的位置为整个页面的头部信息,记录了这个页面的公用信息以及一些关键标识。

line_pointer被放置与Header后面,并向页面尾部扩展。line_pointer为指向tuple实际数据的一个指针,类似于sentinel(行指针)的作用。

这里需要一提的是,每个Tuple在系统中的唯一标识,ItemPointer,也被称为CTID,存储的是这一行所在的block number(即页面号)以及其对应的line_pointer的offset(即这个页面中第几个line_pointer)。这样由一个系统内记录的CTID,可以快速定位到这个Tuple的line_pointer,也就可以根据line_pointer的指针快速定位到Tuple的实际数据。

line_pointer的必要性也可以比较容易的总结出来。由于Tuple的数据内容本身可以是变长的,因此如果需要找到一个在页面中间的Tuple,则需要按序遍历页面结构;而line_pointer结构本身为定长,因此可以直接以常数的复杂度找到数据所在内存位置。Line_pointer sentinel的效果也十分明显:line_pointer的存在使得Tuple的对应改动局限于页面内部,而保持全局标识CTID不发生变化;如果没line_pointer,行更新需要连带更新的元信息、索引以及系统各处信息的复杂度就不言而喻了。

被line_pointer指向的行记录本身,则是从页面结尾开始向页面头部延展,这样避免的页面填充过程中可能出现的数据移动以及空间浪费。

页面头部的Header中储存了如下信息:

  1. Pd_lsn为最后一次改动此页面事务写下的WAL(系统中一般称为transaction log,简称xlog)的下一位,被xlog机制以及checkpoint机制所使用。
  2. Pd_checksum为页面中的checksum,为了检查页面的完整性和一致性使用。
  3. Pd_flags是此页面的标识位,可以让上层对此页面进行处理的接口快速识别此页面的一些特征,比如页面是否有空行/页面是否写满、页面是否已经对所有事务全部可见、页面是否被压缩等。
  4. Pd_lower和pd_upper是指向页面空闲空间起止的指针,即pd_lower指向下一个line_pointer的位置,而pd_upper指向下一个行记录数据填充的位置,这样既可以快速进行页面的填充修改,也可以方便计算页面的空闲空间。
  5. Pd_special指针用于记录一些特殊的存储管理方式以及接口所需的内存区域。
  6. pd_prune_xid记录上一次对此页面进行清理的xid。
  7. pd_xid_base以及pd_multi_base为这个页面上xid的base,即该页面上所有的记录的xid都由页面自身记录的xid(32位)与base(32位)计算得到,是64位xid的实现方式。

每个记录本身(上文Tuple的数据部分),则是数据库中最基本的数据存储单位,其自身的结构以及记录的信息也是系统中存储方式、DML、事务ACID的关键。如图9-4所示:

图9-4 数据部分结构

  1. Xmin是最初始的TransactionID(事务ID,简称XID),即插入此条记录的事务ID。
  2. Xmax是删除或更新此条记录的XID。如果此记录未被更改或删除,那么Xmax为0。
  3. T_cid记录的是command id,用于一个事务内部多步操作的一种记录与跟踪。
  4. T_ctid记录了此条记录的CTID值,或者是更新版本的CTID值。这个会在后面展开DML时讲到。
  5. 两个infomask是事务以及存储数据状态的标识位,用于快速判断。

Xmin、xmax两个事务ID、结合其transaction ID(事务ID)映射的Clog(提交日志)、CSN Log,一同构成了可见性判断的核心关键要素.

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论