PostgreSQL--内核分析--数据存储系统.pdf

Libria

307

23页

2次

2021-02-22

50墨值下载

PostgreSQL 数据库---内核源码分析那海蓝蓝：生活点滴，随风拂去

第 1 页/共 23 页

PostgreSQL 的数据存储

作者：李海翔

博客：http://blog.163.com/li_hx/

邮箱：lhx3000@163.com

1 存储层概述 .................................................................................................................................. 2

2 数据缓冲区和数据存储层之间的接口 ...................................................................................... 3

2.1 存储访问接口层............................................................................................................... 3

2.2 良好的接口层抽象 ........................................................................................................... 4

3 虚拟文件管理 .............................................................................................................................. 6

4 数据存储 ...................................................................................................................................... 7

4.1 数据的外存形式............................................................................................................... 7

4.1.1 外存文件样式 ....................................................................................................... 7

4.1.2 “relation”如何与外部文件对应 ......................................................................... 8

4.1.3 用户自定义 relation 的存储形式分类 ............................................................... 10

4.1.4 系统 relation 的存储形式 .................................................................................. 10

4.2 数据的内部格式............................................................................................................. 11

4.2.1 页的存储数据结构 ............................................................................................. 11

4.2.2 表数据页的存储数据格式 ................................................................................. 12

4.2.3 大数据的处理方式---TOAST ............................................................................ 13

4.2.4 大数据量的处理方式—文件分割 ..................................................................... 13

4.3 微对象存储方式与 tuple 的结构 ................................................................................... 13

4.3.1 Tuple 的数据结构 .............................................................................................. 13

4.3.2 Tuple 是否可以跨页面....................................................................................... 14

4.3.3 微对象存储方式 ................................................................................................. 15

4.4 SQL 操作对页面的影响 ................................................................................................ 16

4.4.1 DML 操作对于页面存储格式的影响 ............................................................... 16

4.4.2 Vacuum 操作对页面的影响 ............................................................................... 18

4.5 索引数据的内部格式 ..................................................................................................... 18

4.6 表空间 ............................................................................................................................ 18

4.7 大对象存储 .................................................................................................................... 19

4.8 物理 IO 调用方式 .......................................................................................................... 19

5 并发访问与存储关系 ................................................................................................................ 20

6 与存储相关的事务处理 ............................................................................................................ 20

7 扩展话题 .................................................................................................................................... 21

7.1 列存储 ............................................................................................................................ 21

7.2 分区 ................................................................................................................................ 21

7.3 数据压缩 ........................................................................................................................ 21

PostgreSQL 数据库---内核源码分析那海蓝蓝：生活点滴，随风拂去

第 2 页/共 23 页

7.4 数据加密 ........................................................................................................................ 22

8 PostgreSQL 的存储层优化 ....................................................................................................... 22

8.1 存储层结构 .................................................................................................................... 22

8.2 存储管理方式................................................................................................................. 23

1 存储层概述

PG 存储层的实现，主要分为三部分：存储层和数据库系统的关系，参加下表（行数从上

到下，是用户访问数据库的过程和数据库管理系统的各模块间的关系层次）：

层次

层次名称

代码

说明

用户接口 + 用

户命令

psql/JDBC/ODBC…

Sql 交互工具等

…

数据访问层

src\backend\access

如何识别、读写数据

数据缓冲区层

数据缓冲区

src/backend/storage/buffer/bufmgr.c

缓存数据使得逻辑 IO 和

物理 IO 分离，有效管理

了物理 IO 操作

数据存储层

存储访问接

口层

src/backend/storage/smgr/smgr.c

src/backend/storage/smgr/md.c

使得存储可以被作为插

件引入成为可能

虚拟文件管

理层

src/backend/storage/file/fd.c

屏蔽了操作系统对于进

程可打开的文件句柄数

的限制，对外存文件有效

管理

物理 IO 层

OS 的 lib 库中的函数，如 windows

下的 “ _commit ” ,linux 下的

posix_fadvise 等，还有通常共有的

“read 和 write”等函数

调用操作系统层的 IO 操

作

of 23

50墨值下载

database

关注

评论