技术实践｜ClickHouse存储原理解析

中电金信研究院 2022-05-18

2071

导语：ClickHouse是面向OLAP Query场景设计的，由俄罗斯的Yandex于2016年开源的DBMS。它之所以能够获得极致的查询性能和底层极致的存储设计密切相关，本文以实战的方式对MergeTree存储引擎的存储原理进行解析，与各位同仁共享。

作者 | 大数据技术实验室杜红元

内容 | 本篇共1859字，预计阅读时间5分钟

●　本文内容基于ClickHouse 22.2.3.1版本。

一、从创建⼀张表开始

⾸先通过创建⼀张表直观的感受⼀下：

●　我们观察⼀下存储目录变化情况

存储目录下生成了⼀个和表名称⼀样的软件接口，指向了⼀个以UUID命名的文件。

●　我们插入⼀些数据，观察目录下的内容

●　目录内容

●　我们对目录和文件关键内容进行⼀些说明：

all_1_1_0: 称为数据片段分区名称_MinBlockNum_MaxBlockNum_Level，如果表没有分区则分区名称为all，如果有分区则分区名称为具体分区值。后台进程会把多个数据片段按照LSM规则进行合并。

[column].bin：以⼆进制形式对表中数据进行存储。由于建表语句中声明了min_rows_for_wide_part和min_bytes_for_wide_part都为0，CK以每⼀列存储为⼀个数据文件进行存储。

[column].mrk2：column信息的标记文件，记录列字段的元数据信息，后面会对此文件存储内容进行讲解。

primary.idx：索引文件，用于存放稀疏索引。

二、索引文件

ClickHoue的主键索引是⼀种在索引构建成本和索引效率上相对平衡的稀疏索引。

primary.idx是表的主键索引，ClickHouse对主键索引的定义和传统数据库的定义稍有不同，CK主键不能去重，但仍然有快速查找主键行的能力。ClickHouse的主键索引存储的是每⼀个颗粒中起始行的主键值，而MergeTree存储中的数据是按照主键严格排序的。

所以当查询给定主键条件时，我们可以根据主键索引确定数据可能存在的颗粒区间，再结合下面介绍的Mark标识，我们可以进⼀步确定数据在列存文件中的位置区间。通过解析索引文件内容可以理解primary.idx存储内容。

RI_BDTL.test表的索引字段为ID，字段类型为UInt64，所以⼀个ID值占用8个字节进行存储。第⼀个8字节：01 00 00 00 00 00 00 00 表示数值1，第⼆个8字节为 04 00 00 00 00 00 00 00 表示数值4。最后我们发现索引文件中共存储了4个数值，分别为1、4、7、9。

这里引入建表语句中的index_granularity=3表示索引间隔为3。即插入的数据中间隔3行数据获取⼀个索引值。

●　索引文件总结

索引文件内容按照index_granularity参数设置的间隔紧凑存储，primary.idx文件中共存储了4个索引值分别是1、4、7、9。

三、[COLUMN].bin文件

[COLUMN].bin 文件是按照BLOCK组织而成。⼆进制文件查看⽐较复杂不在此文表述。

●　BLOCK格式如下：

1. Checksum，16 Bytes，用于对后面的数据进行校验。

2. Compression algorithm，1 Byte，默认是LZ4，编号为0x82。

3. Compressed size，4 Bytes，其值等于Compression algorithm + Compressed size + Decompressed size + Compressed data的⻓度。

4. Decompressed size，4 Bytes，数据解压缩后的⻓度。

5. Compressed data，压缩数据，⻓度为Compressed size - 9。压缩数据由"颗粒"组成。颗粒是CK进行数据查询和存储的最小不可分割的数据集。

四、mrk2文件

[column].mrk2存储列字段的元数据信息，包括压缩数据块偏移信息和解压数据块的偏移信息和压缩数据块的行数。mrk2文件的作用在于对齐了索引文件和数据颗粒，在用户查询数据过程起到承前启后的作用。

理解mrk2文件作用需要结合bin文件⼀起，我们知道bin文件是由block组成，而block中存储数据信息的是颗粒。颗粒是数据按行划分时用到的逻辑概念。

颗粒的大小通过表引擎参数index_granularity和index_granularity_bytes控制。颗粒的行数在[1, index_granularity]范围内，这取决于行的大小。如果单行的⼤小超过了index_granularity_bytes设置的值，那么⼀个颗粒的⼤小会超过index_granularity_bytes。这种情况颗粒的⼤小等于该行的⼤小。

mrk2文件的⼀个标记对应⼀个bin文件中的⼀个颗粒。

mrk2文件中⼀个标记又对应primary.idx的⼀个索引。

同样，接下来，我们观察⼀下mark文件中的内容。