Clickhouse 数据压缩

Clickhouse 数据压缩

column.bin 是 ClickHouse 的数据存储文件，其中存储是一列的数据，由于一列是相同类型的数据，所以方便高效压缩。在进行压缩的时候，一个压缩「数据块」由「头信息」和「压缩数据」两部分组成。

• 头信息固定使用 9 位字节表示，具体由 1 个 UInt8(1字节)整型和 2 个 UInt32(4字节)整型组成，分别代表使用的压缩算法类型、压缩后的数据大小和压缩前的数据大小。
  
• 每个压缩数据块的体积，按照其压缩前的数据字节大小，都被严格控制在 64KB~1MB，其上下限分别由 min_compress_block_size(默认65536=64KB) 与 max_compress_block_size(默认1048576=1M)参数指定。
  

「具体压缩规则」

1. 单个批次数据 size < 64KB：如果单个批次数据小于 64KB，则继续获取下一批数据，直至累积到size >= 64KB时，生成下一个压缩数据块。如果平均每条 记录小于8byte，多个数据批次压缩成一个数据块；
   
2. 单个批次数据 64KB <= size <=1MB：如果单个批次数据大小恰好在 64KB 与 1MB 之间，则直接生成下一个压缩数据块；
   
3. 单个批次数据 size > 1MB：如果单个批次数据直接超过 1MB，则首先按照 1MB 大小截断并生成下一个压缩数据块。剩余数据继续依照上述规则执行。此时，会出现一个批次数据生成多个压缩数据块的情况。再如果平均每条记录的大小超过 128byte，则会把当前这一个批次的数据压缩成多个数据块。