暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

面试官:了解 MySQL的数据行吗?行溢出机制呢?谈谈看!

赐我白日梦 2021-06-16
419



《为研发同学定制的MySQL面试指南》 
贯穿单机、集群、数据库中间件!
面试官都关注了!别再犹豫!

Hi,大家好!我是白日梦!

今天我要跟你分享的MySQL话题是:“谈谈MySQL的数据行以及行溢出机制吧!

本文是MySQL专题的第 11 篇,共110篇。

欢迎关注!持续更新中~


1
回顾                                             

在前面的分享中,白日梦曾不止一次的提及到:InnoDB从磁盘中读取数据的最小单位是数据页。而你想得到的id = xxx的数据,就是这个数据页众多行中的一行。

下面我们就一起来看下数据行设计的多么巧妙。


2
行 有哪些格式?

你可以像下面这样看一下你的数据表的行格式。

其实MySQL的数据行有四种格式:一种就是图中的 Compact格式,还有一种是Redundant格式、以及Dynamic、Compress

Compact是一种紧凑的行格式,设计的初衷就是为了让一个数据页中可以存放更多的数据行。

你品一品蓝色的话,让一个数据页中可以存放更多的数据行是一个多么激动人心的事,MySQL以数据页为单位从磁盘中读数据,如果能做到让一个数据页中有更多的行,那岂不是单行使用的数据页空间变少了,且整体的效率直线飙升?

官网介绍:Compact能比Redundant格式节约20%的存储。

Compact从MySQL5.0引入,MySQL5.1之后,行格式默认设置成 Compact 。所以本文描述的也是Compact格式。


3
紧凑的行格式长啥样?



你肯定晓得表中有的列允许为null,有的列是变长的varchar类型。

那Compact行格式是如何组织描述这些信息的呢?如下图:

每部分包含的数据可能要比我上面标注的1、2、3还要多。

为了给大家更直观的感受和理解我只是挑了一部分展示给大家看。


4
MySQL单行能存储多大体量的数据?

在MySQL的设定中,单行数据最大能存储65535byte的数据(注意是byte,而不是字符)

但是当你像下面这样创建一张数据表时却发生了错误:

MySQL不允许创建一个长度为65535byte的列,因为数据页中每一行中都有我们上图提到的隐藏列。

所以将varchar的长度降低到65532byte即可成功创建该表

注意这里的65535指的是字节,而不是字符。

所以如果你将charset换成utf8这种编码格式,那varchar(N)中的N其实指的N个字符,而不是N个byte。所以如果你像下面这样创建表就会报错。

假如encode=utf8时三个byte表示一个字符。那么65535 3 = 21845个字符。


5
Compact格式是如何做到紧凑的?

MySQL每次进行磁盘的随机读。

默认情况下,读出来的数据页的大小为16KB。数据页中存储着数据行。

那就意味着一个数据页中能存储越多的数据行,MySQL整体的进行的IO次数就越少,性能就越快。

Compact格式的实现思路是:当列的类型为VARCHAR、 VARBINARY、 BLOB、TEXT时,该列超过768byte的数据放到其他数据页中去。

如下图:

看到这里来龙去脉是不是很清晰了呢?

MySQL这样做,有效的防止了单个varchar列或者Text列太大导致单个数据页中存放的行记录过少而让IO飙升的窘境且占内存的。


6
什么是行溢出?

那什么是行溢出呢?

如果数据页默认大小为16KB,换算成byte:16*1024 = 16384 byte

那你有没有发现,单页能存储的16384byte和单行最大能存储的 65535byte 差了好几倍呢?

也就是说,假如你要存储的数据行很大超过了65532byte那么你是写入不进去的。假如你要存储的单行数据小于65535byte但是大于16384byte,这时你可以成功insert,但是一个数据页又存储不了你插入的数据。这时肯定会行溢出!

其实在MySQL的设定中,发生行溢出并不是达到16384byte边缘才会发生。

对于varchar、text等类型的行。当这种列存储的长度达到几百byte时就会发生行溢出。


7
行 如何溢出?

还是看这张图:

在MySQL设定中,当varchar列长度达到768byte后,会将该列的前768byte当作prefix存放在行中,多出来的数据溢出存放到溢出页中,然后通过一个偏移量指针将两者关联起来,这就是行溢出机制。


8
思考一个问题

不知道你有没有想过这样一个问题:

首先你肯定知道,MySQL使用的是B+Tree的聚簇索引,在这棵B+Tree中非叶子节点是只存索引不存数据,叶子节点中关联着真实的数据。同时叶子结点指向数据页。

那当单行存不下的时候,为啥不存储在两个数据页中呢?就像下图这样。

单个节点存储下,我用多个节点存总行吧!说不定这样我的B+Tee还能变大长高(这其实是错误的想法这个错误的描述对应的脑图如下:

那MySQL不这样做的原因如下:

MySQL想让一个数据页中能存放更多的数据行,至少也得要存放两行数据。否则就失去了B+Tree的意义。B+Tree也退化成一个低效的链表。

你可以品一下这句蓝色的话,他说的每个数据页至少要存放两行数据的意思不是说 数据页不能只存一行。你确确实实可以只往里面写一行数据,然后去吃个饭,干点别的。一直让这个数据页中只有一行数据。

蓝色段落想表达的意思是:当你往这个数据页中写入一行数据时,即使它的体积很大,而且将达到了一个数据页的极限,但是通过行溢出机制。依然能保证你的下一条数据还能写入到这个数据页中。

正确的脑图如下:



9
推荐阅读

1、谈谈MySQL中基数是什么?

2、聊聊什么是慢查?如何监控?如何排查?

3、对Not Null字段插入Null值有啥现象?

4、能谈谈year、date、datetime、time、timestamp的区别吗?

5、你有没有搞混查询缓存和Buffer Pool?谈谈看!

6、你知道数据库缓冲池中的LRU-List吗?

7、了解InnoDB的FreeList吗?谈谈看!

8、了解Flush-List吗?顺便说一下脏页的落盘机制!

9、用 11 张图讲清楚,当你CRUD时BufferPool中发生了什么!以及BufferPool的优化!

10、了解 MySQL的表空间 和 数据表吗?谈谈看!


10
关注送书

关注后台回复:“抽奖”  (回复的人数比较少,中奖率很大)

将有机会获得全新正版 《Netty实战》


下一篇文章白日梦同你分享另一个话题:

“MySQL的数据页到底长啥样?什么是数据页分裂?什么是数据区?”

参考:

https://dev.mysql.com/doc/refman/5.7/en/innodb-row-format.html

https://dev.mysql.com/doc/refman/5.7/en/column-count-limit.html

微信号:Echo1024Go
作者:赐我白日梦
欢迎关注!连载中!
微信搜一搜
Echo1024



文章转载自赐我白日梦,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论