InnoDB

# InnoDB：MySQL 的默认存储引擎——从日志到索引、从事务到集群的全景解析

## 一、历史与定位
2000 年，Innobase Oy 发布 InnoDB，2005 年被 Oracle 收购；MySQL 5.5 起取代 MyISAM 成为默认引擎。
设计目标：在单机、多核、SSD 与云环境下，提供**高并发事务、行级锁、崩溃恢复、热备份**四项核心能力，支撑 OLTP 业务 7×24 运行。

## 二、架构总览：内存 + 磁盘 + 后台线程
1. 内存区
- Buffer Pool：占内存 60~80%，缓存数据页与索引页；采用 LRU-List + Free-List + Flush-List 三链表管理，按页 16 KB 单位读写。
- Change Buffer：二级索引页不在内存时，把 DML 操作缓存到 IBUF，后续合并回表，减少随机 IO。
- Adaptive Hash Index（AHI）：对频繁等值查询，自动在内存建哈希索引，把 O(log n) 树查找变成 O(1)。
- Log Buffer：redo log 先写内存，1 ms 或事务提交时批量刷盘。

2. 磁盘文件
- .ibd（独立表空间）或 ibdata1（共享表空间）：存数据、索引、回滚段。
- redo log：ib_logfile0/1，循环写，崩溃恢复用。
- undo log：存于系统表空间或独立 undo 表空间，支持 MVCC 与回滚。
- doublewrite buffer：解决 16 KB 页“半写”问题，先顺序写 2 MB 缓冲区，再刷真正数据页。

3. 后台线程
- Master Thread：负责 LRU 脏页刷新、合并 Change Buffer、写 checkpoint。
- IO Thread：4 个读 + 4 个写（可配置），异步预读与刷脏，把 IO 压力分摊到多核。
- Purge Thread：清理已提交事务的 undo 页，避免系统表空间暴涨。
- Page Cleaner Thread：5.6 起独立，专职刷脏，减轻 Master 阻塞。

## 三、索引与物理存储
1. 聚簇索引（Clustered Index）
- 表总是主键顺序存储，叶节点即整行数据；若无显式主键，则选唯一键，否则隐式 6 字节 ROW_ID。
- 二级索引叶节点存“索引键 + 主键值”，需要回表时拿主键再去聚簇索引查一次。

2. B+Tree 层高
- 页大小 16 KB，bigint 主键 8 B + 指针 6 B → 一页约 1170 条目；
- 树高=3 即可支撑 1170³ ≈ 16 亿行，单次点查 3 次 IO，毫秒级返回。

3. 自增主键 vs UUID
- 自增顺序插入，页分裂少，写放大低；
- UUID 随机插入，页频繁分裂，表空间膨胀 30 % 以上，且缓存命中率差。

## 四、事务与锁
1. 四大隔离级别
- READ UNCOMMITTED：脏读，很少用；
- READ COMMITTED：快照读，每次 select 生成最新 ReadView；
- REPEATABLE READ（默认）：事务首次 select 时生成 ReadView，解决不可重复读；
- SERIALIZABLE：加 next-key 锁，退化为串行。

2. MVCC 实现
- 每行隐藏 DB_TRX_ID（最近修改事务 ID）、DB_ROLL_PTR（指向 undo）；
- 事务开启时构建 ReadView：[min_trx_id, max_trx_id) + 活跃列表；
- 根据“行 trx_id 是否小于 min_trx_id”判断是否可见，实现“读不阻塞写”。

3. 锁类型
- Record Lock：单行；
- Gap Lock：间隙，防幻读；
- Next-Key Lock = Record + Gap；
- 意向锁（Intention）：表级意向，用于多粒度加锁冲突检测；
- 自增锁：AUTO-INC，5.7 起可配置互斥粒度，减少并发瓶颈。

## 五、Redo & Undo & Crash Recovery
1. WAL（Write-Ahead Logging）
- 事务修改先写 redo log，再改 Buffer Pool；
- commit 时 log 必须落盘，数据页可异步刷；保证“日志先行”即可崩溃恢复。

2. Checkpoint
- Sharp Checkpoint：关闭时一次性刷完所有脏页，启动快但关库慢；
- Fuzzy Checkpoint：Master Thread 每秒按比例刷，脏页比例 >75 % 触发狂刷，避免阻塞新写入。

3. 恢复流程
- 分析阶段：扫描 redo log，生成脏页列表与活跃事务；
- 重做阶段：重新应用已提交但未写入数据页的日志；
- 撤销阶段：回滚未提交事务的修改，利用 undo log；
- 整个流程只依赖日志文件，与表空间是否损坏无关，保证 ACID。

## 六、Change Buffer：随机写变顺序写
二级索引页不在 Buffer Pool 时，直接读磁盘再改成本极高。
InnoDB 把“改索引”操作缓存到 Change Buffer（IBUF），后续合并时一次性读入页，把多次随机 IO 合并成顺序 IO，可将写入性能提升 20~50 %。
注意：唯一索引无法使用 Change Buffer，因为必须立即读页判重。

## 七、自适应哈希索引（AHI）
对连续等值查询（如 WHERE id = 123），InnoDB 监控访问模式，若同一页被命中 17 次（默认），就自动在内存建哈希索引。
- 把树高 3~4 的 B+Tree 查找变成哈希计算，CPU 指令数降 90 %；
- 完全自动，无需 DBA 干预；
- 可通过 innodb_adaptive_hash_index 关闭，以节省 2~4 % 内存。

## 八、性能监控与调优
1. 关键指标
- Buffer Pool Hit Ratio：> 99 % 为佳；
- Dirty Page Ratio：20 % 以内，避免 checkpoint 风暴；
- Log Waits：redo log 太小导致同步等待，可增大 innodb_log_file_size；
- History List Length（HLL）：undo 未清理长度，>1 万可能阻塞 purge。

2. 常用命令
```sql
SHOW ENGINE INNODB STATUS\G
SELECT * FROM information_schema.innodb_metrics WHERE name LIKE '%buffer%'\G
```
可查看锁等待、AHI 命中率、IBUF 大小等 600+ 项内部计数器。

3. 参数速览
- innodb_buffer_pool_size = 物理内存 60~80 %；
- innodb_flush_method = O_DIRECT，避免双缓冲；
- innodb_flush_neighbors = 0（SSD）/ 1（HDD）；
- innodb_io_capacity = 200~2000，按磁盘 IOPS 设置；
- innodb_purge_threads = 4，多线程清理 undo。

## 九、新特性（8.0 亮点）
- 即时 DDL：ADD COLUMN 不再重建表，秒级完成；
- 并行聚集索引扫描：分区表 COUNT(*) 可占满多核；
- 自适应刷新：根据 redo 生成速率动态调整刷脏，避免“抖动”；
- DDL 日志：崩溃恢复时可回滚半完成的 DDL，保证原子；
- 引擎级 Clone：在线克隆实例，用于快速扩容备库。

## 十、备份与复制
1. 物理热备：Percona XtraBackup、MySQL Enterprise Backup，基于拷贝 ibd + redo + undo，无需锁表。
2. 逻辑备份：mysqldump、mydumper，导出 SQL 文本，适合跨版本。
3. 组复制（MGR）：基于 Paxos 的多主/单主协议，自动选主、数据零丢失。
4. InnoDB Cluster：Shell + Router + MGR，官方“一键高可用”方案，支持自动故障转移和读写分离。

## 十一、总结
InnoDB 通过**日志先行、MVCC、行级锁、自适应索引、多线程异步 IO**五大机制，在单机到云原生的不同环境中，为 MySQL 提供了企业级事务处理能力。理解其页结构、锁机制、刷新与恢复流程，是 DBA 调优、开发避坑、架构选型的基本功——掌握了 InnoDB，就掌握了 MySQL 的心脏。