1673.MySQL表空间加密(TDE)

1673.MySQL表空间加密(TDE)
　　从 MySQL5.7.11开始，MySQL对InnoDB支持存储在单独表空间中的表的数据加密 。此功能为物理表空间数据文件提供静态加密。该加密是在引擎内部数据页级别的加密手段，在数据页写入文件系统时加密，加密用的是AES算法，而其解密是在从文件读到内存中时进行。
1 配置加密插件
1.1 修改配置文件
在mysql配置文件【mysqld】x项中添加如下内容
plugin_dir=/usr/local/mysql5.7/lib/mysql/plugin 　　# 插件路径，根据实际情况修改
early-plugin-load=“keyring_file.so” 　 # 加密插件
keyring_file_data=/data/mysql3306/keyring/keyring　　# 路径不存在，需要创建
innodb_file_per_table=1 　　　　　　　　　　　# 只作用于独立表空间
1.2 创建加密所需的路径并配置权限
创建时要注意 ，keyring_file_data 里配置的keyring会在启动时自动创建，本步骤中创建到对应目录即可
mkdir -p data/mysql3306/keyring/
chown -R mysql:mysql data/mysql3306/keyring/
chmod 750 data/mysql3306/keyring
1.3 重启MySQL
重启mysql即可，启动后会发现注意/data/mysql3306/keyring 目录下生成了 keyring文件

注意，重启后也要看一下mysql错误日志里有没有相关错误信息，如果没有错误则继续进行
1.4 查看插件状态
启动后可以查看插件是否生效
mysql> SELECT PLUGIN_NAME, PLUGIN_STATUS, PLUGIN_Type,PLUGIN_Library FROM INFORMATION_SCHEMA.PLUGINS WHERE PLUGIN_NAME LIKE ‘keyring_file’;
±-------------±--------------±------------±----------------+
| PLUGIN_NAME | PLUGIN_STATUS | PLUGIN_Type | PLUGIN_Library |
±-------------±--------------±------------±----------------+
| keyring_file | ACTIVE | KEYRING | keyring_file.so |
±-------------±--------------±------------±----------------+
1 row in set (0.01 sec)
或者用 show plugins命令查看

2 测试加密表空间
2.1 创建加密的新表
创建一张新表，并添加ENCRYPTION=‘Y’ ，加密表空间
mysql> create table test1(
id int primary key auto_increment,
name varchar(20),
key name(name))
ENCRYPTION=‘Y’;
Query OK, 0 rows affected (0.02 sec)
此时，keyring文件也会有变化

2.2 新增数据
向新增的测试表里添加测试数据，并查看
mysql> insert into test1(id,name) values(1,‘anm’),(2,‘keyring’);
Query OK, 2 rows affected (0.01 sec)
Records: 2 Duplicates: 0 Warnings: 0

mysql> select * from test1;
±—±--------+
| id | name |
±—±--------+
| 1 | anm |
| 2 | keyring |
±—±--------+
2 rows in set (0.00 sec)
2.3 修改是否加密
测试取消表空间加密
mysql> show create table test1;
±------±----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table | Create Table |
±------±----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| test1 | CREATE TABLE test1 (
id int(11) NOT NULL AUTO_INCREMENT,
name varchar(20) DEFAULT NULL,
PRIMARY KEY (id),
KEY name (name)
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8mb4 ENCRYPTION=‘Y’ |
±------±----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

mysql> alter table test1 ENCRYPTION=‘N’;
Query OK, 2 rows affected (0.04 sec)
Records: 2 Duplicates: 0 Warnings: 0

mysql> show create table test1;
±------±----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table | Create Table |
±------±----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| test1 | CREATE TABLE test1 (
id int(11) NOT NULL AUTO_INCREMENT,
name varchar(20) DEFAULT NULL,
PRIMARY KEY (id),
KEY name (name)
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8mb4 ENCRYPTION=‘N’ |
±------±----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

mysql> select * from test1;
±—±--------+
| id | name |
±—±--------+
| 1 | anm |
| 2 | keyring |
±—±--------+
2 rows in set (0.00 sec)
再配置为加密
mysql> alter table test1 ENCRYPTION=‘Y’;
Query OK, 2 rows affected (0.03 sec)
Records: 2 Duplicates: 0 Warnings: 0

mysql> select * from test1;
±—±--------+
| id | name |
±—±--------+
| 1 | anm |
| 2 | keyring |
±—±--------+
2 rows in set (0.00 sec)
所以，表空间加密方式是可以在线调整的，且对数据查询不影响。
另外，keyring_file_data也是可以动态调整的，比较简单，就不演示了
2.4 统计表空间加密的表
想要知道哪些表的表空间加密了，可以通过数据字典表里查看
mysql> SELECT TABLE_SCHEMA, TABLE_NAME, CREATE_OPTIONS FROM INFORMATION_SCHEMA.TABLES WHERE table_schema=‘testdb2’ and CREATE_OPTIONS=‘ENCRYPTION=“Y”’;
±-------------±-----------±---------------+
| TABLE_SCHEMA | TABLE_NAME | CREATE_OPTIONS |
±-------------±-----------±---------------+
| testdb2 | test1 | ENCRYPTION=“Y” |
±-------------±-----------±---------------+
1 row in set (0.00 sec)
3. 异常处理
如果keyring文件损坏或被误删除了，会出现什么情况
3.1 备份keyring文件
为了保险起见，先备份一下keyring文件
[root@mha1 keyring]# cp -p keyring keyring.bak
[root@mha1 keyring]# ll -h
total 8.0K
-rw-r----- 1 mysql mysql 155 Aug 16 09:10 keyring
-rw-r----- 1 mysql mysql 155 Aug 16 09:10 keyring.bak
3.2 删除keyring
直接删除keyring文件
[root@mha1 keyring]# rm -f keyring
[root@mha1 keyring]# ll -h
total 4.0K
-rw-r----- 1 mysql mysql 155 Aug 16 09:10 keyring.bak
3.3 查看数据是否正常
查看数据及新建加密表是否成功
mysql> select * from test1;
±—±--------+
| id | name |
±—±--------+
| 1 | anm |
| 2 | keyring |
±—±--------+
2 rows in set (0.00 sec)

mysql> create table test2(id int primary key auto_increment, name varchar(20),key name(name)) ENCRYPTION=‘Y’;
Query OK, 0 rows affected (0.01 sec)
也就是说此时，即使keyrig文件丢失也是可以正常操作的
3.4 重启数据库
重启数据库后，会发现，又自动生成了keyring文件

此时再查看加密表
mysql> select * from test1;
ERROR 3185 (HY000): Can’t find master key from keyring, please check in the server log if a keyring plugin is loaded and initialized successfully.
创建加密表
mysql> create table test3(id int primary key auto_increment, name varchar(20),key name(name)) ENCRYPTION=‘Y’;
Query OK, 0 rows affected (0.02 sec)
新建表是可以的，因为此时相当于初始化的时候。
那么再将原keyring还原，然后再重启数据库，会发现又能成功了
mysql> select * from test1;
±—±--------+
| id | name |
±—±--------+
| 1 | anm |
| 2 | keyring |
±—±--------+
2 rows in set (0.00 sec)
4 keyring管理
4.1 定期备份
可以每日进行备份，但是备份的路径和日常备份分开，需要还原的时候再拷贝至目标文件
4.2 定期更新
为了考虑安全性，当怀疑key泄露时，需要进行更新。更新后原先的表依旧可以正常方案，因为更新只会改变master encryption key 并重新加密 tablespace keys，不会对表空间重新加密或解密。更新的方法：
– 更新 master key
mysql> ALTER INSTANCE ROTATE INNODB MASTER KEY;
Query OK, 0 rows affected (0.00 sec)

– 更新后依旧能正常访问
mysql> select * from test1;
±—±--------+
| id | name |
±—±--------+
| 1 | anm |
| 2 | keyring |
±—±--------+
2 rows in set (0.00 sec)
至此，InnoDB表空间的简单使用就演示完毕。其中还有很多细节，可以查看官方文档进行探索，https://dev.mysql.com/doc/refman/5.7/en/innodb-data-encryption.html。

Mysql表空间加密

背景概述
在 MySQL 5.7 中，新增功能 Innodb表空间加密 以保护静态数据，简称 TDE (Transparent Data Encryption) ,即透明数据加密，此加密支持每个表的所有文件表空间，并且不支持共享表空间，这种加密技术基于旋转密钥文件而起作用，有两种类型的密钥管理插件可用于密钥管理

keyring_file插件 – 在所有MySQL版本中可用。
keyring_okv插件 – 在MySQL企业版中可用。
插件支持情况
MySQL 5.7.11之后，所有版本包含keyring_file插件
MySQL 5.7.12之后，企业版包含keyring_okv插件
MySQL 5.7.13之后，所有版本包含key管理的SQL接口（UDF，用户定义函数）
密钥介绍
密钥组成
一种两层加密架构，由一个master key （主加密密钥）和多个tablespace key （表空间密钥）组成；

主加密密钥
主密钥用于加密和解密表空间密钥

表空间密钥
表空间密钥用于加密和解密表空间数据

密钥文件加密
数据库通过 mysql keyring 对独立表空间中的 InnoDB表的数据进行加密，来提升物理文件的安全性。

加密方式
InnoDB 表空间加密支持高级加密标准 (AES) 基于块的加密算法

Only one keyring plugin should be enabled at a time. Enabling multiple keyring plugins is not supported.
一次只能启用一个密钥环插件。 不支持启用多个密钥环插件。

加密原理图

原理描述
用户可以看到，主密钥存储在数据库外部。表空间键存储在受主键保护的表空间头中。对于加密的表，表空间密钥由主密钥加密并存储在表空间标头中。这里，使用的加密算法是AES，加密模式是块加密模式（CBC）。
在innodb中，页面是使用表空间密钥加密的，并且是在IO层完成的。可以修改页面的时间可能在缓冲区中，然后被刷新。因此，我们避免在页面被修改时对页面数据进行加密，而是在写入磁盘之前先进行加密。加密是由后台页面清理程序线程完成的，该线程指出查询线程不会花费更多的CPU。缓冲池保持解密状态，因为没有访问页面的开销。

局限性
共享/系统表空间（ibdata1）未加密。
二进制，撤消和重做日志未加密。（MySQL 8.0支持重做日志和撤消日志加密）。
高级加密标准（AES）是唯一受支持的加密算法。
无法将加密的表从file_per_table表空间移动或复制到不受支持的innodb表空间。
它仅支持InnoDB Engine。
数据库配置加密插件
以下使用 keyring_file 插件为例，实践配置和表加密、解密过程。

修改配置文件
在mysql配置文件中【mysqld】小结下添加如下内容:

plugin_dir=/usr/local/mysql/lib/plugin/
early-plugin-load=keyring_file.so
keyring_file_data=/usr/local/mysql/keyring/keyring
innodb_file_per_table=1
其中 plugin_dir 来源:

[root@node1 keyring]# find / -name keyring_file.so
/usr/local/mysql/lib/plugin/debug/keyring_file.so
/usr/local/mysql/lib/plugin/keyring_file.so
添加目录
创建数据库配置文件中涉及到得目录，并修改其属主属组和权限
注意:keyring_file_data 里配置的keyring会在启动时自动创建，本步骤中创建到对应目录即可

mkdir -p /usr/local/mysql/keyring
chown -R mysql:mysql /usr/local/mysql/keyring/
chmod 750 /usr/local/mysql/keyring/
重启实例，使配置生效

[root@node1 /]# service mysql restart
Shutting down MySQL… SUCCESS!
Starting MySQL… SUCCESS!
安装插件
mysql> INSTALL PLUGIN keyring_file soname ‘keyring_file.so’;
Query OK, 0 rows affected, 1 warning (0.01 sec)
mysql>
卸载插件
UNINSTALL PLUGIN keyring_file;
插件检查
查看插件是否启用

mysql> show plugins;
±---------------------------±---------±-------------------±----------------±--------+
| Name | Status | Type | Library | License |
±---------------------------±---------±-------------------±----------------±--------+
| keyring_file | ACTIVE | KEYRING | keyring_file.so | GPL |
±---------------------------±---------±-------------------±----------------±--------+
45 rows in set (0.00 sec)
mysql>
或者

mysql> SELECT PLUGIN_NAME, PLUGIN_STATUS, PLUGIN_Type,PLUGIN_Library FROM INFORMATION_SCHEMA.PLUGINS WHERE PLUGIN_NAME LIKE ‘keyring_file’;
±-------------±--------------±------------±----------------+
| PLUGIN_NAME | PLUGIN_STATUS | PLUGIN_Type | PLUGIN_Library |
±-------------±--------------±------------±----------------+
| keyring_file | ACTIVE | KEYRING | keyring_file.so |
±-------------±--------------±------------±----------------+
1 row in set (0.00 sec)
mysql>
加密操作
加密表创建
mysql> use tde;
Database changed
mysql>
mysql> CREATE TABLE test (t1 INT) ENCRYPTION=‘Y’;
Query OK, 0 rows affected (0.04 sec)
mysql>
查看加密表
mysql> select * from information_schema.tables where create_options like ‘%ENCRYPTION%=“y”%’\G;
*************************** 1. row ***************************
TABLE_CATALOG: def
TABLE_SCHEMA: tde
TABLE_NAME: test
TABLE_TYPE: BASE TABLE
ENGINE: InnoDB
VERSION: 10
ROW_FORMAT: Dynamic
TABLE_ROWS: 0
AVG_ROW_LENGTH: 0
DATA_LENGTH: 16384
MAX_DATA_LENGTH: 0
INDEX_LENGTH: 0
DATA_FREE: 0
AUTO_INCREMENT: NULL
CREATE_TIME: 2021-10-22 17:26:00
UPDATE_TIME: NULL
CHECK_TIME: NULL
TABLE_COLLATION: latin1_swedish_ci
CHECKSUM: NULL
CREATE_OPTIONS: ENCRYPTION=“Y”
TABLE_COMMENT:
1 row in set (0.03 sec)
修改表加密
mysql> ALTER TABLE test ENCRYPTION=‘N’;
Query OK, 0 rows affected (0.01 sec)
Records: 0 Duplicates: 0 Warnings: 0
mysql>
mysql> select * from information_schema.tables where create_options like ‘%ENCRYPTION%=“y”%’\G;
Empty set (0.05 sec)
ERROR:
No query specified
mysql>
mysql> ALTER TABLE test ENCRYPTION=‘Y’;
Query OK, 0 rows affected (0.01 sec)
Records: 0 Duplicates: 0 Warnings: 0
mysql>
mysql> select * from information_schema.tables where create_options like ‘%ENCRYPTION%=“y”%’\G;
*************************** 1. row ***************************
TABLE_CATALOG: def
TABLE_SCHEMA: tde
TABLE_NAME: test
TABLE_TYPE: BASE TABLE
ENGINE: InnoDB
VERSION: 10
ROW_FORMAT: Dynamic
TABLE_ROWS: 0
AVG_ROW_LENGTH: 0
DATA_LENGTH: 16384
MAX_DATA_LENGTH: 0
INDEX_LENGTH: 0
DATA_FREE: 0
AUTO_INCREMENT: NULL
CREATE_TIME: 2021-10-22 17:27:00
UPDATE_TIME: NULL
CHECK_TIME: NULL
TABLE_COLLATION: latin1_swedish_ci
CHECKSUM: NULL
CREATE_OPTIONS: ENCRYPTION=“Y”
TABLE_COMMENT:
1 row in set (0.03 sec)
查看秘钥
mysql> show variables like ‘%keyring%’;
±-------------------±---------------------------------+
| Variable_name | Value |
±-------------------±---------------------------------+
| keyring_file_data | /usr/local/mysql/keyring/keyring |
| keyring_operations | ON |
±-------------------±---------------------------------+
2 rows in set (0.00 sec)
mysql>
keyring管理
定时备份
可以固定时间进行备份，需要还原的时候再拷贝至目标文件

定时更新
为了考虑安全性，当key不安全时，需要进行更新。更新后原先的表依旧可以正常方案，因为更新置灰改变 master encryption key 并重新加密 tablespace keys，不会对表空间重新加密或解密。
更新的方法：

mysql> ALTER INSTANCE ROTATE INNODB MASTER KEY;
Query OK, 0 rows affected (0.00 sec)
参考资料