GBase 8a MPP Cluster 数据脱敏功能实践

背景

在实际项目中，存在某类用户只需访问脱敏数据的业务需求。GBase 8a MPP Cluster可以通过动态数据脱敏，不改变库表实际数据，只是在查询时用该特性控制查询返回的语句，来实现这一需求。

通过用户权限控制，没有unmask权限的用户受脱敏规则影响只能访问到脱敏后的数据。

动态数据脱敏支持四种类型的脱敏函数：

实践

1.创建脱敏用户

（1）创建脱敏用户 masked

CREATE USER masked IDENTIFIED BY 'masked';

（2）赋予测试库权限（默认不包含unmask权限）

GRANT ALL ON testdb.* TO masked;

2.测试数据准备

（1）创建脱敏测试表

/* 以下sql使用gbase用户操作 */
CREATE TABLE testdb.tb_masked (
	/* DEFAULT类型 */
	id INT MASKED WITH(FUNCTION = 'DEFAULT()'),
	username VARCHAR(20) MASKED WITH(FUNCTION = 'DEFAULT()'),
	updatetime DATETIME MASKED WITH(FUNCTION = 'DEFAULT()'),
	
	/* RANDOM类型 */
	age INT MASKED WITH(FUNCTION = 'RANDOM(1,4)'),
	
	/* PARTIAL类型 */
	company VARCHAR(50) MASKED WITH (FUNCTION = 'PARTIAL(4,"XXXX",2)'),
	
	/* SHA类型 */
	codename VARCHAR(20) MASKED WITH (FUNCTION = 'SHA()')
);

（2）插入数据

INSERT INTO testdb.tb_masked VALUES (1001,'Stinky Jefferson',current_timestamp,30,'Amazonworld','Lucky Boy Scout');
INSERT INTO testdb.tb_masked VALUES (1002,'Slaps Rosenthal',current_timestamp-2,25,'Apachescape','Humming Packer');
INSERT INTO testdb.tb_masked VALUES (1003,'Cornbread Endicott',current_timestamp-4,40,'Mazewalk','Crafty King');
INSERT INTO testdb.tb_masked VALUES (1004,'Skidmark Putney',current_timestamp-6,35,'Pinkbeat','Innocent Darling');

/* 查看表 */
gbase> SELECT * FROM testdb.tb_masked;
+------+--------------------+---------------------+------+-------------+------------------+
| id   | username           | updatetime          | age  | company     | codename         |
+------+--------------------+---------------------+------+-------------+------------------+
| 1001 | Stinky Jefferson   | 2022-03-02 13:59:51 |   30 | Amazonworld | Lucky Boy Scout  |
| 1002 | Slaps Rosenthal    | 2022-02-28 13:59:51 |   25 | Apachescape | Humming Packer   |
| 1003 | Cornbread Endicott | 2022-02-26 13:59:51 |   40 | Mazewalk    | Crafty King      |
| 1004 | Skidmark Putney    | 2022-02-24 13:59:51 |   35 | Pinkbeat    | Innocent Darling |
+------+--------------------+---------------------+------+-------------+------------------+
4 rows in set (Elapsed: 00:00:00.02)

3.脱敏操作

（1）查看脱敏数据

$ gccli -umasked -pmasked
gbase> SELECT * FROM testdb.tb_masked;
+------+----------+---------------------+------+------------+----------------------+
| id   | username | updatetime          | age  | company    | codename             |
+------+----------+---------------------+------+------------+----------------------+
|    0 | xxxx     | 1900-01-01 00:00:00 |    3 | AmazXXXXld | 88eab1ab36e0c6af474d |
|    0 | xxxx     | 1900-01-01 00:00:00 |    2 | ApacXXXXpe | 765b9b4014cd721be780 |
|    0 | xxxx     | 1900-01-01 00:00:00 |    2 | MazeXXXXlk | 135cceee17aa413f0616 |
|    0 | xxxx     | 1900-01-01 00:00:00 |    2 | PinkXXXXat | 9b65a456ac40a36b6bc6 |
+------+----------+---------------------+------+------------+----------------------+
4 rows in set (Elapsed: 00:00:00.01)

（2）修改mask属性

/* 以下sql使用gbase用户操作 */
-- 删除 
ALTER TABLE testdb.tb_masked ALTER age DROP masked;

-- 增加
ALTER TABLE testdb.tb_masked ALTER age MASKED WITH (FUNCTION = 'RANDOM(1,4)');

（3）验证函数及其它运算操作对脱敏列的影响

/* 为了更清晰的对比，增加两个未脱敏列 age_unmask、company_unmask，赋予与age、company相同的值 */
ALTER TABLE testdb.tb_masked ADD COLUMN age_unmask INT;
ALTER TABLE testdb.tb_masked ADD COLUMN company_unmask VARCHAR(50);
UPDATE testdb.tb_masked SET age_unmask = age;
UPDATE testdb.tb_masked SET company_unmask = company;

$ gccli -umasked -pmasked
gbase> SELECT age_unmask,age,age/20 FROM testdb.tb_masked WHERE age > 25;
+------------+------+--------+
| age_unmask | age  | age/20 |
+------------+------+--------+
|         30 |    4 | 0.0000 |
|         40 |    1 | 0.0000 |
|         35 |    2 | 0.0000 |
+------------+------+--------+
3 rows in set (Elapsed: 00:00:00.01)

gbase> SELECT company_unmask,company,SUBSTR(company,0,6) FROM testdb.tb_masked WHERE SUBSTR(company,0,1) = 'A';
+----------------+------------+---------------------+
| company_unmask | company    | substr(company,0,6) |
+----------------+------------+---------------------+
| Amazonworld    | AmazXXXXld | xxxx                |
| Apachescape    | ApacXXXXpe | xxxx                |
+----------------+------------+---------------------+
2 rows in set (Elapsed: 00:00:00.01)

gbase> SELECT age_unmask,age,CASE WHEN AGE >30 THEN 'H' ELSE 'L'END FROM testdb.tb_masked;
+------------+------+-----------------------------------------+
| age_unmask | age  | CASE WHEN AGE >30 THEN 'H' ELSE 'L'END  |
+------------+------+-----------------------------------------+
|         30 |    4 | L                                       |
|         25 |    3 | L                                       |
|         40 |    1 | H                                       |
|         35 |    3 | H                                       |
+------------+------+-----------------------------------------+
4 rows in set (Elapsed: 00:00:00.00)

当函数或其它运算操作于脱敏列时，按照不同的处理逻辑，脱敏规则的获取方式也不相同，由上示例，大概归纳如下：

• WHERE条件中、以及不直接返回脱敏列值时，返回按 未脱敏数据 进行判断的结果。
• SELECT中，直接返回脱敏列值时，
  （1）对脱敏列进行比较或者计算操作时，返回函数以default规则脱敏的结果；
  （2）其他操作，返回按脱敏列脱敏规则进行判断的结果；

总结

依据实际业务场景选用合适的脱敏规则，通过MASKED WITH(FUNCTION = ‘’)，对列数据进行动态脱敏，在用户权限上（unmask）控制用户对脱敏数据的访问。