满足差分隐私约束的深度学习系统详解

在文章《差分隐私的定义、直观理解与基本性质》中，我们简单介绍了欧盟隐私保护条例，即个人对数据具有知情权，拒绝权，修正与遗忘权，以及对于自动决策过程的选择权。差分隐私对于数据分析过程提出了严格的隐私保护定义，即对于数据库数据的任何分析，以及根据分析结果与其他信息进行的进一步的合并加工，都不会泄露个人隐私。通俗而言，就是对于任何数据分析员，要求分析员在对数据库进行分析后，对数据库中每一个个体的了解不会超过其在分析开始之前的了解。差分隐私的基本原理是控制单个数据对于整个分析结果的影响，对于简单的数据处理过程（如计算平均工资，统计性别比例），通过在数据分析结果中增加高斯噪声，可以令数据分析的机制满足差分隐私的约束。但是，对于需要多轮训练的复杂深度学习系统，构建差分隐私保护则更为困难。本文主要介绍基于高斯机制的差分隐私深度学习系统：通过在训练过程中施加高斯噪声，构建满足差分隐私要求的深度学习训练系统，并对所得深度模型计算隐私开销。此外，我们也将以Opacus这一基于pytorch的差分隐私训练库为例进行代码讲解。

本文主要参考的文献为

1. A Tutorial to Differentially Private Machine Learning, Neurips17

2. Deep learning with differential privacy

3. Rényi differential privacy

4. Subsampled Rényi Differential Privacy and Analytical Moments Accountant

5. Rényi Differential Privacy of the Sampled Gaussian Mechanism

6. The Composition Theorem for Differential Privacy

7. Introducing Opacus: A high-speed library for training PyTorch models with differential privacy

8. A general approach to adding differential privacy to iterative training procedures

差分隐私深度学习系统的基本框架

深度学习的训练与推断流程通常由四步组成：构建深度模型并初始化模型参数；输入训练数据并计算梯度；用梯度下降法更新模型直到收敛；将收敛的模型用于数据预测。最直接的隐私保护方法是对模型预测直接添加噪声，由于深度学习的模型参数非常容易获取，因此仅仅在预测阶段添加噪声往往无法达到隐私保护的目的。利用差分隐私的传递性特征，即对于满足  的随机算法  ，对其结果进行任何形式的处理所构成的新算法  同样满足  ，可得对深度学习系统添加差分隐私的环节应当尽量靠前。然而，在数据集上直接增加噪声往往会使得数据集本身变得脏而不可用（想象一下需要令两张照片的统计信息不可分辨所需要的噪声尺度）。另一个想法是在训练好的模型参数上直接添加噪声，即  ，利用高斯机制，添加噪声后的参数也具备差分隐私的特性，该特性可以传递到所有的后续推断过程。但是，深度神经网络是一个对参数非常敏感的黑箱，直接对训练好的参数添加高斯噪声会使得整个算法完全失效，因此差分隐私机制需要在训练过程中加入。通过在训练过程中对梯度进行裁剪并添加高斯噪声，可以保证训练过程的差分隐私性质。

首先，我们定义深度学习系统中的差分隐私如下：

(Definition 1. Differential Privacy in Deep Training System) 记数据集为  ，深度学习的模型参数为  ，由所有  的子集组成的训练数据库记为  ，参数空间为  。一个具有随机性质的深度学习训练机制将训练数据集作为输入，采用梯度下降法进行训练，输出训练后的参数，记作  。我们称这一训练机制满足  ，如果对于任意两个毗邻的训练集  , 以及任何参数范围  ，其输出的参数分布满足：

在该定义下，数据集中的单个数据对于模型的影响被控制在一定的范围内，实现了在模型层面对于差分攻击的“不可分辨性”。此外，为了叙述方便，我们提前引入差分隐私的一个变种——Rényi Differential Privacy (RDP)。我们将在计算隐私开销时体会到RDP的威力。

(Definition 2. Rényi Differential Privacy in DL-system) 对于Definition 1中所述的训练机制  ，用  表示在训练集  上训练所得结果为  的概率密度，即  。我们称训练机制  对于所有的  满足  ，如果对于所有可能的相邻训练集  满足

(Proposition 1. From RDP to DP) RDP和DP可以进行直接转换，如果训练机制  服从  ，那么对于所有的  ，  服从  。

在深度学习的训练中，模型参数采用梯度下降法进行更新，即

其中  是随机初始化参数。梯度是利用输入数据直接进行计算的结果，也是模型参数进行更新的主要运算，因此在梯度上施加差分噪声是自然的事情。为了控制个体数据的影响，文献[1]利用高斯机制对梯度施加差分隐私。高斯机制的定义如下：

(Definition 3. Gaussian Mechanism) 假设存在一个确定函数  ，敏感度为  ，那么对于任意的  ，给定随机噪声服从正态分布  ，那么随机算法  服从  ，其中

利用高斯机制，我们对梯度分三个步骤增加差分噪声：首先，对每一个样本对应的梯度裁剪到一个固定范围  ，以控制个体数据的影响，此时梯度的敏感度

然后，对裁剪后的梯度增加高斯噪声  ，以得到满足差分隐私的梯度数据。最后，用这些梯度更新模型，并计算模型的隐私损失。记噪声乘子(noise multiplier)为  ，那么该训练系统服从  的条件为

完整算法如下图所述：

模型一共进行了  轮训练，在每轮训练中，对训练集的每一个样本计算梯度，进行裁剪加噪，最后用满足差分隐私的梯度  进行参数更新。当  满足  中所述的条件时，对于第  轮所选择的训练集，所得的参数  满足  。注意到该算法引入了一个新的过程，子采样(subsample)，即在每一轮的训练集是整个训练集的一个子集，通过概率为  的不放回采样进行选取。一个普遍的结论是，随着采样率的增加，训练时长变为  倍，但是隐私界与  成正比，因此subsample操作可以用采样率对差分隐私进行amplify，从而降低隐私损失。此外，由于模型要进行  轮训练，如何计算  轮训练的总和隐私损失也是一个关键问题。我们就Subsample与Composition两个问题进行描述。

Subsample：用采样率对隐私进行Amplify，降低差分隐私损失

在深度学习的训练过程中，由于数据量比较大，我们往往采用基于随机采样的梯度下降法，即每次选取一个Batch，在该Batch上计算平均梯度，采用它们的平均梯度进行梯度下降。那么，这种基于采样的方法对隐私损失会有什么样的影响呢？我们先不加证明地给出一个结论，即采样会增强隐私保护的力度，降低隐私损失。首先对Subsample给出如下的定义：

(Definition 4. Subsample) 给定一个含有  个样本的数据集  ，Subsample操作对于  的所有大小为  的子集以等概率进行一次无放回采样，记  为采样率。

考虑先对数据集  进行Subsample，然后在子集上用具有差分隐私性质的训练机制  进行训练，文献[4]指出了如下结论：如果训练机制  在训练集上满足  ，那么  对于整个数据集  满足  ，其中

当  很小的时候，我们有  ，是  的小阶，此时虽然模型需要的训练轮次变多了，但是从整体而言，模型的隐私损失变小了。对于Rényi Differential Privacy，文献[3,4,5]都对高斯机制的Subsample进行了研究，提出了更紧的基于Subsample的隐私损失，如下所述：

在这些Bound中，某些情况下  会成为  的小阶，这大大减少了隐私损失。

Composition Theorem：计算整个训练系统的差分隐私损失

深度学习系统在经过一轮由Subsample，梯度计算，梯度裁剪，高斯加噪组成的训练后，得到了一组满足  的参数  ，然后将  作为新的初始参数进行下一轮训练。经过  轮训练后，模型收敛。假设整个训练过程是公开的，即从第一到第  轮的所有模型参数都是可以获取的，那么如何去判断整个训练机制的隐私损失呢？这就是Composition Theorem所解决的问题，它用于计算整个训练系统的差分隐私损失。一个直觉是，一个由  个满足  DP的机制  所组成的队列系统  的隐私损失至多是  。这个损失界是否可以进一步减少呢？Strong Composition Theorem提出，T个机制进行Composition后，隐私损失变为  ，其中

一般而言我们取  。结合Subsample定理，当  时，Strong Composition给出了  的隐私损失。但是这个隐私损失与  相关，当  很小时，该损失变得非常大。因此，文献[2]提出了一个在深度学习的训练过程中计算总隐私损失的有效方法，即矩会计方法（Moments Accountant），它将Composition的隐私损失界降低到了  ，是广泛采用的隐私损失界。该隐私损失界的基本思想是将每一轮训练的隐私损失看成随机变量，而将总隐私损失看成是各轮随机变量的加和分布，通过计算随机变量的矩生成函数（moment generating function），得到更精准的隐私界。该方法最终可以归结为RDP的计算，并且在高斯机制下具有解析解，我们对其进行详细的介绍。

对于  时刻的训练机制  ，差分隐私的目标是令其在相邻数据库上得到的参数  的分布尽量相似，即对于所有的相邻训练集  ，要求

因此，我们对  的性质展开研究。依据文献[2]的思路，  时刻的训练机制接收  时刻的参数  ，采用随机梯度下降法在训练集上进行训练，因此我们如下定义随机变量  为

简写为  此时，对于由  这K个训练机制所组成的训练系统  。注意到训练机制在不同时刻间的输出参数分布独立：

因此，训练系统  的隐私随机变量可以由多个时刻的隐私随机变量的加和Composition来进行表示：

那么，如何利用隐私随机变量  来刻画隐私损失呢？如何将其联系到差分隐私呢？如果在  相邻数据集上训练机制的输出参数分布完全一致，那么对于任意的相邻数据集，  的估计都应当趋向于0，也就是说随机变量的一阶矩（  ），二阶矩（  ）以至  阶矩都应当在0附近，因此我们可以用随机变量  的矩的大小来衡量隐私损失。考虑  的对数矩生成函数（Moment Generating Functions，基本介绍见附录）:

此外，利用  式的独立性，当对由  个训练轮次构成的训练系统  而言，它的对数矩生成函数也具有求和性质，即

因为差分隐私界需要遍历所有的相邻数据集  ，因此我们记

利用最大值的性质，我们有  。此外，注意到

因此，  可以与RDP进行直接联系，进而可以扩展到  ，我们有：

(Proposition 2 Moments Accountant and RDP) 对于任意的  ，在时刻具有随机性的训练机制  满足  ，而整个训练系统  则至少具有  。

(Proposition 3 From Moments Accountant to   )利用Proposition 1中从RDP到DP的转换，以及Proposition 2中从Moments Accountant到 RDP的转换，我们有如下结论：

• 在  时刻具有随机性的训练机制  满足  

• 给定  ，则最佳的  取值为：

    

• 给定  ，则最佳的  取值为

    

利用Proposition 3，我们可以从概率角度对差分隐私进行新的理解：给定相邻数据集  ，记  为关联隐私损失的随机变量，则整个训练过程的差分损失随机变量为  ，此时对于满足Proposition 3要求的  ，则对于任意相邻数据库  ，以及任意  ，我们都有

  

也就是说，此时  可以理解为，整个训练过程的差分损失随机变量为  大于  的概率小于  。它的直观含义为，对于一个数据量为  的数据库，我们可以构造  组相邻子数据库  。对于每一组相邻子数据库我们都可以计算对应的度量隐私损失的矩生成函数值  。遍历所有的相邻子数据库，大概只有比率为  的数据库会导致该隐私损失函数值大于  。

在上文中，我们讨论了整个训练系统的差分隐私损失计算，并介绍了Moments Accountant这一具备很多良好性质的武器。但是，  的计算需要遍历整个数据集，这种计算成本是不可接受的。此外，采样率在隐私计算中起到了隐私增幅，减小隐私损失的作用，这也需要在Moments Accountant的计算中得到广泛考虑。对于高斯噪声，文献[2]提出了一种广泛使用的计算Moments Accountant的方法，如下所述：

(Proposition 4. Calculations of Moments Accountant with Gaussian Mechanism) 考虑具有随机Subsample的高斯机制，其中高斯机制的噪声乘子(noise multiplier)为方差  与梯度范围  的比值  。记采样率为  ，令  为分布  的概率密度函数，  为分布  的概率密度函数，令  ，那么结合文献[2,5]的结论，我们有

注意到此时  对于给定的采样率  以及噪声乘子  是一个固定的数值，这也就是说，对于任何的神经网络模型与任何数据集，采用基于Subsample的高斯机制的隐私损失的上界都是一样的。对于整数  ，  式可以写成

此时，对于任意正整数  ，  具有解析解为

将其代入则可得到  的数值解。对于非整数的  ，我们可以直接进行数值积分，或者采用基于插值的估计方法。文献[4]提出了一个利用  的向下取整  与向上取整  构造估计值，即

此外，文献[2]还给了一个近似上界，即

综上所述，对于一个使用高斯机制的深度学习训练系统，计算隐私损失大概可以分为三步（这也是Tensorflow的Moments Accountant官方库中的计算方法）：

1. 确定给定的噪声乘子  ，梯度裁剪系数  以及采样率  。

2. 对某个范围的  计算  式。一般而言，我们对所有的整数  ，计算  ，并列表记录。

3. 确定  的数值，一般为0.01，然后使用Proposition 3，对表中所有的  对计算最佳的  ，然后得出整个训练系统的隐私损失。

文献[2]在MNIST和Cifar上都进行了实验，比较基于Moments Accountant的方法与Strong Composition定理在隐私界上的扩展，以及各个参数对模型性能的影响，如下所述：

Opacus库：基于Pytorch框架的隐私保护库

Opacus是一个高性能，高速的用于训练具有差分隐私的PyTorch模型的函数库。Opacus库提供了主要类函数PrivacyEngine
，作用于Pytorch中提供的优化器optimizer
上，主要代码如下所示：

model = Net()
optimizer = torch.optim.SGD(model.parameters(), lr=0.05)
privacy_engine = PrivacyEngine(
   model,
   batch_size=32,
   sample_size=len(train_loader.dataset),
   sample_rate = 0.01,
   alphas=range(2,32),
   noise_multiplier=1.3,
   max_grad_norm=1.0,
)
privacy_engine.attach(optimizer)

其中，PrivacyEngine
以torch.Module
作为模型输入，alpha
是RDP中所使用的  ，也是计算Moments Accountant所用的  范围，如上文中所述，主要取  ；noise_multiplier
是高斯机制中的  ；max_grad_norm
是梯度裁剪范围  ；sample_size
确定了数据总量  ；而batch size
与sample_rate
用于计算采样率  以及更新的最小数据量  。其中，模型每次采样一个batch_size
大小的数据，在上面计算梯度，最后将多个batch
汇总成一个Lots
进行梯度加噪与参数更新，即L = sample_size*sample_rate
，此时q=sample_rate
。注意sample rate
是一个可选参数，如果不给定sample rate
，那么模型就会令Lots=batch_size
，此时模型每次计算完一个Batch就进行梯度更新。

此外，为了计算隐私开销，Opacus提供了get_privacy_spent
函数，它在给定  后，利用Moments Accountant遍历  ，计算最佳的  ，并给出此时  的取值：

epsilon, best_alpha = optimizer.privacy_engine.get_privacy_spent(delta)

训练过程主要采用高斯噪声对梯度进行加噪，噪声方差为  ，生成函数如下所示：

def _generate_noise(
    engine, max_grad_norm: float, grad: torch.Tensor
) -> torch.Tensor:
    if engine.noise_multiplier > 0 and max_grad_norm > 0:
        return torch.normal(
            0,
            engine.noise_multiplier * max_grad_norm,
            grad.shape,
            device=engine.device,
            generator=engine.random_number_generator,
        )
    return torch.zeros(grad.shape, device=engine.device)

训练过程中的Subsample与MiniBatch

在DP-SGD的实现算法中，模型参数更新以Lots
为单位，即在所有的训练集中按比率  选取一个Lots
，然后对于Lots
中的每个样本计算梯度，然后汇总梯度依次进行gradient clip
、noise adding
以及SGD
。但是，在常见训练过程中，我们往往以batch
为单位计算梯度并进行模型更新。虽然我们确实可以将Lots
的大小设置为与batch size
等同，此时q
无限趋向于0（当然这其实也没有什么大问题，也是一个常见的设置），但是在某些场景下，q
并不是越小越好。比如，提前依据下文中公式  的情景，当  太小时，对每一个Lots
所增加的噪声方差都会很大，因此我们往往会将Lots
的大小设置为batch size
的若干倍。为了在这种场景下进行更新，Opacus
引进了virtual_step
函数，它只会对当前batch
的梯度进行gradient clip
，并将裁剪后的梯度向量放入一个容器，在汇总k个batch
后，对于整个Lots
的数据再调用step
函数进行更新，它将存储在容器中的梯度依据k*batch_size
计算平均值并调用SGD
。基本代码如下所示：

Example:
Imagine you want to train a model with batch size of 2048, but you can only
fit batch size of 128 in your GPU. Then, you can do the following:
>>> for i, (X, y) in enumerate(dataloader):
>>>     logits = model(X)
>>>     loss = criterion(logits, y)
>>>     loss.backward()
>>>     if i % 16 == 15:
>>>         # accumulate the gradients of a lot and perform SGD.
>>>         optimizer.step()    
>>>         optimizer.zero_grad()
>>>     else:
>>>         # store the gradients into a gradient accumulator
>>>         optimizer.virtual_step()   # this will call privacy engine's virtual_step()

对模型参数进行分组裁剪与加噪

差分隐私模块需要对计算后的参数梯度进行裁剪并增加高斯噪声。但是，深度模型的参数所提取的特征与层数有关，不同层对应不同尺度的特征，也对应不同尺度的梯度和方差（如深度卷积网络的浅层提取纹理特征，深层提取语义特征）。因此，对于参数进行分组，对每一个组的梯度单独采用一组  添加噪声，然后进行梯度下降法是一个直观且符合逻辑的想法。那么，如何进行分组加噪，以及分组加噪后的模型满足什么样的差分隐私界呢？文献[8]对这一问题进行了具体的研究，并提出了一个在各个差分隐私框架下广泛使用的加噪方法。

首先，我们将模型参数  分为  组，则在训练过程中对应的参数梯度记为  。我们表示裁剪范围为  的裁剪函数为  。对于一个Lots
的L个训练数据，我们记第  个数据的训练梯度为  ，考虑对所有梯度  采用  作为参数的DP-SGD过程：