双标签监督的几何约束对抗训练- 曹刘娟，匡华峰，刘弘，王言，张宝昌，黄飞跃，吴永坚，纪荣嵘.pdf

上善若水

516

13页

0次

2022-05-19

免费下载

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn

Journal of Software, 2022,33(4):1218−1230 [doi: 10.13328/j.cnki.jos.006477] http://www.jos.org.cn

双标签监督的几何约束对抗训练

∗

曹刘娟

匡华峰

刘

弘

王

言

张宝昌

黄飞跃

吴永坚

纪荣嵘

(厦门大学信息学院人工智能系媒体分析与计算实验室, 福建厦门 361005)

(National Institute of Informatics, Tokyo 101-8430, Japan)

(Pinterest, Seattle, WA 98101, USA)

(北京航空航天大学人工智能研究院, 北京 100191)

(腾讯优图实验室, 上海 200030)

通信作者: 匡华峰, E-mail: skykuang@stu.xmu.edu.cn

摘要: 近年来的研究表明, 对抗训练是一种有效的防御对抗样本攻击的方法. 然而, 现有的对抗训练策略在提

升模型鲁棒性的同时会造成模型的泛化能力下降. 现阶段主流的对抗训练方法通常都是独立地处理每个训练样

本, 而忽略了样本之间的关系, 这使得模型无法充分挖掘样本间的几何关系来学习更鲁棒的模型, 以便更好地防

御对抗攻击. 因此, 重点研究如何在对抗训练过程中保持样本间的几何结构稳定性, 达到提升模型鲁棒性的目的.

具体而言, 在对抗训练中, 设计了一种新的几何结构约束方法, 其目的是保持自然样本与对抗样本的特征空间分

布一致性. 此外, 提出了一种基于双标签的监督学习方法, 该方法同时采用自然样本和对抗样本的标签对模型进

行联合监督训练. 最后, 分析了双标签监督学习方法的特性, 试图从理论上解释对抗样本的工作机理. 多个基准

数据集上的实验结果表明: 相比于已有方法, 该方法有效地提升了模型的鲁棒性且保持了较好的泛化精度. 相关

代码已经开源: https://github.com/SkyKuang/DGCAT.

关键词: 深度学习; 模型鲁棒性; 对抗训练; 几何约束; 双标签监督

中图法分类号: TP181

中文引用格式: 曹刘娟, 匡华峰, 刘弘, 王言, 张宝昌, 黄飞跃, 吴永坚, 纪荣嵘. 双标签监督的几何约束对抗训练. 软件学

报, 2022, 33(4): 1218–1230. h ttp://www.jos.org.cn/1000-9825/6477.htm

英文引用格式: Cao LJ, Kuang HF, Liu H, Wang Y, Zhang BC, Huang FY, Wu YJ, Ji RR. Towards Robust Adversarial Training via

Dual-label Supervised and Geometry Constraint. Ruan Jian Xue Bao/Journal of Software, 2022, 33(4): 1218−1230 (in Chinese).

http://www.jos.org.cn/1000-9825/6477.htm

Towar ds Robus t Adversarial Training via Dual-label Supervised and Geometry Constraint

CAO Liu-Juan

, KUANG Hua-Feng

, LIU Hong

, WANG Yan

, ZHANG Bao-Chang

, HUANG Fei-Yue

WU Yong-Jian

, JI Rong -Rong

(Media Analytics and Computing Laboratory, Department of Artificial Intelligence, School of Informatics, Xiamen University, Xiamen

361005, China)

(National Institute of Infor matics, Tokyo 101-8430 , Japan)

(Pinterest, Seattle, WA 98101, USA)

(Beihang University, Institute of Artifici al Intelligence, Beijing 100191 , China)

(Tencent YouTu Lab, Shanghai 200030, China)

∗ 基金项目: 国家杰出青年科学基金(6 2025603); 国家自然科学基金(U1705262, 62072386, 62072387, 62072389, 62002305,

61772443, 61802324 61702136); 广东省基础与应用基础研究基金(2019B1515120049); 中央高校基本科研业务费

(20720200077, 20720200090, 20720200091)

本文由“面向开放场景的鲁棒机器学习”专刊特约编辑陈恩红教授、李宇峰副教授、邹权教授推荐.

收稿时间: 2021-05-30; 修改时间: 2021-07-16; 采用时间: 2021-08-27; jos 在线出版时间: 2021-10-26

曹刘娟等: 双标签监督的几何约束对抗训练

1219

Abstra ct : Recent studies have shown that adversarial training is an effective method to defend against adversarial example attacks.

However, such robustness comes with a price of a larger generalization gap. To this end, existing endeavors mainly treat each training

example independently, which ignores th e geometry relationship between inter-samples and does not take the defending capability to the

full potential. Different from existing works, this study focuses on improving the robustness of the neural netw ork model by aligning the

geometric information of inter-samples to make the feature spatial distribution structure between the natural and adversarial samples is

consistent. Furthermore, a dual-label supervised method is proposed to leverage true and wrong labels of adversarial example to jointly

supervise th e adversarial learning process . The charact eristics of the du al-label su pervised l earning meth od are anal yzed and it is tr ied to

explain the working mechanism of the adversarial example theoretically. The extensive experiments have been conducted on benchmark

datasets, which well demonstrates that the proposed approach effectively improves the robustness of the model and still keeps the

generalization accuracy. Code is available: https://github.com/SkyKuang/DGCAT.

Key words: deep learning; model robustness; adversarial training; geometry constraint; dual label supervised

近年来, 深度神经网络已经在各种领域任务中取得了巨大的成功, 如目标识别

[1]

、语音翻译

[2]

、强化学

习

[3]

等. 然而, 研究表明, 基于传统训练方法的深度神经网络模型容易受到对抗样本的攻击

[4−7]

. 攻击者通过

合成对抗样本来使神经网络模型预测出错, 使得模型无法提供正常的服务. 研究

[8−10]

表明: 基于深度神经网

络模型的对抗缺陷是具有普遍性的, 它与模型的网络结构和任务无关. 这种缺陷严重限制了深度神经网络在

一些需要较高安全性的场景中的应用. 因此, 如何通过机器学习方法获得一个良好鲁棒性的深度神经网络模

型, 已成为当下亟需解决的重要问题.

为了抵御对抗样本的攻击, 研究者们已经提出了大量的防御策略和算法来提升模型的鲁棒性

[11−14]

. 然而,

大部分防御方法都无法做到一劳永逸, 每当新的防御方法被提出时, 攻击者可以通过分析相关的防御策略并

提出对应的攻击算法, 进而导致新的防御方法被新的攻击算法所攻破. 截至目前, 对抗训练

[11,15]

防御策略被

公认为是一种较完备的防御方法, 它能抵御目前主流的大多数攻击算法. 因此, 大量的研究者通过研究对抗

训练来提升神经网络模型的鲁棒性.

当前, 在模型训练过程中, 对抗训练方法往往是相对独立地处理每个训练样本, 此做法忽略了样本间的

几何结构关系. 本文认为: 样本间几何结构的稳定性, 是抵御对抗样本攻击的重要因素之一. 换而言之, 对于

一个鲁棒性模型, 自然样本间的几何结构关系应该与其对应的对抗样本间的几何结构关系是一致的. 也就是,

合成的对抗样本应具有与自然样本相同的特征空间结构, 这能够保证数据分布的一致性. 因此, 本文的第一

个核心贡献是探索并设计了两种新的空间几何度量约束, 即空间距离约束和相对角度约束, 旨在度量样本在

特征空间中几何结构的匹配程度. 此外, 为了得到更好的模型泛化能力, 本文提出了一种双标签联合监督学

习方法. 该方法充分利用自然样本的正确标签以及对抗样本的错误标签对模型训练过程进行联合监督, 使模

型学到对抗样本中的鲁棒性特征和自然样本中的非鲁棒性特征(即泛化特征). 最后, 本文将几何度量约束和

双标签监督学习方法融合到一个端到端的训练框架中, 称为双标签几何约束对抗训练, 整个框架如图 1 所示.

图 1 双标签几何约束对抗性训练流程图, 通过最大化自然样本和对抗样本之间的几何度量

来生成对抗样本用于对抗训练; 通过最小化双标签损失来更新模型参数

对抗流形

正常流形

真实标签

′

对抗标签

d′

ijk

′

′′

′

F(x

′

)

F(x′)

S(x′)

最大化L

norl

adv

)

adv

最小化L

Dual_Label

of 13

免费下载

软件学报计算机技术

关注

评论