面向自然语言处理的对抗攻防与鲁棒性分析综述 - 郑海斌, 陈晋音, 章燕, 张旭鸿, 葛春鹏, 刘哲, 欧阳亦可, 纪守领.pdf
免费下载
计 算 机 研 究 与 发 展
DOI
:
１０．７５４４∕issn１０００Ｇ１２３９．２０２１．２０２１０３０４
JournalofCom
p
uterResearchandDevelo
p
ment ５８
(
８
):
１７２７ １７５０
,
２０２１
收稿日期
:
２０２１
－
０４
－
０１
;
修回日期
:
２０２１
－
０５
－
２５
基金项目
:
国家自然科学基金项目
(
６２０７２４０６
);
浙江省自然科学基金项目
(
LY１９F０２００２５
);
宁波市
“
科技创新
２０２５
”
重大专项
(
２０１８B１００６３
)
Thisworkwassu
pp
ortedb
y
theNationalNaturalScienceFoundationofChina
(
６２０７２４０６
),
theNaturalScienceFoundationof
Zhe
j
ian
g
Province
(
LY１９F０２００２５
),
andthe Ma
j
orS
p
ecialFundin
g
for
“
Scienceand Technolo
gy
Innovation２０２５
”
in Nin
g
bo
(
２０１８B１００６３
)
．
通信作者
:
张旭鸿
(
zhan
g
xuhon
g
＠z
j
u．edu．cn
)
面向自然语言处理的对抗攻防与鲁棒性分析综述
郑 海 斌
１
陈 晋 音
１
,
２
章
燕
１
张 旭 鸿
３
葛 春 鹏
４
刘
哲
４
欧 阳 亦 可
５
纪 守 领
６
１
(
浙江工业大学信息工程学院
杭州
３１００２３
)
２
(
浙江工业大学网络空间安全研究院
杭州
３１００２３
)
３
(
浙江大学控制科学与工程学院
杭州
３１００６３
)
４
(
南京航空航天大学计算机科学与技术学院
南京
２１１１０６
)
５
(
华为技术有限公司南京研究所
南京
２１００２９
)
６
(
浙江大学计算机科学与技术学院
杭州
３１００６３
)
(
haibinzhen
g
３２０＠
g
mail．com
)
Surve
y
ofAdversarialAttack
,
DefenseandRobustnessAnal
y
sisforNatural
Lan
g
ua
g
eProcessin
g
Zhen
g
Haibin
１
,
ChenJin
y
in
１
,
２
,
Zhan
g
Yan
１
,
Zhan
g
Xuhon
g
３
,
GeChun
p
en
g
４
,
LiuZhe
４
,
Ou
y
an
g
Yike
５
,
andJiShoulin
g
６
１
(
Colle
g
eo
f
In
f
ormationEn
g
ineerin
g
,
Zhe
j
ian
g
Universit
y
o
f
Technolo
gy
,
Han
g
zhou
３１００２３
)
２
(
C
y
bers
p
aceSecurit
y
ResearchInstitute
,
Zhe
j
ian
g
Universit
y
o
f
Technolo
gy
,
Han
g
zhou
３１００２３
)
３
(
Colle
g
eo
f
ControlScienceandEn
g
ineerin
g
,
Zhe
j
ian
g
Universit
y
,
Han
g
zhou
３１００６３
)
４
(
Colle
g
eo
f
Com
p
uterScienceandTechnolo
gy
,
Nan
j
in
g
Universit
y
o
f
AeronauticsandAstronautics
,
Nan
j
in
g
２１１１０６
)
５
(
Nan
j
in
g
ResearchCenter
,
HuaweiTechnolo
g
iesCo
．
,
Ltd
．
,
Nan
j
in
g
２１００２９
)
６
(
Colle
g
eo
f
Com
p
uterScienceandTechnolo
gy
,
Zhe
j
ian
g
Universit
y
,
Han
g
zhou
３１００６３
)
Abstract Withthera
p
iddevelo
p
mentofartificialintelli
g
ence
,
dee
p
neuralnetworkshavebeenwidel
y
a
pp
liedinthefieldsofcom
p
utervision
,
si
g
nalanal
y
sis
,
andnaturallan
g
ua
g
e
p
rocessin
g
．Ithel
p
s
machines
p
rocessunderstandandusehumanlan
g
ua
g
ethrou
g
hfunctionssuchass
y
ntaxanal
y
sis
,
semanticanal
y
sis
,
andtextcom
p
rehension．However
,
existin
g
studieshaveshownthatdee
p
models
arevulnerabletotheattacksfromadversarialtexts．Addin
g
im
p
erce
p
tibleadversarial
p
erturbationsto
normaltexts
,
naturallan
g
ua
g
e
p
rocessin
g
modelscan make wron
g p
redictions．Toim
p
rovethe
robustnessofthenaturallan
g
ua
g
e
p
rocessin
g
model
,
defenseＧrelatedresearcheshavealsodevelo
p
edin
recent
y
ears．Basedontheexistin
g
researches
,
wecom
p
rehensivel
y
detailrelatedworksinthefieldof
adversarialattacks
,
defenses
,
and robustness anal
y
sis in natural lan
g
ua
g
e
p
rocessin
g
tasks．
S
p
ecificall
y
,
wefirstintroducetheresearchtasksandrelatednaturallan
g
ua
g
e
p
rocessin
g
models．
Then
,
attackanddefensea
pp
roachesarestatedse
p
aratel
y
．Thecertifiedrobustnessanal
y
sisand
benchmarkdatasetsofnaturallan
g
ua
g
e
p
rocessin
g
modelsarefurtherinvesti
g
atedandadetailed
introductionofnaturallan
g
ua
g
e
p
rocessin
g
a
pp
lication
p
latformsandtoolkitsis
p
rovided．Finall
y
,
we
summarizethedevelo
p
mentdirectionofresearchonattacksanddefensesinthefuture．
Ke
y
words dee
p
neuralnetwork
;
naturallan
g
ua
g
e
p
rocessin
g
;
adversarialattack
;
defense
;
robustness
摘
要
随着人工智能技术的飞速发展
,
深度神经网络在计算 机视觉
、
信号分 析和自 然语言 处理等 领域
中都得到了广泛应用
．
自然语言处理通过语法分析
、
语义分析
、
篇章理解等功能帮助机器处理
、
理解及运
用人类语言
．
但是
,
已有研究表明深度神经网络 容易受 到对抗 文本的 攻击
,
通过产 生不可 察觉的 扰动添
加到正常文本中
,
就能使自然语言处理模型 预测错 误
．
为了提 高模型 的鲁棒 安全性
,
近年来 也出现 了防
御相关的研究工作
．
针对已有的研究
,
全面地介绍自然语言处理攻防领域的相关工作
,
具体而言
,
首先介
绍了自然语言处理的主要任务与相关方法
;
其次
,
根据攻击和防御机制对自然语言处理的攻击方法和防
御方法进行分类介绍
;
然后
,
进一步分析自然语言处理模型的可验证鲁 棒性和 评估基 准数据 集
,
并提供
自然语言处理应用平台和工具包的详细介绍
;
最后总结面向自然语言处理 的攻防 安全领 域在未 来的研
究发展方向
．
关键词
深度神经网络
;
自然语言处理
;
对抗攻击
;
防御
;
鲁棒性
中图法 分类号
TP３９１
深度神经网 络
(
dee
p
neuralnetworks
,
DNNs
)
的突破性发展使其成为人工智能技术的重要分支之
一
,
在 图 像 识别
、
无 人 驾 驶
、
自 然 语 言处 理
(
natural
lan
g
ua
g
e
p
rocessin
g
,
NLP
)、
网络图谱分析
、
生物医
疗诊断等领域得到广泛应用
．
尤其是在
NLP
领域中
,
DNNs
被广泛应用在机器翻译
[
１
]
、
自动文本摘要
[
２
]
、
语音识别及文本转换
[
３
]
、
信息抽取与过滤
[
４
]
、
文本分
类与聚类
[
５
]
等任务中
．
与此同时
,
研究发现
DNNs
在
图像识别领域中 极 易受 到 对抗 性 扰动
[
６
]
的影 响
,
使
得
DNNs
预测错误
．
目前普遍认为
,
神经网络容易受
到对抗性扰动的主要原因在于它们在高维空间中的
线性行为
[
７
]
．
不仅计算机视觉 领域的
DNNs
容易 受 到攻 击
,
NLP
领域的
DNNs
(
即
NLP
模型
)
同样面 临着安 全
威胁
,
具体表现为
NLP
模型在使用过程中容易受到
精心制作的对 抗 文 本 的 干 扰
．
由 于 图 像 和 文 本 数 据
存在数据结构的内 在 差异
,
因此 并 不能 直 接将 图 像
上的攻击方法 直 接 应 用 到 文 本 数 据 中
．
针 对 图 像 数
据的扰动是人眼难以 察 觉的 像 素级 别 的微 小 变化
,
因此人类仍然可以正确地对受扰动的图像进行正确
分类而
DNNs
不行
．
但是对于文本的对抗性攻击
,
由
于语言阅读的习惯 和 前后 文 的逻 辑 关系
,
人类 此 时
也很难对攻击后的文 本进行 正确的 理解
．Jia
等人
[
８
]
首先提出了在处理 文 本任 务 的
NLP
模型 上 进行 对
抗文本生成
．
随 后 出 现 了 各 种 不 同 角 度 和 策 略 的 文
本对抗攻击方 法
,
例如
,
用相 似 的单 词 替换 单 词
[
９
]
、
添加额 外 的 文 本
[
１０
]
或 用 语 义 相 似 的 句 子 替 换 句
子
[
１１
]
等会生成无效的单词或语法错误 的句子
,
极大
地改变句子的语义从而实现攻击
．
在这种情况下
,
即
使人类也无法 提 供 正 确 的 预 测
．
这 些 潜 在 的 安 全 问
题引起了研究人员 极 大的 关 注
,
进而 提 出了 大 量的
攻击方法对
NLP
模型进行安全漏洞挖掘
．
同时
,
为了提 高
NLP
模型的 鲁棒性
,
目前 研 究
也提出了较多面向
NLP
的防御方法
,
主要包括对抗
训练
、
隐私保护防御和检测防御
３
类
．
对抗训练被认
为是目前最有效的 防 御方 法 之一
,
其基 本 思想 是 利
用攻击方法获得的对 抗 文本 与 正常 文 本进 行 混合
,
作为新的训练数据 集 对目 标 模型 进 行微 调 训练
;
但
是对抗训练的防御效 果 容易 受 到对 抗 样本 多 样性
、
数量以及微调 训 练 策 略 等 的 影 响
．
隐 私 保 护 防 御 主
要是针对
NLP
模型 容易 受 到隐 私 窃取 攻 击这 一 问
题所提出的解决方 案
,
主要 包 括针 对 数据 和 针对 模
型的隐私保护
,
前者是 避 免攻 击 者从 开 源数 据 集中
窃取用户的隐私信息
,
后者是保护预训练的
NLP
模
型的训练数据 隐 私 信 息 不 被 窃 取
．
检 测 防 御 的 主 要
功能是检测待处理 的 输入 数 据是 否 为对 抗 样本
,
通
常情况下对于失真严重的对抗样本具有较好的防御
效果
．
目前针对
NLP
模型的防御方法大多是后验的
、
被动的
,
对于未知攻击的防御效果难以保证
,
因此需
要进一步研究能够用理论证明的可验证的
NLP
模型
鲁棒评估方法
．
针对
NLP
模型的可验证鲁棒性方法
主要从模型的决策 边 界或 者 内部 结 构出 发
,
通过 计
算模型的可验证精度
、
最大扰动下界
、
最小扰动上界
等指标
,
实现为
NLP
模型在最坏情况下提供有效的
可计算形式的保证
,
达到可验证鲁棒性评估的目的
．
NLP
攻防领 域 的 研 究 工 作 还有 很大 的发 展空
间
,
针对
NLP
模 型 的 对 抗 文 本 生 成 问 题 以 及 模 型
８２７１
计算机研究与发展
２０２１
,
５８
(
８
)
of 24
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论