机器学习的安全问题及隐私保护 - 魏立斐, 陈聪聪, 张蕾, 李梦思, 陈玉娇, 王勤.pdf
免费下载
计 算 机 研 究 与 发 展
DOI
:
１０．７５４４∕issn１０００Ｇ１２３９．２０２０．２０２００４２６
JournalofCom
p
uterResearchandDevelo
p
ment ５７
(
１０
):
２０６６２０８５
,
２０２０
收稿日期
:
２０２０
－
０６
－
１０
;
修回日期
:
２０２０
－
０７
－
２８
基金项目
:
国家自然科学基金项目
(
６１９７２２４１
,
６１８０２２４８
,
６１６７２３３９
);
上海市自然科学基金项目
(
１８ZR１４１７３００
);
上海 海洋大 学骆肇 荛科技 创
新基金项目
(
A１Ｇ２００４Ｇ２０Ｇ２０１３１２
)
Thisworkwassu
pp
ortedb
y
theNationalNaturalScienceFoundationofChina
(
６１９７２２４１
,
６１８０２２４８
,
６１６７２３３９
),
theNatural
ScienceFoundationofShan
g
hai
(
１８ZR１４１７３００
),
andtheLuoZhaoraoScienceandTechnolo
gy
InnovationFundofShan
g
haiOcean
Universit
y
(
A１Ｇ２００４Ｇ２０Ｇ２０１３１２
)
．
通信作者
:
张蕾
(
Lzhan
g
＠shou．edu．cn
)
机器学习的安全问题及隐私保护
魏 立 斐
陈 聪 聪
张
蕾
李 梦 思
陈 玉 娇
王
勤
(
上海海洋大学信息学院
上海
２０１３０６
)
(
Lfwei＠shou．edu．cn
)
Securit
y
IssuesandPrivac
y
Preservin
g
in MachineLearnin
g
WeiLifei
,
ChenCon
g
con
g
,
Zhan
g
Lei
,
LiMen
g
si
,
ChenYu
j
iao
,
andWan
g
Qin
(
Colle
g
eo
f
In
f
ormationTechnolo
gy
,
Shan
g
haiOceanUniversit
y
,
Shan
g
hai
２０１３０６
)
Abstract Inrecent
y
ears
,
machinelearnin
g
hasdevelo
p
edra
p
idl
y
,
anditiswidel
y
usedintheas
p
ects
ofworkandlife
,
whichbrin
g
snotonl
y
conveniencebutalso
g
reatsecurit
y
risks．Thesecurit
y
and
p
rivac
y
issueshavebecomeastumblin
g
blockinthedevelo
p
mentofmachinelearnin
g
．Thetrainin
g
andinferenceofthe machinelearnin
g
modelarebasedonalar
g
eamountofdata
,
whichalwa
y
s
containssomesensitiveinformation．Withthefre
q
uentoccurrenceofdata
p
rivac
y
leaka
g
eeventsand
thea
gg
ravationoftheleaka
g
escaleannuall
y
,
howtomakesurethesecurit
y
and
p
rivac
y
ofdatahas
attractedtheattentionoftheresearchersfromacadem
y
andindustr
y
．Inthis
p
a
p
erweintroducesome
fundamentalconce
p
tssuchastheadversar
y
modelinthe
p
rivac
yp
reservin
g
ofmachinelearnin
g
and
summarizethecommonsecurit
y
threatsand
p
rivac
y
threatsinthetrainin
g
andinference
p
haseof
machinelearnin
g
,
suchas
p
rivac
y
leaka
g
eoftrainin
g
data
,
p
oisonin
g
attack
,
adversarialattack
,
p
rivac
y
attack
,
etc．Subse
q
uentl
y
,
weintroducethecommonsecurit
yp
rotectin
g
and
p
rivac
yp
reservin
g
methods
,
es
p
eciall
y
focusin
g
onhomomor
p
hicencr
yp
tion
,
securemultiＧ
p
art
y
com
p
utation
,
differential
p
rivac
y
,
etc．andcom
p
arethet
yp
icalschemesanda
pp
licablescenariosofthethreetechnolo
g
ies．At
theend
,
thefuturedevelo
p
menttrendandresearchdirectionofmachinelearnin
gp
rivac
yp
reservin
g
are
p
ros
p
ected．
Ke
y
words machinelearnin
g
;
p
rivac
yp
reservin
g
;
securit
y
threat
;
securemultiＧ
p
art
y
com
p
utation
;
homomor
p
hicencr
yp
tion
;
differential
p
rivac
y
摘
要
近年来
,
机器学习迅速地发展
,
给人们 带来便 利的同 时
,
也带来 极大的 安全隐 患
．
机器学 习的安
全与隐私问题已经成为其发展的绊脚石
．
机器学习模型的训练和预测均是基于大量的数据
,
而数据中可
能包含敏感或隐私信息
,
随着数据安全与隐私泄露事件频发
、
泄露规模连年 加剧
,
如何保 证数据 的安全
与隐私引发科学界和工业界的广泛关注
．
首先
,
介绍了 机器学 习隐私 保护中 的敌手 模型的 概念
;
其次总
结机器学习在训练和预测阶段常见的安全及隐私威胁
,
如训练数据的隐私泄露
、
投毒攻击
、
对抗攻击
、
隐
私攻击等
．
随后介绍了常见的安全防御方法 和隐私 保护方 法
,
重点介 绍了同 态加密 技术
、
安全多 方计算
技术
、
差分隐私技术等
,
并比较了典型的方案及
３
种技术的适用场景
．
最后
,
展望机器学习隐私保护的未
来发展趋势和研究方向
．
关键词
机器学习
;
隐私保护
;
安全威胁
;
安全多方计算
;
同态加密
;
差分隐私
中图法 分类号
TP３０９
依托于云计 算
、
物联 网
、
大数 据 技术 的 发展
,
以
数据挖掘和深度学习为代表的人工智能技术正在改
变人类社会生活
,
并成 为 先进 科 技应 用 的代 表 和社
会关注的热点
．
作为引领未来的战略性技术
,
人工智
能技术被世界各国 纷 纷提 升 为发 展 国家 竞 争力
、
维
护国家安全的重大战略
．
机器学习 是一种 实现人 工智能 的方式
,
是近些
年主要研究的 领 域
．
目 前 机 器 学 习 方 案 在 很 多 领 域
都有着成熟的应 用
,
如天 气 预报
、
能源 勘 探
、
环境 监
测等
,
通过收集相关数据进行分析学习
,
可以提高这
些工作的准确性
;
还有如在垃圾邮件检测
、
个性化广
告推荐
、
信用卡欺诈检测
、
自动驾驶
、
人脸识别
、
自然
语言处理
、
语音识别
、
搜索 引 擎的 优 化等 各 个领 域
,
机器学习都扮演着重要的角色
．
然而
,
蓬勃发展的机
器学习技术 使数 据安 全与 隐私 面 临 更 加 严 峻 的 挑
战
,
因为机器学习的 更 精准 模 型需 要 大量 的 训练 数
据为支撑
．
自
２０１３
年斯诺登的
“
棱镜
”
事件以来
,
全球信息
泄露规模连年加剧
,
引起社会的广泛关注
．２０１６
年
９
月
Yahoo
被曝出 曾 被 黑 客 盗 取了 至少
５
亿 个 用 户
账号信息
;
２０１７
年微软
Sk
yp
e
软件服 务遭受
DDOS
攻击
,
导 致 用 户无 法通 过平 台进 行通 信
;
２０１８
年
３
月美国
«
纽约时报
»
和英国
«
卫报
»
均报 道
:
剑桥 分 析
(
Cambrid
g
eAnal
y
tica
)
数据分析公司在未经用户许
可的情况下
,
盗用了高达
５
千万个
Facebook
的用户
个人资料
[
１
]
．２０１９
年美国网络安全公司
U
p
Guard
发
现上亿条 保 存 在 亚 马 逊
AWS
云 计 算 服 务 器 上 的
Facebook
用户信 息 记 录
,
可 被 任 何人 轻易 地获 取
;
IBM
在 未 经 当 事 人 许 可 的 情 况 下
,
从 网 络 图 库
Flickr
上获得了 接 近
１００
万 张 照 片
,
借 此 训 练人 脸
识别程 序
,
并 与 外 部研 究人 员分 享
[
２
]
．２０２０
年
４
月
«
华盛顿邮报
»
报道视频会议软件
Zoom
存在的重大
安全漏洞
:
数以 万计 的 私 人
Zoom
视 频 被 上 传 至 公
开网页
,
任何人都可在线围观
,
很多视频都包含个人
可识别信息
,
甚至是在家里进行的私密谈话
[
３
]
．
信息
泄露的途径主要分为内部人员或第三方合作伙伴泄
露
、
信息系统无法杜绝的漏洞
、
机构本身的防护机制
不健全
、
对数据的重要程度不敏感
,
以及对安全配置
的疏忽大意等
．
可见
,
数据隐私的泄露已不单单是 满
足某些外部人员好 奇 心所 驱 使
,
而是 已 成为 一 种重
要的商业获利而被广泛关注
,
其中不乏内外勾结
、
合
谋获取用户的隐私等行为
．
由此可见
,
机器学 习中的 安全与 隐私问 题已经
非常严重
．
目前
,
研究人员提出了许多解决机器学习
中的隐私问题 的 方 法
．
本 文 将 全 面 介 绍 机 器 学 习 中
的安全问题和隐私威胁
,
并重点介绍隐私保护方法
．
１
机器学习及敌手模型
１．１
机器学习概念
机器学习
(
machinelearnin
g
,
ML
)
是人 工 智能
的一个分支
,
主要是 研究 如 何从 经 验学 习 中提 升 算
法的性能
[
４
]
,
它是一种数据驱动预测的模型
．
它可以
自动地利用样本数据
(
即训练数据
)
通过
“
学习
”
得到
一个数学模型
,
并利用 这 个数 学 模型 对 未知 的 数据
进 行 预 测
．
目 前 机 器 学 习 被 广 泛 应 用 于 数 据 挖
掘
[
５Ｇ６
]
、
计算机 视 觉
[
７Ｇ８
]
、
电 子 邮 件 过 滤
[
９Ｇ１０
]
、
检 测 信
用卡欺诈
[
１１Ｇ１３
]
和医学诊断
[
１４Ｇ１５
]
等领域
．
机器学习主要可以分为监督学习
、
无监督学习
、
半监督学习 和 强 化学 习
[
１６
]
,
总 结 如 表
１
所 示
．
监 督
学习就是给定一个包含
１
个或 多 个输 入 和输 出
(
标
签
)
的数据 集
,
通 过 监 督学 习算 法 得 到 一 个 数 学 模
型
,
该数学模型可以用来对给定的数据进行预测
．
常
见的监督学习算法包括支持向量机
、
神经网络
、
回归
分析和分类等
,
常用于对电子邮件进行过滤等应用
．
无监督学习是给定 无 人为 标 记标 签 的数 据 集
,
通过
无监督学习算法可 以 识别 出 数据 的 共性
,
再根 据 数
据的共性对每 个 数 据 是 否 存 在 此 类 共 性 做 出 反 应
．
常见的无监督学习 算 法包 括 聚类
,
通常 无 监督 学 习
用于聚类分析
、
关联规则和维度缩减等
．
监督学习和
无监督学习的区别就是训练数据集的目标是否标记
(
含有标签
)
过
．
半监 督 学 习 介 于 监 督 学 习 和 无 监 督
学习之间
,
当未标记 的 数据 与 少量 标 记的 数 据结 合
使用时
,
可以大大提高模型的准确性
．
而强化学习强
调如何基于环境而行 动
(
与环 境 进行 交 互或 者 说是
利用奖惩函 数进 行训 练
),
以 取 得 最 大 化 的 预 期 利
益
．
常见强 化 学 习 算 法 如
QＧLearnin
g
[
１７
]
等
,
该 算 法
常应用于自动驾驶
、
游戏等领域
．
７６０２
魏立斐等
:
机器学习的安全问题及隐私保护
of 20
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论