机器学习中的隐私攻击与防御-刘睿瑄 , 陈红 , 郭若杨 , 赵丹 , 梁文娟 , 李翠平.pdf

上善若水

221

27页

1次

2022-05-24

免费下载

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn

Journal of Software,2020,31(3):866−892 [doi: 10.13328/j.cnki.jos.005904] http://www.jos.org.cn

机器学习中的隐私攻击与防御

∗

刘睿瑄

1,2

陈

红

1,2

郭若杨

1,2

赵

丹

1,2

梁文娟

1,2

李翠平

1,2

(数据工程与知识工程教育部重点实验室(中国人民大学),北京 100872)

(中国人民大学信息学院,北京 100872)

通讯作者: 陈红, E-mail: chong@ruc.edu.cn

摘要: 大数据时代丰富的信息来源促进了机器学习技术的蓬勃发展,然而机器学习模型的训练集在数据采集、

模型训练等各个环节中存在的隐私泄露风险,为人工智能环境下的数据管理提出了重大挑战.传统数据管理中的隐

私保护方法无法满足机器学习中多个环节、多种场景下的隐私保护要求.分析并展望了机器学习技术中隐私攻击

与防御的研究进展和趋势.首先介绍了机器学习中隐私泄露的场景和隐私攻击的敌手模型,并根据攻击者策略分类

梳理了机器学习中隐私攻击的最新研究;介绍了当前机器学习隐私保护的主流基础技术,进一步分析了各技术在保

护机器学习训练集隐私时面临的关键问题,重点分类总结了 5 种防御策略以及具体防御机制;最后展望了机器学习

技术中隐私防御机制的未来方向和挑战.

关键词: 数据管理;机器学习;隐私保护;隐私攻击

中图法分类号: TP18

中文引用格式: 刘睿瑄,陈红,郭若杨,赵丹,梁文娟,李翠平.机器学习中的隐私攻击与防御.软件学报,2020,31(3):866−892.

http://www.jos.org.cn/1000-9825/5904.htm

英文引用格式: Liu RX, Chen H, Guo RY, Zhao D, Liang WJ, Li CP. Survey on privacy attacks and defenses in machine learning.

Ruan Jian Xue Bao/Journal of Software, 2020,31(3):866−892 (in Chinese). http://www.jos.org.cn/1000-9825/5904.htm

Survey on Privacy Attacks and Defenses i n Machin e Learni ng

LIU Rui-Xuan

1,2

, CHEN Hong

1,2

, GUO Ruo-Yang

1,2

, ZHAO Dan

1,2

, LIANG Wen-Juan

1,2

, LI Cui-Ping

1,2

(Key Laboratory of Data Engineering and Knowledge Engineering of the Ministry of Education (Renmin University of China), Beijing

100872, China)

(School of Information, Renmin University of China, Beijing 100872, China)

Abstra ct : In the era of big data, a rich source of data prompts the development of machine learning technology. However, risks of

privacy leakage of models’ training data in data collecting and training stages pose essential challenges to data management in the

artificial intelligence age. Traditional privacy preserving methods of data management and analysis could not satisfy the complex privacy

problems in various stages and scenarios of machine learning. This study surveys the state-of-the-art works of privacy attacks and

defenses in machine learning. On the one hand, scenarios of privacy leakage and adversarial models of privacy attacks are illustrated. Also,

specific works of privacy attacks are classified with respect to adversarial strategies. On the other hand, 3 main technologies which are

commonly applied in privacy preserving of machine learning are introduced and key problems of their applications are pointed out. In

addition, 5 defense strategies and corresponding specific mechanisms are elaborated. Finally, future works and challenges of privacy

preserving in machine learning are concluded.

∗ 基金项目: 国家重点研发计划(2018YFB1004401); 国家自然科学基金(61532021, 61772537, 61772536, 61702522)

Foundation item: National Key Research and Development Program of China (2018YFB1004401); National Natural Science

Foundation of China (61532021, 61772537, 61772536, 61702522)

本文由人工智能赋能的数据管理、分析与系统专刊特约编辑李战怀教授、于戈教授和杨晓春教授推荐.

收稿时间:

2019-07-19; 修改时间: 2019-09-10; 采用时间: 2019-11-25; jos 在线出版时间: 2019-12-05

CNKI 网络优先出版: 2019-12-05 14:55:00, http://kns.cnki.net/kcms/detail/11.2560.TP.20191205.1454.003.html

刘睿瑄等:机器学习中的隐私攻击与防御

867

Key words: data management; machine learning; privacy preserving; privacy attack

机器学习作为人工智能的核心技术,旨在从数据中学习经验、构建模型,并逐步提升模型的精确程度.随着

深度学习等突破性技术的兴起,机器学习迎来了阶段性的发展,得到了学界和产业界的密切关注,并在智慧医

疗、商品推荐、人脸识别、网络安全、证券市场分析等各个领域得到广泛应用.

海量数据为机器学习模型提供丰富的训练数据来源,但其中不可避免地包含用户的隐私信息,机器学习中

的隐私泄漏以及泄露造成的危害不可忽视,例如:医疗专家基于病人的数据构建了预测病情的模型,攻击者通过

隐私攻击可以推断出训练集中病人的数据,甚至 DNA 信息,进而利用这些信息有针对性地犯罪;攻击者还可以

预测某个人的数据是否在目标模型的训练集中,进而泄露个人的患病信息并引发歧视问题.同时,机器学习中的

隐私泄露还会造成服务商的重大损失:使服务商在面临巨额赔偿风险的同时失去用户信任.更严重的情况下,不

法分子将利用泄露的训练数据或模型信息,对机器学习系统进行安全攻击,进而干预模型的预测.

丰富多样的机器学习场景进一步提升了训练集隐私泄露的风险:目前逐步成熟的机器学习云服务 MlaaS

(machine learning as a service)中,云端首先收集用户数据并训练模型,最终将训练好的模型接口提供给用户调

用,或者提供模型参数以便用户下载.此过程需要用户将数据发送至不可信云平台,因此数据收集阶段就存在隐

私泄露风险;即使云平台可信,如果训练好的模型接口被销售给第三方,或者被嵌入移动应用端以供所有用户访

问,不可信第三方可以在预测阶段通过隐私攻击

[1]

窃取模型训练集的隐私.另一种新场景是协同训练,即多方在

不共享数据的情况下共同训练一个模型,比如:银行希望和其他金融机构共同训练预测借贷风险的模型,医院希

望和其他医疗机构共同训练预测患者身体指标的模型等.此时不需要用户上传数据,而是通过安全多方计算协

议或者参数平均完成模型训练.然而安全多方计算无法防御模型在预测阶段中的隐私攻击,普通的参数平均将

会面临参数服务器

[2]

或者其他计算参与者

[3,4]

在训练阶段发起的隐私攻击.

为了更好地构建人工智能环境下的数据管理标准,机器学习技术应当在保证用户隐私、合理正确使用数据

的前提下发展.但是,面向传统数据收集和发布的隐私保护方法已不能适用于机器学习的保护需求,机器学习中

存在的隐私泄露为采集、存储、分析等数据管理环节提出了新的挑战.其原因主要来自以下两方面.

• 首先,在使用训练数据构建机器学习模型的过程中出现了不同于传统数据收集与发布的特殊环节,这

些特殊环节带来了新的隐私攻击机制.例如:在模型训练阶段,不可信的服务器或者参与者可以利用训

练的中间结果构建攻击模型以侵犯用户隐私;在模型预测阶段,即使服务商没有发布模型参数,不可信

攻击者也可以通过不断访问模型预测接口的方式窃取目标训练集的数据隐私.另外,深度学习模型的

不可解释性也为防御此类攻击带来了难题;

• 其次,多样的机器学习场景对隐私保护提出了高效性和可用性的要求.例如:云平台提供 MLaaS 服务的

初衷是提供模型参数或者访问接口供用户使用,因此从可用性角度需要确保目标模型的预测准确率;

协同训练中不仅需要保证训练模型的预测准确率,还需要在通信开销以及计算开销方面保证训练过

程的高效性.机器学习隐私保护中对高效性及可用性的要求比传统数据管理中更加复杂和严苛,因此

亟需设计针对机器学习的隐私保护方案.

总体而言,本文综述机器学习技术中隐私攻击和隐私保护的最新研究进展和研究方向.一方面从“矛”的角

度:第 1 节概述机器学习中的隐私泄露背景,首先明确攻击场景并阐述敌手假设,将隐私攻击者从敌手目标、敌

手知识、敌手能力、敌手策略等 4 个角度进行抽象和建模.第 2 节基于攻击策略对现有隐私攻击进行分类阐述,

重点介绍隐私攻击的适用范围、攻击模型.另一方面,从“盾”的角度:第 3 节介绍用于保护机器学习训练集隐私

的主流技术,包括差分隐私(differential privacy)、同态加密、安全多方计算,阐明其基础定义、实现机制,并讨论

这些技术应用于机器学习隐私保护时的关键问题.第 4 节重点对现有隐私防御方案进行分类梳理,按照防御思

路总结为扰动策略、泛化策略、近似策略、对抗策略、本地策略等 5 类,并列举具体机制的相关研究.第 5 节

针对机器学习中隐私保护问题的关键,总结评价现有工作并展望未来的研究方向.最后,第 6 节总结全文.

of 27

免费下载

软件学报计算机技术

关注

评论