CISO 聚焦 | AI 安全，需要“心有猛虎，细嗅蔷薇”

Azure云科技 2024-02-23

238

前言

2023 年可谓是 AI 技术的大爆发之年，随着 ChatGPT 这个大语言模型（LLM）的火爆出圈，也直接带动了人工智能/机器学习（AI/ML）和人工智能生成内容（AIGC），AI 技术的普及性和适用性大为提高，无论是 IT 行业还是传统行业，都在思考 AI 技术能够给他们带来什么，以及如何通过 AI 技术实现行业的变革？其中也自然包含网络安全行业。之前我在《AI 驱动的微软安全防护：安全不仅仅是默认的，也是可以预测的》这篇文章中，已经给大家做过相关的介绍，其实在目前的网络安全中，AI/ML 技术早就已经得到大规模的应用，甚至可以毫不夸张的说，现在的网络安全完全依赖于 AI/ML 技术。在 AI 的推动下，网络安全行业正在经历一场巨大的变革，但是技术是中立的，取决于谁在使用而已，因此 AI 对于网络安全而言既是机遇、也是挑战。网络安全是制衡的艺术，使用 AI 技术也是制衡的艺术。

网络安全本身就是人与人之间直接对抗的技术性行业，因此在 IT 行业内，网络安全行业可以说是进化最快的行业，无论攻防双方都是在充分利用 AI 等先进技术进行高速进化。虽然 AI 可以帮助企业组织能够以更高效、更有效的方式来进行攻击威胁的检测、分析、响应和创新，但攻击者同样可以利用 AI 技术来发现和创造新的安全漏洞、使用新的技术来规避安全检测并且实现更高效和有效的攻击操作。因此对微软或者其他 AI 服务提供商而言，安全地设计、部署和使用 AI 技术从未像现在这样重要。在这篇文章中，我想和大家探讨一下 AI 系统自身（特别是大语言模型（LLM））的安全，以及微软对于 AI 系统安全的相关安全最佳实践。

在过去的一年里，随着 AI 技术特别是大语言模型（LLM）的快速发展和应用，我们面临的网络安全威胁攻击的速度、规模和复杂程度都在高速增加。并且攻击者充分利用 AI 技术和大语言模型（LLM）的技术和力量，通过滥用大语言模型作为其重要的攻击辅助工具，从而大幅提升其攻击技术水平和攻击成功可能性。虽然不同攻击者的攻击动机和攻击技术复杂程度各不相同，但他们在一些很多攻击操作上均可以充分滥用大语言模型，比较典型的滥用操作包括：

利用大语言模型进行环境侦测（LLM-informed reconnaissance）：利用大语言模型搜集、分析并研究受害者相关的信息，例如了解受害者的相关行业、隶属关系、社交关系、特定主题信息等。

利用大语言模型进行安全漏洞研究（LLM-assisted vulnerability research）：利用大语言模型搜集、分析并研究相关的系统安全漏洞。

利用大语言模型进行辅助技术翻译与阐述（LLM-aided technical translation and explanation）：利用大语言模型来翻译技术术语和论文等等。

利用大语言模型进行社会工程学攻击（LLM-supported social engineering）：利用大语言模型来协助翻译语言与交流，生成高度专业并真实的钓鱼邮件，从而更好地联系和操纵目标受害者。

利用大语言模型优化攻击脚本和技术（LLM-enhanced scripting techniques）：利用大语言模型生成相关攻击代码或脚本、识别和解决攻击脚本的错误、优化并提高攻击脚本执行效率和有效性、更好的实现自动化攻击行为，从而提升总体攻击技术水平和效率。

利用大语言模型优化安全检测（LLM-enhanced anomaly detection evasion）：利用大语言模型生成并优化相关安全检测规避技术，例如如何静默禁用 Windows 系统内置的杀毒软件等等。

利用大语言模型优化操作执行技术（LLM-refined operational command techniques）：利用大语言模型来实现深度级别的系统后门访问控制、持续操作执行等等。

因此对微软或者其他 AI 服务提供商而言，防范 AI 技术被滥用，安全地设计、部署和使用 AI 技术从未像现在这样重要。微软也是这方面的先驱，在 2021 年即与 MITRE 以及其他厂商合作，一起推出了 AI 攻击威胁态势框架 MITRE ATLAS™（Adversarial Threat Landscape for Artificial-Intelligence Systems）框架，如下图所示，用于帮助企业识别和分析 AI/ML 技术、应用和系统的安全风险，从而进行更好的安全风险应对和安全保护。

在目前最新版本的 AI 攻击威胁态势框架 MITRE ATLAS™ 中，共计包含了针对 AI 系统/技术 14 个攻击阶段的 82 种攻击技术（包含子攻击技术）。这是一个完善详尽的、并且持续及时更新的攻击威胁态势框架，供所有关心 AI 系统/技术安全的企业组织或个人参考：

更为详细的信息，请访问：

https://atlas.mitre.org/

在 2021 年与 MITRE 以及其他厂商合作推出 AI 攻击威胁态势框架 MITRE ATLAS™ 的同时，微软于 2021 年 12 月正式发布了《AI 安全风险管理最佳实践》白皮书，这部白皮书由来自企业战略研究团队、产品工程团队、AI 技术相关团队、基础架构团队、安全技术团队、安全合规团队和伦理研究团队等不同团队的人员一起参与编写，以传统安全风险评估的视角，来帮助企业组织有效的评估其 AI 技术/系统的安全态势。其中包括：

提供 AI 系统安全的全面视角。微软研究了企业生产环境中 AI 系统生命周期的每个元素：从数据收集、数据处理到模型部署。微软还考虑了 AI 供应链以及与 AI 系统相关的备份、恢复和应急计划的控制和政策。

重点描述对关键 AI 资产的威胁，并指导如何保护这些资产。为了直接帮助 IT 或者 AI 工程师和安全专家，我们列举了 AI 系统构建过程每个过程的相关安全威胁或风险。同时，我们提供了一套指导方针，这些指导方针覆盖和加强了 AI 技术、应用和系统当前背景下的现有安全实践。

使组织能够进行 AI 安全风险评估。该框架提供了收集有关组织中人工智能系统当前安全状态的信息、执行差距分析并跟踪安全态势进度的能力。

在这部白皮书中，将安全控制措施划分为两个大类别、八个小类别共计数十项安全建议，如下图所示。这部白皮书应当作为所有使用 AI 技术/系统的企业组织的重要参考：

如需了解更多的信息，请访问：

https://aka.ms/airiskassessment

同时微软也开源提供了自动化的 AI/ML 安全风险评估工具 Counterfit，更为详细的信息，请参考：

https://aka.ms/counterfit

前面两个章节，主要都是围绕着 AI 技术/系统所面临的安全风险来进行相关的说明，但我们不能仅仅看到风险，也要看到机遇。AI 对于网络安全也是机遇，我们防守方也在充分的利用 AI 技术进行高速进化，例如我们在 2023 年 3 月推出的全球首个基于大语言模型的下一代网络安全人工智能产品 Microsoft Security Copilot，它将先进的对话式大型语言模型（LLM）与微软全球领先的网络安全专用 AI/ML 模型相结合，通过易于使用的 AI 助手，使最新的大型语言模型能力价值最大化，提高安全团队的整体效能，展现独特的价值。

Microsoft Security Copilot 具有独特的能力，能够给企业的网络安全带来以下收益：

化繁为简：在安全领域，时间很重要。通过 Microsoft Security Copilot 这个人工智能助理的协助，企业的网络安全防御团队可以在几分钟内甚至实时对安全事件做出反应，而不再需要几小时或几天。Microsoft Security Copilot 通过基于自然语言的交互体验提供关键的 Step-by-step 指导和背景上下文，从而加速安全事件调查和响应，迅速总结任何过程或事件，并调整报告以适应所需的受众，这种协助能力可以减少防御者的工作负担，使其能够专注于最紧迫的工作。

Detect the undetectable：技艺高超的攻击者隐藏在大量的噪音背后，仅具有微乎其微甚至近似没有的攻击信号，很难被网络安全防御团队发现。Microsoft Security Copilot 能够基于企业的网络安全态势，全面监测、分析并评估网络安全威胁和攻击，实时浮现出需要优先考虑的威胁，捕捉别人错过的威胁和攻击行为，并根据微软的全球安全情报大数据持续分析和预测攻击者的下一步行动，从而协助防御者快速拦截和阻断攻击行为，避免遭受进一步的影响。

赋能安全团队：安全团队的总体能力受到团队规模、个人知识技能和工具技术等方面的限制。Microsoft Security Copilot 具备了在安全事件响应、漏洞管理和威胁猎捕等领域的专业知识技能，能够辅助和支持网络安全防御团队的学习和应用，提升团队的安全技能，同时它不断地从用户的互动中学习，从而适应企业的偏好，并建议防御者采取最佳的行动方案，以实现更安全的结果。这使安全团队能够事半功倍，实现更大规模、更成熟的组织和执行能力，并提高企业整体的安全运营效能。

不仅如此，我们的网络安全训练模型自身具有学习系统来持续创建和优化技能，可以持续的提升检测与分析质量、响应速度和安全态势监控等方面的能力。客户也可根据需要引入自己的自定义 AI 模型。

关于 Microsoft Security Copilot 更详细的技术信息，请参考《如何抵御超过 99% 的网络安全攻击？》这篇文章。目前全球企业客户均可使用 Microsoft Security Copilot，更为详细的信息，请参考：

https://www.microsoft.com/en-us/security/business/ai-machine-learning/microsoft-security-copilot

网络安全是一个持续进化的旅程，而不是一个持续稳定的结果。同时网络安全是与被保护的目标主体紧密关联的，它存在的唯一价值目标就是为了保护目标主体的安全性，因此网络安全的价值是需要依托目标主体所面临的安全威胁和风险来间接体现。AI 技术的持续发展，也同样催生了针对 AI 技术/系统的网络安全防护需求。在持续实现负责任的 AI 创新的同时，微软也会持续地采取高效且有效地安全措施加强对 AI/ML 技术和系统的网络安全防护，并与我们的全球生态系统和其他厂商合作，更好的保护整个 AI 技术和相关产业。

关于微软持续守护 AI/ML 技术安全性的更多信息，可以参考：Staying ahead of threat actors in the age of AI、Microsoft’s Responsible AI practices、voluntary commitments to advance responsible AI innovation、Azure OpenAI Code of Conduct 等相关说明。

网络安全面对的是全世界智商最高的犯罪分子，我们不能低估我们的对手，也不能高估自己的能力。没有绝对的网络安全，也没有永远的网络安全。网络安全无论攻防两端，都是一个动态发展、持续提高的过程。微软未来也会持续地使用包含例如安全情报、大数据、AI/ML 等在内的先进技术来发展和优化微软网络安全产品，Microsoft Security Copilot 只是其中一步而已。

“Protect everything, everyone, everywhere”，这是微软安全的愿景。在数字化时代，网络安全既是挑战，也是机遇。微软的使命是予力全球每一人、每一组织成就不凡，这意味着在网络安全方面我们也要充分地并具有前瞻性地满足企业客户的需求，通过领先地智能集成端到端安全技术能力降低企业的网络安全复杂性和总体拥有成本，完善地保护企业组织的数字资产，协助企业数字化转型又快又好地进行。

张美波

网络安全和现代化办公架构师

团队总监

微软（中国）有限公司

张美波先生现任微软（中国）有限公司成就客户事业部网络安全和现代化办公架构师团队总监，并兼任网络安全首席架构师。他以“展现微软价值，守护客户安全”为己任，带领微软网络安全架构师团队主要负责微软大中型企业客户的网络安全产品技术与服务支持，推动微软网络安全产品在中国的高速增长与应用。他曾是微软全球企业服务体系级别最高的技术专家之一，在多个具有全球排名前列的 Top 超大规模环境企业客户担任微软方的基础架构/网络安全架构师和“红军/蓝军”顾问，负责相关的安全架构体系规划设计与部署实施、APT 攻击相关防范、安全运营及安全响应等。同时他在帮助和支持跨国企业（MNC）进入中国、中国企业出海发展等业务场景满足安全合规要求方面也具有非常丰富的经验。