随着 77%的企业已经成为对抗性 AI 攻击的受害者，网络犯罪分子突破安全防线的时间仅为 2 分 7 秒，安全运营中心（SOC）何时成为攻击目标已不再是问题，而是必然。
过去一年，云入侵事件飙升了 75%，五分之二的企业遭受了与 AI 相关的安全漏洞，每个 SOC 领导者都需要面对一个残酷的事实：你的防御必须要么与攻击者的技术同步发展，要么面临被无情、足智多谋的对手击溃的风险，这些对手在几秒钟内就能成功突破。
攻击者将生成式 AI（gen AI）、社会工程、交互式入侵活动以及对云漏洞和身份的全面攻击结合起来，执行旨在利用他们能找到的每个 SOC 弱点的策略。CrowdStrike 的 2024 年全球威胁报告发现，国家攻击者正在将基于身份和社会工程的攻击提升到一个新的强度水平。长期以来，国家一直使用机器学习来制作钓鱼和社会工程活动。现在，重点是窃取包括 API 密钥和一次性密码（OTP）在内的身份验证工具和系统。
CrowdStrike 公司负责对抗对手行动的高级副总裁 Adam Meyers 在最近的一次简报中告诉 VentureBeat：“我们看到的是，威胁行为者真正专注于……获取合法身份。以合法用户的身份登录。然后保持低调，通过使用合法工具在雷达下生存。”
网络犯罪团伙和国家网络战团队继续提高他们的技术，发起基于 AI 的攻击，旨在破坏身份和访问管理（IAM）信任的基础。通过利用深度伪造语音、图像和视频数据生成的虚假身份，这些攻击旨在突破 IAM 系统，并在目标组织中制造混乱。
以下 Gartner 图表显示了为什么 SOC 团队现在需要为对抗性 AI 攻击做好准备，这些攻击通常采取虚假身份攻击的形式。
来源：Gartner 2025 年身份和访问管理规划指南。发布于 2024 年 10 月 14 日。文档 ID：G00815708。
展望 2025 年的对抗性 AI 威胁形势
Ivanti 的首席信息官兼高级副总裁 Bob Grazioli 最近告诉 ventureBeat：“随着 gen AI 的不断发展，对其对网络安全影响的理解也必须不断发展。”
“毫无疑问，gen AI 为网络安全专业人员提供了强大的工具，但它也为攻击者提供了先进的能力。为了应对这一问题，需要新的策略来防止恶意 AI 成为主导威胁。这份报告有助于为组织提供所需的见解，以领先于先进威胁并有效保护其数字资产，”Grazioli 说。
最近的一项 Gartner 调查显示，73%的企业部署了数百或数千个 AI 模型，而 41%的企业报告了与 AI 相关的安全事件。根据 HiddenLayer 的数据，十分之七的公司经历了与 AI 相关的漏洞，其中 60%与内部威胁有关，27%涉及针对 AI 基础设施的外部攻击。
Palo Alto Networks 的首席技术官 Nir Zuk 在今年早些时候接受 ventureBeat 采访时明确表示：机器学习假设对手已经在内部，这需要对隐形攻击做出实时响应。
卡内基梅隆大学的研究人员最近发表了一篇题为“LLM 风险和 AI 护栏的现状”的论文，解释了大型语言模型（LLM）在关键应用中的漏洞。它强调了诸如偏见、数据中毒和不可重复性等风险。随着安全领导者和 SOC 团队越来越多地合作制定新的模型安全措施，这些研究人员倡导的指南需要成为 SOC 团队培训和持续发展的一部分。这些指南包括部署集成检索增强生成（RAG）和态势感知工具的分层保护模型，以对抗对抗性利用。
SOC 团队还承担着支持新 gen AI 应用的负担，包括快速增长的代理 AI 的使用。加利福尼亚大学戴维斯分校的研究人员最近发表了一篇题为“AI 代理的安全性”的研究报告，研究了 SOC 团队在 AI 代理执行现实世界任务时面临的安全挑战。威胁包括数据完整性破坏和模型污染，其中对抗性输入可能会损害代理的决策和行动，这些威胁被解构和分析。为了应对这些风险，研究人员提出了一些防御措施，例如让 SOC 团队启动和管理沙箱——限制代理的操作范围——以及加密工作流程，保护敏感交互，创建一个受控环境来遏制潜在的利用。
为什么 SOC 是对抗性 AI 的目标
处理警报疲劳、关键人员流失、关于威胁的不完整和不一致的数据，以及旨在保护周边而不是身份的系统，SOC 团队在对抗攻击者不断增长的 AI 武器库方面处于劣势。
金融服务、保险和制造业的 SOC 领导者在匿名的情况下告诉 ventureBeat，他们的公司正受到围攻，每天都有大量高风险警报涌入。
以下技术重点介绍了 AI 模型可能被攻破的方式，一旦被攻破，它们就会提供敏感数据，并可用于转向企业内的其他系统和资产。攻击者的策略重点是建立一个立足点，从而实现更深入的网络渗透。
数据中毒：攻击者将恶意数据引入模型的训练集，以降低性能或控制预测。根据 Gartner 2023 年的一份报告，近 30%的启用 AI 的组织，特别是金融和医疗保健领域的组织，经历了此类攻击。后门攻击在训练数据中嵌入特定的触发因素，导致模型在这些触发因素出现在现实世界输入中时行为不正确。2023 年麻省理工学院的一项研究强调，随着 AI 采用的增长，这种攻击的风险越来越大，使得对抗性训练等防御策略变得越来越重要。
逃避攻击：这些攻击改变输入数据以进行错误预测。轻微的图像扭曲会使模型将物体错误分类。一种流行的逃避方法是快速梯度符号方法（FGSM），它使用对抗性噪声来欺骗模型。自动驾驶汽车行业的逃避攻击引起了安全担忧，因为改变的停止标志被误解为让行标志。2019 年的一项研究发现，停止标志上的一个小贴纸误导了一辆自动驾驶汽车，使其认为这是一个限速标志。腾讯的 Keen Security Lab 使用道路贴纸来欺骗特斯拉 Model S 的自动驾驶系统。这些贴纸将汽车引导到错误的车道，显示出精心制作的小输入变化可能是危险的。对关键系统（如自动驾驶汽车）的对抗性攻击是现实世界的威胁。
利用 API 漏洞：模型窃取和其他对抗性攻击对公共 API 非常有效，并且是获取 AI 模型输出的必要条件。许多企业容易受到攻击，因为他们缺乏强大的 API 安全性，正如在 BlackHat 2022 上提到的那样。供应商，包括 Checkmarx 和 Traceable AI，正在自动化 API 发现并结束恶意机器人，以减轻这些风险。必须加强 API 安全性，以保护 AI 模型的完整性和敏感数据。
模型完整性和对抗性训练：没有对抗性训练，机器学习模型可能会被操纵。然而，研究人员表示，虽然对抗性训练提高了鲁棒性，但它需要更长的训练时间，并且可能会以准确性换取弹性。尽管存在缺陷，但它是对抗对抗性攻击的基本防御措施。研究人员还发现，混合云环境中糟糕的机器身份管理增加了机器学习模型受到对抗性攻击的风险。
模型反转：这种类型的攻击允许对手从模型的输出中推断出敏感数据，当在机密数据（如健康或财务记录）上进行训练时，会带来重大风险。黑客查询模型并使用响应来反向工程训练数据。Gartner 在 2023 年警告说：“模型反转的滥用可能导致严重的隐私侵犯，特别是在医疗保健和金融领域，对手可以从 AI 系统中提取患者或客户信息。”
模型窃取：重复的 API 查询可用于复制模型功能。这些查询帮助攻击者创建一个行为类似于原始模型的代理模型。AI Security 表示：“AI 模型通常通过 API 查询成为目标，以反向工程其功能，对专有系统构成重大风险，特别是在金融、医疗保健和自动驾驶汽车等领域。”随着 AI 的使用越来越多，这些攻击正在增加，引发了对 AI 模型中的知识产权和商业秘密的担忧。
通过 AI 模型强化和供应链安全加强 SOC 防御
SOC 团队需要全面考虑看似孤立的 AL/ML 模型突破如何迅速升级为企业范围的网络攻击。SOC 领导者需要主动采取行动，确定哪些安全和风险管理框架最适合其公司的商业模式。良好的起点是 NIST AI 风险管理框架和 NIST AI 风险管理框架和手册。
VentureBeat 看到，以下步骤通过加强防御同时提高模型可靠性来取得成果——这是保护公司基础设施免受对抗性 AI 攻击的两个关键步骤：
承诺不断强化模型架构。部署守门人层来过滤恶意提示，并将模型绑定到经过验证的数据源。在预训练阶段解决潜在的弱点，使您的模型能够抵御即使是最先进的对抗性策略。
永远不要停止加强数据完整性和来源：永远不要假设所有数据都是可信的。通过严格的检查和对抗性输入测试验证其来源、质量和完整性。通过确保只有干净、可靠的数据进入管道，SOC 可以尽自己的一份力量来保持输出的准确性和可信度。
集成对抗性验证和红队：不要等待攻击者找到您的盲点。不断针对已知和新兴威胁对模型进行压力测试。使用红队来发现隐藏的漏洞，挑战假设并推动立即修复——确保防御与攻击者策略同步发展。
增强威胁情报集成：SOC 领导者需要支持开发团队，并帮助保持模型与当前风险同步。SOC 领导者需要为开发团队提供稳定的更新威胁情报流，并使用红队模拟现实世界的攻击者策略。
增加并持续加强供应链透明度：在代码库或管道中扎根之前识别并消除威胁。定期审计存储库、依赖项和 CI/CD 工作流程。将每个组件视为潜在风险，并使用红队来暴露隐藏的差距——培养安全、透明的供应链。
采用隐私保护技术和安全协作：利用联邦学习和同态加密等技术，让利益相关者在不泄露机密信息的情况下做出贡献。这种方法拓宽了 AI 专业知识，而不会增加暴露。
实施会话管理、沙箱和零信任，从微分段开始：通过细分会话、在沙箱环境中隔离风险操作以及严格执行零信任原则，锁定对网络的访问和移动。在零信任下，没有用户、设备或进程在未经验证的情况下被固有地信任。这些措施限制了横向移动，将威胁遏制在其起源点。它们保护系统的完整性、可用性和机密性。总的来说，它们已被证明在阻止高级对抗性 AI 攻击方面是有效的。
结论
Grazioli 告诉 ventureBeat：“CISO 和 CIO 的对齐在 2025 年将至关重要。”“高管们需要整合资源——预算、人员、数据和技术——以增强组织的安全态势。缺乏数据可访问性和可见性会破坏 AI 投资。为了解决这个问题，必须消除 CIO 和 CISO 等部门之间的数据孤岛。”
Grazioli 指出：“在未来一年，我们需要将 AI 视为员工而不是工具。”“例如，提示工程师现在必须预测通常会向 AI 提出的问题类型，突出了 AI 在日常业务活动中的根深蒂固。为了确保准确性，AI 需要像其他员工一样进行培训和评估。”
