虽然生成人工智能（AI）正在成为顶级技术投资领域，但许多组织尚未准备好应对与之相关的网络安全风险。

与任何新技术一样，我们必须认识到生成式人工智能带来的新安全风险，因为毫无疑问，对手会试图利用任何弱点来实现其目标。事实上，根据IBM 商业价值研究院的数据，96% 的高管表示，采用生成式 AI 可能会在未来三年内导致其组织出现安全漏洞。

随着人工智能模型将大量有价值且敏感的数据摄入到训练集中，再加上企业领导者研究这些模型如何优化关键运营和输出，风险非常高。组织无法将不安全的人工智能引入其环境。

用于保护生成式 AI 安全的 IBM 框架

在本博客中，我们介绍了IBM 保护生成式 AI 的框架。它可以帮助世界各地的客户、合作伙伴和组织更好地了解最有可能的人工智能攻击，并优先考虑对快速保护其生成人工智能计划最重要的防御方法。

IBM framework for securing generative AI

我们在人工智能管道的每个阶段确保人工智能的安全至关重要，这包括数据收集和处理、模型开发和训练以及模型推理和使用期间。因此，组织需要保护数据、模型和模型的使用。他们还必须保护构建和运行人工智能模型的基础设施。最后，他们需要建立人工智能治理并监控随着时间的推移的公平性、偏见和偏差。

下面我们详细介绍了人工智能管道每个阶段的风险以及如何保护它免受主要已识别的攻击。

Risks in each stage of the AI pipeline

保护数据

在数据收集和处理阶段，您不仅需要收集大量数据来喂养AI模型，还需要向包括数据科学家、工程师、开发人员和其他许多人提供访问权限。将所有这些数据集中在一个地方，并授予各种利益相关者——其中大多数没有安全经验的人——访问权限，本身就存在固有的风险。

只需考虑一下，如果由于训练数据的处理不当而暴露了与业务基本相关的知识产权（IP），可能会对业务构成生存威胁。利用大量数据为AI模型服务意味着组织需要评估与个人身份信息（PII）、隐私问题和其他敏感信息相关的各种风险，然后在该数据周围建立适当的安全控制。

针对最可能攻击的防护措施和防御手段

数据收集阶段的主要目标是底层数据集，数据泄露被视为攻击者试图获取有价值且可货币化信息的最可能的技术手段。由于攻击者寻求阻力最小的路径，底层数据集就像一个闪烁的灯，承诺着高回报。

组织不能忽视安全基础的重要性——事实上，它们应该优先考虑。如果正确应用，这些基础可以显著影响组织的网络安全态势。这包括关注数据发现和分类、静态和传输中的加密，以及来自IBM Security® Guardium®等数据安全平台的关键管理。这也意味着关注由IBM Security® Verify等解决方案强制执行的标识和访问管理基础，这些解决方案有助于确保没有任何单一实体可以无限制地访问AI模型。最后，组织必须提高数据科学家和研究人员的网络安全意识，并确保安全团队与这些团队紧密合作，以确保适当的防护措施。

保护模型

在模型开发过程中，您正在以新的方式构建应用程序，这通常涉及引入新的、可利用的漏洞，攻击者可以利用这些漏洞作为进入环境并进而进入您的AI模型的入口点。考虑到组织历史上一直难以管理其环境中发现的已知漏洞的不断增加的债务，这种风险将延续到AI。

开发AI应用程序通常从数据科学团队重新利用来自在线模型存储库的预训练、开源机器学习（ML）模型开始，这些模型通常缺乏全面的安全控制。然而，它们为组织提供的价值，如显著减少生成式AI采用所需的时间和精力，通常超过了这种风险，最终将其传递给企业。围绕ML模型的安全普遍稀缺，加上ML模型所接触到的数据越来越敏感，这意味着针对这些模型的攻击具有很高的破坏潜力。

针对最可能攻击的防护措施和防御手段

模型开发阶段的主要攻击技术是供应链攻击，这是由于对用于加速开发工作的在线模型存储库中预训练、开源ML模型的严重依赖。攻击者可以访问这些在线存储库，并将后门或恶意软件部署到其中。一旦上传回存储库，它们就可以成为任何下载受感染模型的用户的入口点。如果这些模型被感染，检测它们可能非常困难。组织必须非常谨慎地考虑他们从何处获取模型以及来源的可靠性。

应用程序编程接口（API）攻击也是一个担忧的问题。没有资源或专业知识来构建自己的大型语言模型（LLM）的组织依赖于API来消费预包装、预训练模型的能力。攻击者认识到这将是LLM的主要消费模型，并将寻求针对API接口进行攻击，以访问和利用通过API传输的数据。

攻击者还可能试图利用具有过多权限以访问开放式功能或下游系统（这些系统可以在业务工作流程中执行特权操作）的LLM代理或插件。如果攻击者可以损害授予AI代理的特权，造成的损害可能是毁灭性的。

组织应关注以下方面：

保护使用

在推理和实际使用过程中，攻击者可以通过操纵提示来绕过防护措施，并通过生成不允许的响应来诱使模型表现出不良行为，这些响应包括偏见、虚假和其他有害信息。这可能会对企业声誉造成损害。攻击者还可能试图操纵模型并分析输入/输出对，以训练一个模仿目标模型行为的代理模型，从而有效地“窃取”其功能，并使企业失去竞争优势。

针对最可能攻击的防护措施和防御手段

在AI管道的这个阶段，几种类型的攻击令人担忧。首先，提示注入——攻击者使用恶意提示来绕过模型并获得未经授权的访问，窃取敏感数据或将偏见引入输出。另一个担忧是模型拒绝服务，攻击者通过输入压倒LLM，降低服务质量并产生高昂的资源成本。组织还应准备防御模型盗窃，其中攻击者构建输入以收集模型输出，以训练一个模仿目标模型行为的代理模型。

我们的最佳实践包括监控恶意输入，如提示注入，以及包含敏感数据或不适当内容的输出，并实施新的防御措施，以检测和响应AI特定的攻击，如数据中毒、模型规避和模型提取。以机器学习检测和响应（MLDR）的名义进入市场的新AI特定解决方案。由这些解决方案生成的警报可以集成到安全运营解决方案中，如IBM Security® QRadar®，使安全运营中心（SOC）团队能够快速启动响应剧本，拒绝访问、隔离或断开受损害的模型。

保护基础设施

第一道防线是安全的基础设施。组织应利用现有专业知识来优化在托管AI系统的分布式环境中实施的安全、隐私和合规性标准。他们必须加强网络安全、访问控制、数据加密以及AI环境周围的入侵检测和预防。他们还应考虑投资于专门设计用于保护AI的新安全防御。

建立治理

IBM不仅提供AI安全，还提供AI的运营治理。IBM在AI治理方面处于行业领先地位，以实现可信赖的AI模型。随着组织将运营业务流程外包给AI，他们需要确保AI系统没有偏离预期，并按预期行事。这使得运营防护措施成为有效AI战略的核心。一个在运营上偏离其设计目的的模型可能带来的风险与攻击者破坏您的基础设施的风险相同。

负责任的人工智能的领导者

IBM 拥有悠久的信任传统和对以安全、道德、隐私和治理为核心的人工智能的坚定承诺。这些原则支撑着我们的人工智能，这就是为什么我们知道人工智能模型的构建和训练方式对于实现由人工智能驱动的成功、负责任的结果至关重要。

我们基础模型的数据质量、数据血缘和数据保护是我们的首要任务之一。在 IBM，我们对模型的训练流程实施强有力的控制和细致的流程。他们接受精心策划的数据培训，以实现数据的准确性、完整性和来源，同时降低模型幻觉的风险。

我们的承诺通过推出 IBM® watsonx.governance ™ 得到体现，该平台旨在帮助使用大型 AI 模型的公司获得公正、事实正确且可解释的结果。

我们还构建了流程来解决数据透明度和对客户的完全可追溯性，并能够展示我们的数据源。我们最近发布了Granite 模型训练数据集的详细信息，表达了我们对透明度和负责任的人工智能的承诺。IBM 还为其基础模型提供知识产权赔偿（合同保护）。

IBM 继续展示并进一步推进其对有效、负责任地部署 AI 的承诺，设立了5 亿美元的企业 AI 风险基金，不仅推动创新，还投资于有助于保护 AI 安全并为客户不断变化的需求构建负责任的解决方案的能力。

有关组织如何安全地采用生成式人工智能的更多信息，请查看：

• CISO 指南：生成式 AI 时代的网络安全
• 如何建立安全的AI+商业模式
• 人工智能加速您的安全防御
• 观看：生成式 AI 如何改变网络安全格局
• 人工智能的力量：安全