我要投稿

AI Agent带来哪些安全风险？如何应对？

发布日期：2024-09-27 07:32:50 浏览次数： 1985 来源：沙丘社区

根据沙丘智库发布的《2024中国AI Agent市场指南》，AI Agent是一种具有自主性或半自主性的智能实体，能够利用人工智能技术在数字或物理环境中感知、决策、采取行动并实现目标，这种能力使得AI Agent有可能彻底改变各行各业和各种环境。

大模型缺少在最少的人类监督下自主行动的能力，以及在复杂环境中适应和执行目标的能力，基于大模型的AI Agent利用大模型理解、思考输出的“专家能力”，并附加规划、记忆、执行、工具调用能力，可以替代大量人工执行，消除大模型和真实世界沟通的障碍，解决大模型落地的“最后一公里”。

AI Agent带来的新风险

AI Agent具有巨大的应用潜力，但同时也带来了新的安全风险。传统AI模型和应用的安全风险通常限于模型输入、模型处理和模型输出、编排层的软件漏洞以及托管它们的环境。除了这些威胁外，AI Agent还引入了新的人工智能风险。

在使用AI Agent时，安全风险范围扩大到了AI Agent触发和参与的一系列事件和交互中，这些通常对人类或系统操作员来说是不可见的，也无法进行阻止。

AI Agent在执行任务时可能引入的一系列安全问题，包括数据安全、资源管理、恶意活动、编码错误、供应链安全以及恶意代码的传播等，这些问题需要通过适当的安全措施进行解决。AI Agent带来的安全风险包括：

· 数据暴露或外泄：AI Agent在执行任务的过程中可能会在任何环节暴露或外泄敏感数据；

· 过度消耗系统资源：AI Agent在执行和交互的过程中可能会无节制地消耗大量系统资源，无论是有意还是无意，这可能导致系统资源过载；

· 未授权或恶意活动：AI Agent可能会有意或无意地执行未授权或恶意的活动，例如恶意程序或人类的Agent“劫持”行为；

· 编码逻辑错误：AI Agent可能会由于编码逻辑错误导致数据泄露或其他威胁，这些错误可能是未经授权的、意外的或恶意的；

· 供应链风险：使用从第三方网站下载的库或代码用于AI Agent可能会带来供应链风险，这些代码可能被植入了恶意软件，旨在执行恶意任务；

· 恶意代码的传播和复制：使用自动化的Agent流程可能会传播和复制恶意代码，以及通过检索增强生成（RAG）对Agent进行“投毒”触发恶意行为。

AI Agent安全风险的应对措施

为了应对上述AI Agent安全风险，企业应采取如下措施：

第一，监控所有AI Agent的行动和信息流；

第二，检测和标记异常的AI Agent行动；

第三，尽可能地使用自动化手段实时修复问题。

这些措施的访问权限应授予给IT、安全或任何其他需要管理AI Agent风险的管理员用户。

（1）监控所有AI Agent的行动和信息流

为了检测异常和违规行为，需要给AI Agent的行动、流程、连接、数据暴露、信息流、输出和响应提供一个全面的仪表盘视图。同时，还需要支持对Aengt的所有交互和活动进行不可更改的审计跟踪。

仪表盘视图应支持对以下内容的可见性：

· 输出的使用情况：AI Agent的输出是如何随时间被组织使用的；

· AI Agent的使用场景：AI Agent被用于哪些具体的用例；

· AIAgent的交互意图：例如Agent的目标、行为和通信方式；

· 是否遵循企业政策：AI Agent的表现是否符合企业可接受的使用政策；

· 是否遵循安全、隐私和法律要求：AI Agent的表现是否符合相关的安全、隐私和法律要求；

· 将AI Agent的行动与企业身份和访问管理（IAM）系统集成，确保可以确定访问权限，并实施最小权限访问控制。

（2）检测和标记异常的AI Agent行动

检测并标记那些异常的AI Agent行动以及违反了企业相关政策的行动。企业在建立了仪表盘视图、确定了预期的行动基线后，就可以开始检测异常的交易和行动。

考虑到AI Agent交互的速度和数量，人工无法进行所有的监督和修复，因此应尽可能对异常交易进行自动修复；对于无法自动修复的异常情况，应该立刻暂停，并转给人工进行审查和修复。

（3）尽可能地使用自动化手段实时修复问题

修复措施应包括适当的限制和缓解措施：

· 数据脱敏：当企业定义的敏感数据（例如，个人身份信息或机密的非结构化信息）传递给Agent系统时，进行脱敏处理；

· 实施最小权限访问：尽可能实施最小权限访问控制。如果检测到违规行为且无法自动修复，则阻止访问，并将问题转发给人工审查和解决；

· 支持特定Agent威胁指标的拒绝列表：基于企业数据相关的威胁情报制定一个特定Agent威胁指标的拒绝列表，Agent在行动时需要根据列表进行验证；

· 支持文件和文件类型的拒绝和接受列表：定义Agent可以访问和不可以访问的文件和文件类型，包括在RAG中支持Agent工作流的文件；

· 实施监控和反馈循环：通过实施监控和反馈循环，识别由于不准确性导致的不需要的行动。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

Kimi、豆包与ChatGPT的对比分析

2024-09-04

看完这篇，终于知道怎么选AI做PPT的工具了！

2024-09-03

实测小红书AI声聊，一种适合年轻人体质的发疯社交？

2024-09-06

国内用户如何使用ChatGPT高级实时语音功能教程

2024-09-26

AI x 年终总结：一分钟搞定全年复盘与未来展望

2024-11-23

AI生成故事，分镜到底哪家强？附2000字超详细测评！赶紧收藏！

2024-08-18

豆包AI全攻略：八大功能详解与实操指南

2024-10-30

微信AI音色克隆上线！一场悄然无声的技术革命正席卷而来

2024-11-19

AIGC商业化应用：高质量语料是关键

2024-07-23

2万字长文，如何成为一个“懂”AI 的产品经理？

2024-09-02

大家都在问

AI+Emoji，终于打了一场胜仗？

2024-12-21

为什么现象级的AI应用还没有出现？

2024-12-16

AI陪伴产品大起底！这个赛道怎么玩？

2024-12-13

AI社交将走向何方？

2024-12-13

ChatGPT横空出世的两年：AI到底是风口，还是一场泡沫？

2024-12-02

什么是AI智能体？

2024-12-01

想象未来AI，科幻可以做些什么？

2024-11-21

副业做的应用获25万用户，全职创业却失败，AI创业这么难吗？

2024-11-19

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

Kimi、豆包与ChatGPT的对比分析

看完这篇，终于知道怎么选AI做PPT的工具了！

实测小红书AI声聊，一种适合年轻人体质的发疯社交？

国内用户如何使用ChatGPT高级实时语音功能教程

AI x 年终总结：一分钟搞定全年复盘与未来展望

AI生成故事，分镜到底哪家强？附2000字超详细测评！赶紧收藏！

豆包AI全攻略：八大功能详解与实操指南

微信AI音色克隆上线！一场悄然无声的技术革命正席卷而来

AIGC商业化应用：高质量语料是关键

2万字长文，如何成为一个“懂”AI 的产品经理？

大家都在问

AI+Emoji，终于打了一场胜仗？

为什么现象级的AI应用还没有出现？

AI陪伴产品大起底！这个赛道怎么玩？

AI社交将走向何方？

ChatGPT横空出世的两年：AI到底是风口，还是一场泡沫？

什么是AI智能体？

想象未来AI，科幻可以做些什么？

副业做的应用获25万用户，全职创业却失败，AI创业这么难吗？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

Kimi、豆包与ChatGPT的对比分析

看完这篇，终于知道怎么选AI做PPT的工具了！

实测小红书AI声聊，一种适合年轻人体质的发疯社交？

国内用户如何使用ChatGPT高级实时语音功能教程

AI x 年终总结：一分钟搞定全年复盘与未来展望

AI生成故事，分镜到底哪家强？附2000字超详细测评！赶紧收藏！

豆包AI全攻略：八大功能详解与实操指南

微信AI音色克隆上线！一场悄然无声的技术革命正席卷而来

AIGC商业化应用：高质量语料是关键

2万字长文，如何成为一个“懂”AI 的产品经理？

大家都在问

AI+Emoji，终于打了一场胜仗？

为什么现象级的AI应用还没有出现？

AI陪伴产品大起底！这个赛道怎么玩？

AI社交将走向何方？

ChatGPT横空出世的两年：AI到底是风口，还是一场泡沫？

什么是AI智能体？

想象未来AI，科幻可以做些什么？

副业做的应用获25万用户， 全职创业却失败，AI创业这么难吗？

热门标签

副业做的应用获25万用户，全职创业却失败，AI创业这么难吗？