微信扫码
与创始人交个朋友
我要投稿
问题描述
在使用人工智能执行复杂任务时,多智能体AI方法对于有效的工作流程增强至关重要,因为它能够实现专业化。这意味着每个智能体可以处理特定任务或情境,从而提高整体的适应性和性能。例如,在涉及威胁建模的安全工作流程中,一个智能体可以专注于理解系统架构和安全目标,另一个智能体可以收集系统组件和数据字典详细信息,而其他智能体则定义信任边界、构建威胁模型并制定对策。这种协调的方法使得自动化具有动态性、可扩展性和上下文感知能力,超越了单一智能体系统或迭代的人工提示。
工作流程增强的概念是利用更先进技术与工具对传统工作流程进行改进。需要注意的是,它并非取代人类的参与,而是通过减少手动劳动来补充人类工作,使团队能够专注于任务的战略层面或复杂细节。例如,在本文后面讨论的威胁建模用例中,增强输出的目的并不是替代安全架构师得出的结论,而是作为他们执行过程中的起点,指导并简化他们的流程,为更明智和高效地进行威胁建模提供基础。
系统概述
本项目旨在为企业工作流程增强提供一个框架。关键策略和概念包括:
检索增强生成(RAG):利用RAG创建增强型提示,为LLM提示提供更好的上下文信息,从而提高生成输出的相关性和准确性。例如,在安全应用案例中(见用例部分),RAG可以摄入组织的产品安全需求、GRC政策以及来自NIST和PCI DSS等安全框架的要求。摄入的数据将作为用户向LLM提示的上下文信息。这样,最终输出将基于此上下文生成,而非纯粹依赖于LLM的训练数据。
提示工程学:为每个由智能体执行的任务精心设计了结构化的提示,以便LLM有明确的界限,能够在既定参数内操作并产生更相关的结果。当与AI智能体结合时,精心设计的提示促进了任务的有效完成。
AI智能体:利用AI智能体在工作流程中执行特定任务,并将一个任务的输出传递给下一个任务。与需要人为干预反复为每个任务编写提示不同,AI智能体被赋予了特定的角色和职责,自主协作以达到期望的最终输出。这里使用了CrewAI。
这个多功能框架可以应用于各种需要特定上下文、相关信息的领域。
系统架构
架构图采用了C4模型,分阶段展示了应用程序的不同层次和复杂性。第一级提供了高级概览,随后的级别(第二级)深入到特定组件/服务,提供更详细的信息。
High-Level System Context
数据处理服务
此服务从企业源或知识库中提取信息。在产品安全使用案例中,产品安全需求和参考架构制品就是这类知识库的例子。当数据被放置在对象存储中时,会触发一个事件,将该数据放入队列以待处理。数据预处理器从队列中取出数据,并根据数据类型(文档、图片、音频或视频)进行处理。
RAG 管理服务
来自数据处理服务的数据被发送到这里。首先,根据预设定的分块指标对数据进行分块。从这些分块中创建嵌入,并保存在向量数据库中。
知识检索服务容器
知识检索服务利用增强型提示与AI代理协同工作,以组织任务并获取最终输出。
UI Layout
安全架构师执行多项任务以确保产品安全。这些任务包括安全审查、代码审查和威胁建模。在进行威胁建模时,安全架构师需要详细了解被审查应用程序的上下文。所需的一些信息包括:
系统理解
系统组件信息
数据字典
信任边界
威胁场景
防御措施
此用例的参考文献
为了获取这些信息,针对每项专业需求创建任务,各代理根据来自其他代理的输入和上下文独立工作,生成汇总为最终输出的信息。
未来工作方向:
声明式工作流程定义:为了便于非技术用户轻松增强其工作流程,正在探索摄入工作流程定义(以YAML或其他结构化格式)的能力。此工作流程定义将自动生成执行定义工作流程所需的代理和任务。
扩展至产品安全之外:该解决方案将发展成为一个更通用的工作流增强框架,其适用范围不仅限于产品安全。
挑战:
扩展与维护当前POC作为企业级生产应用存在多项挑战,尚在解决中。这些挑战包括:
RAG治理问题:管理RAG系统中的数据存在困难,如删除过时数据、更新现有记录、确定有效的数据分块策略,以及决定在增强提示的上下文中应包含多少相似搜索结果。
模型视觉模式限制:根据上传图表的结构和详细程度,模型的视觉模式可能产生肤浅或相关性较低的见解。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-11-13
无需网络,轻松在手机上离线布署本地大模型
2024-11-13
DataOps for LLM 的数据工程技术架构实践
2024-11-13
LLM性能优化中的一些概念扫盲
2024-11-13
蚂蚁集团 | 提出多任务大模型微调方法:CoBa,LLM最高性能提升13%!
2024-11-12
Scaling Law提出者Ilya发声:大模型预训练效果趋于平缓,扩展正确的东西变得更重要
2024-11-08
Ollama 更新!手把手教你用Ollama轻松搭建Llama 3.2 Vision + 视觉RAG系统(本地安装)
2024-11-08
全参微调与LoRA的区别,及7种LoRA变种方法解析
2024-11-08
开发一款大模型需要经过哪些步骤?开发一款大模型的完整流程
2024-07-11
2024-07-11
2024-07-09
2024-09-18
2024-06-11
2024-07-23
2024-07-20
2024-07-12
2024-07-26
2024-07-23