二、AutoAgent的核心架构

AutoAgent的架构设计精妙，由多个关键组件协同工作，实现了智能体的高效创建与任务执行。下图展示了AutoAgent的核心组件，包括智能体系统工具（Agentic System Utilities）、基于LLM的可行动引擎（LLM-powered Actionable Engine）、自我管理文件系统（Self-Managing File System）和自我博弈智能体定制（Self-Play Agent Customization）模块。

1.智能体系统工具（Agentic System Utilities）

这是AutoAgent的基石，它提供了多种专业智能体，能够处理从网络浏览、信息检索到数据分析和代码执行等各类任务。

• • 编排智能体（Orchestrator Agent）：它是用户的首要接口，负责接收任务、理解任务、分解任务，并将子任务分配给相应的子智能体。一旦子智能体完成任务，它会将结果返回给编排智能体，后者根据任务完成情况继续分配下一个子任务，直至整个任务完成。
• • 网络智能体（Web Agent）：具备强大的网络操作能力，能执行网络搜索、页面导航、内容浏览和文件下载等任务。它将网络浏览行为抽象为多个高级工具，如点击、搜索、访问URL等，方便智能体完成各种网络相关任务。
• • 编码智能体（Coding Agent）：是处理代码相关任务的全能选手。无论是数据处理、机器学习还是系统管理，它都能轻松应对。它提供了丰富的工具，包括创建代码脚本、执行Python代码、运行命令等，满足多样化的编程需求。
• • 本地文件智能体（Local File Agent）：专注于本地文件的管理和分析。它能够处理多种文件格式，如文本、视频、音频、电子表格等，并将文件转换为Markdown格式以便于分析，为用户提供高效便捷的文件处理体验。

2.基于LLM的可行动引擎（LLM-powered Actionable Engine）

这个组件如同AutoAgent的“大脑”，利用大型语言模型（LLM）理解自然语言输入、生成行动计划，并协调多智能体之间的合作。它通过标准化LLM请求，支持100多种模型，实现了智能体之间的高效协作和任务执行。

3.自我管理文件系统（Self-Managing File System）

该文件系统将用户上传的多模态数据转换并存储在向量数据库中，使智能体能够方便地检索和理解各类信息。它支持多种文件格式，包括文本、压缩文件夹等，并能自动将这些文件转换为统一的文本格式进行存储和查询，大大提高了信息管理的效率。

4.自我博弈智能体定制（Self-Play Agent Customization）

这是AutoAgent的一大亮点。它允许用户通过自然语言定制工具和智能体，甚至构建自己的多智能体系统和工作流，无需任何编码。用户只需提供高层次的描述，AutoAgent就能自动生成相应的智能体和工作流，极大地简化了开发流程。

三、AutoAgent的技术亮点与优势

四、AutoAgent的性能评估与实际应用案例

为了验证AutoAgent的有效性，研究者们在多个基准数据集上进行了评估，并通过实际案例展示了其强大的功能。

1.通用智能体系统基准（GAIA）

下表展示了AutoAgent在GAIA基准测试中的性能，与基线模型进行了比较。AutoAgent在成功率达到55.15%，在众多开源智能体系统中排名第一，接近最新的专有智能体系统h2oGPTe Agent v1.6.8的性能。特别是在一级任务上，AutoAgent的准确率超过70%，展现了其在处理日常简单任务方面的高效能力。

• • 上表是基线模型与AutoAgent在GAIA基准测试中的性能比较

2.检索增强生成（RAG）任务

下表展示了AutoAgent在RAG任务评估中的性能，与基线方法进行了比较。AutoAgent显著优于其他基线方法。与LangChain的智能体RAG相比，AutoAgent的准确率更高，错误率更低。这得益于其灵活的智能体框架，能够在检索和推理过程中动态协调，实现更高效准确的结果。

• 上表是AutoAgent及其基线方法在RAG中的评估.

3.实际应用案例

I want to create a ‘DaVinci Agent’ that can help me to generate the image with
natural language. it can:
1. generate the image with natural language and save it to the specified path on
the local machine using the HF model ’Sana_600M_1024px_diffusers’
2. evaluate the image using ‘visual_question_answering‘ tool according to the given
image.
3. interatively refine generated image based on the evaluation result.

I want to create ‘Financial Agent‘ that can help me to do two kinds of tasks:
1. Manage the private financial docs. I have a folder that contain the financial
docs in my local machine, and I want to help me to manage them.
2. Search the financial information online. You may help me to:
- get balance sheets for a given ticker over a given period.
- get cash flow statements for a given ticker over a given period.
- get income statements for a given ticker over a given period.

这一案例展示了AutoAgent在处理复杂任务时的能力，尤其是在需要多个智能体协同工作的情况下。它不仅能够高效地管理本地和在线数据，还能生成具有实际应用价值的分析报告。

（3）多数投票工作流生成

在需要高准确性的任务中，如数学问题求解，AutoAgent能够创建一个基于多数投票的工作流，以提高结果的可靠性。用户可以指定多个语言模型（如GPT-4、Claude、DeepSeek等）并行求解同一个问题，然后通过投票聚合智能体（Vote Aggregator Agent）确定最终答案。

例如，用户提出一个复杂的数学问题，AutoAgent会将问题分配给不同的语言模型进行求解。每个模型生成一个答案后，投票聚合智能体会对这些答案进行比较，并通过多数投票确定最终结果。这种方法不仅提高了答案的准确性，还减少了单一模型可能出现的错误。

这一案例展示了AutoAgent在处理需要高精度的任务时的优势，尤其是在需要多个模型协同工作的情况下。通过动态创建和优化工作流，AutoAgent能够有效地提高任务的执行效率和结果的可靠性。

生成工作流的自然语言指令：

I want to create a workflow that can help me to solving the math problem.
The workflow should:
1. Parallelize solving the math problem with the same ‘Math Solver Agent‘ using
different language models (‘gpt-4o‘, ‘claude-3-5-sonnet‘, ‘deepseek-chat‘)
2. Aggregate the results from the ‘Math Solver Agent‘ and return the final result
using majority voting.

通过这些实际应用案例，我们可以看到AutoAgent不仅在理论上具有创新性，而且在实际应用中也展现出了强大的功能和灵活性。无论是创意设计、金融分析还是高精度任务求解，AutoAgent都能通过自然语言交互，快速生成定制化的智能体和工作流，极大地简化了开发流程，降低了技术门槛。

下面，我们再一起看看这个框架的开源情况：

五、AutoAgent的安装与使用

安装步骤

git clone https://github.com/HKUDS/AutoAgent.git
cd AutoAgent
pip install -e .

Docker安装

这个框架会使用Docker来容器化智能体交互环境。需要先安装Docker。你无需手动拉取预构建镜像，因为框架会根据你的机器架构自动拉取预构建镜像。

API密钥设置

创建一个环境变量文件，就像.env.template一样，并为想要使用的LLM设置API密钥。并非每个LLM API密钥都是必需的，只需设置你需要的即可。

# 必须的GitHub令牌
GITHUB_AI_TOKEN=

# 可选的API密钥
OPENAI_API_KEY=
DEEPSEEK_API_KEY=
ANTHROPIC_API_KEY=
GEMINI_API_KEY=
HUGGINGFACE_API_KEY=
GROQ_API_KEY=
XAI_API_KEY=

以CLI模式启动

你可以运行auto main来启动AutoAgent的全部功能，包括用户模式、智能体编辑器和工作流编辑器。此外，你也可以运行auto deep-research来启动更轻量级的用户模式。

命令选项

• • --container_name：Docker容器的名称（默认：'deepresearch'）
• • --port：容器的端口（默认：12346）
• • COMPLETION_MODEL：指定要使用的LLM模型，应按照Litellm的名称设置模型名称。（默认：claude-3-5-sonnet-20241022）
• • DEBUG：启用调试模式以获取详细日志（默认：False）
• • API_BASE_URL：LLM提供商的基础URL（默认：None）
• • FN_CALL：启用函数调用（默认：None）。大多数情况下，你可以忽略这个选项，因为框架已经根据模型名称设置了默认值。
• • git_clone：将AutoAgent存储库克隆到本地环境（仅支持auto main命令，默认：True）
• • test_pull_name：测试拉取的名称。（仅支持auto main命令，默认：'autoagent_mirror'）

使用不同LLM提供商的auto main

Anthropic

• • 在.env文件中设置ANTHROPIC_API_KEY。

ANTHROPIC_API_KEY=your_anthropic_api_key

• • 运行以下命令以启动Auto-Deep-Research。

auto main # 默认模型是claude-3-5-sonnet-20241022

OpenAI

• • 在.env文件中设置OPENAI_API_KEY。

OPENAI_API_KEY=your_openai_api_key

• • 运行以下命令以启动Auto-Deep-Research。

COMPLETION_MODEL=gpt-4o auto main

Gemini - Google AI Studio

• • 在.env文件中设置GEMINI_API_KEY。

GEMINI_API_KEY=your_gemini_api_key

• • 运行以下命令以启动Auto-Deep-Research。

COMPLETION_MODEL=gemini/gemini-2.0-flash auto main

OpenAI-Compatible Endpoints（例如，Grok）

• • 在.env文件中设置OPENAI_API_KEY。

OPENAI_API_KEY=your_api_key_for_openai_compatible_endpoints

• • 运行以下命令以启动Auto-Deep-Research。

COMPLETION_MODEL=openai/grok-2-latest API_BASE_URL=https://api.x.ai/v1 auto main

OpenRouter（例如，DeepSeek-R1）

建议暂时使用OpenRouter作为DeepSeek-R1的LLM提供商，因为DeepSeek-R1的官方API无法高效使用。

• • 在.env文件中设置OPENROUTER_API_KEY。

OPENROUTER_API_KEY=your_openrouter_api_key

• • 运行以下命令以启动Auto-Deep-Research。

COMPLETION_MODEL=openrouter/deepseek/deepseek-r1 auto main

DeepSeek

• • 在.env文件中设置DEEPSEEK_API_KEY。

DEEPSEEK_API_KEY=your_deepseek_api_key

• • 运行以下命令以启动Auto-Deep-Research。

COMPLETION_MODEL=deepseek/deepseek-chat auto main

六、如何使用AutoAgent

AutoAgent的使用非常灵活，主要分为三种模式：

• • 用户模式（User Mode）
• • 智能体编辑器（Agent Editor）
• • 工作流编辑器（Workflow Editor）。

这些模式分别针对不同的使用场景和需求，让不同层次的用户都能轻松上手。

1. 用户模式（User Mode）

用户模式是AutoAgent最基础的使用方式，适合那些只需要简单交互的用户。在这种模式下，用户可以通过自然语言与智能体进行对话，完成各种任务。例如，你可以直接向智能体提问，或者要求它执行特定的操作，如搜索网络、分析文件等。用户模式非常适合那些没有技术背景的普通用户，因为它完全不需要任何编程知识。

2. 智能体编辑器（Agent Editor）

智能体编辑器模式是AutoAgent的核心功能之一，它允许用户通过自然语言创建和定制自己的智能体。用户可以定义智能体的名称、描述、输入输出格式以及它需要执行的任务。AutoAgent会根据用户的描述自动生成智能体的代码，并将其部署到环境中。这种模式非常适合那些需要定制化智能体来完成特定任务的用户，例如，你可以创建一个专门用于数据分析的智能体，或者一个用于创意写作的智能体。

3. 工作流编辑器（Workflow Editor）

工作流编辑器模式进一步扩展了AutoAgent的功能，它允许用户创建和管理多个智能体之间的协作流程。用户可以通过自然语言描述智能体之间的交互逻辑，AutoAgent会自动生成相应的工作流。这种模式非常适合那些需要多个智能体协同完成复杂任务的场景，例如，你可以创建一个工作流，让一个智能体负责数据收集，另一个智能体负责数据分析，最后由第三个智能体生成报告。

通过这三种模式，AutoAgent不仅能够满足普通用户的基本需求，还能为高级用户提供强大的定制化功能，真正实现了AI智能体开发的民主化。

七、AutoAgent的未来展望

AutoAgent让没有编程经验的用户也能轻松创建和定制AI智能体，为AI技术的广泛应用提供了强大的支持。

这个框架在零代码开发AI智能体方面迈出了重要一步。未来，开源团队会致力于增强其与更多工具平台的集成，进一步丰富智能体的功能。同时，优化工作流管理机制，使其能更智能地应对复杂任务，提升执行效率。此外，开发更友好的用户界面，降低使用门槛，让非技术用户也能轻松上手。在资源管理方面，进一步提高数据处理和模型优化的效率，确保系统在处理大规模数据时的稳定性和响应速度。这些改进将使AutoAgent更加强大和实用，推动AI技术的普及。