AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


llamaindex实战-Agent-让Agent调用多个工具函数(本地部署)
发布日期:2024-11-22 06:03:03 浏览次数: 1509 来源:大数据架构师修行之路


概述

本文介绍如何通过llamaindex的Agent来调用多个自定义的Agent工具函数。同以上系列文章一样,本文不使用openai的接口,完全使用本地大模型来完成整个功能。

本文要实现的是:本文要实现的功能非常简单,就是把大模型的回答保存到pdf文件,同时还要保存到数据库(不实际保存,只是调用对应的函数和打印而已)。


运行环境

我的环境是一台虚拟机,CPU,配置如下:

  • cpu类型: x86

  • 核数:16核

  • 内存:32G


实现步骤:

(1)自己定义2个Agent函数:一个用来把数据保存到pdf文件中,一个用来把数据保存到数据库中;

(2)通过FunctionTool对函数进行封装:要注意封装后的函数名,需要和定义的函数名相同。

(3)创建LLM对象:这里我是使用的是Ollama来使用本地大模型llama3.2定义一个LLM对象。这里可以使用不同的LLM模型,得到的效果可能不同。可以根据自己的需要来设置model参数的值,来设置模型名。

(4)创建ReActAgent对象,来创建一个agent对象

(5)使用agent.chat来和agent对话,让agent和LLM来完成工作。

注意:对话的内容非常重要,也就是提示词(prompt)的写法非常重要,提示词写的不好,大模型的表现也不同,所以提示词工程(Prompt Engineering)是基础,需要好好掌握。


实现代码

from llama_index.llms.ollama import Ollama
from llama_index.core.agent import ReActAgent
from llama_index.core.tools import FunctionTool
from fpdf import FPDF  # 使用 fpdf 库来生成 PDF 文件

# 定义一个将响应内容写入 PDF 的工具函数
def save_response_to_pdf(response: str, **kwargs) -> str:
   """Save the response to a PDF file."""
   # 初始化 PDF
   pdf = FPDF()
   pdf.add_page()
   pdf.set_font("Arial", size=12)
   # 写入响应内容到 PDF
   pdf.cell(200, 10, txt="Agent Response:", ln=True, align='L')
   pdf.multi_cell(0, 10, txt=response)
   # 保存 PDF 文件
   pdf_filename = "agent_response.pdf"
   pdf.output(pdf_filename)
   
   print(f"Response saved to {pdf_filename}.")
   return f"Response saved to PDF as {pdf_filename}."

# 将response保存到数据库中
def save_response_to_database(response: str, **kwargs) -> str:
   """Save the response to database."""
   db="testdb"
   print(f"Response saved to {db}.")
   return f"Response saved to database: {db}."

# 将工具函数封装为 FunctionTool
save_response_to_pdf_tool = FunctionTool.from_defaults(fn=save_response_to_pdf)
save_response_to_database = FunctionTool.from_defaults(fn=save_response_to_database)

# 设置 LLM 和 Agent
llm = Ollama(model="llama3.2", request_timeout=360)
# 创建一个agent
agent = ReActAgent.from_tools([save_response_to_pdf_tool, save_response_to_database], llm=llm, verbose=True)

# 告诉Agent我要做什么,注意:这个提示词非常重要
response = agent.chat("Please answer the question: 'who are you?'. And then save the answer to pdf file and save the answer to database!")
print(str(response))


运行结果:


> Running step 071bc01e-2c1c-4cc1-9dfc-db2c5ad45ec7. Step input: Please answer the question: 'who are you?'. And then save the answer to pdf file and save the answer to database!
Thought: The current language of the user is: English. I need to use a tool to help me answer the question.
Action: save_response_to_pdf
Action Input: {'response': 'I am an AI designed to simulate conversations and answer questions to the best of my knowledge.'}
Response saved to agent_response.pdf.
Observation: Response saved to PDF as agent_response.pdf.

> Running step a3f702b2-38e4-4803-a21a-81ff28a0bd04. Step input: None
Thought: The current language of the user is still: English. I need to save the response to database.
Action: save_response_to_database
Action Input: {'response': 'I am an AI designed to simulate conversations and answer questions to the best of my knowledge.', 'database': 'my_database'}
Response saved to testdb.
Observation: Response saved to database: testdb.

> Running step 545e0098-cf18-47d4-ba6a-748bdaca3b58. Step input: None
Thought: I can answer without using any more tools. I'll use the user's language to answer
Answer: I am an AI designed to simulate conversations and answer questions to the best of my knowledge.
I am an AI designed to simulate conversations and answer questions to the best of my knowledge.

从以上输出可以看出,大模型正确理解了我们的意图,并进行了很好的规划,完成了我想要做的每个步骤。


小结

通过Agent来调用多个自定义函数,就是把多个自定义函数放到工具函数列表中。最重要的是,要编写好提示词,让大模型正确理解我们需要完成的任务。


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询