微信扫码
与创始人交个朋友
我要投稿
概述
本文介绍如何通过llamaindex的Agent来调用多个自定义的Agent工具函数。同以上系列文章一样,本文不使用openai的接口,完全使用本地大模型来完成整个功能。
本文要实现的是:本文要实现的功能非常简单,就是把大模型的回答保存到pdf文件,同时还要保存到数据库(不实际保存,只是调用对应的函数和打印而已)。
我的环境是一台虚拟机,CPU,配置如下:
cpu类型: x86
核数:16核
内存:32G
(1)自己定义2个Agent函数:一个用来把数据保存到pdf文件中,一个用来把数据保存到数据库中;
(2)通过FunctionTool对函数进行封装:要注意封装后的函数名,需要和定义的函数名相同。
(3)创建LLM对象:这里我是使用的是Ollama来使用本地大模型llama3.2定义一个LLM对象。这里可以使用不同的LLM模型,得到的效果可能不同。可以根据自己的需要来设置model参数的值,来设置模型名。
(4)创建ReActAgent对象,来创建一个agent对象
(5)使用agent.chat来和agent对话,让agent和LLM来完成工作。
注意:对话的内容非常重要,也就是提示词(prompt)的写法非常重要,提示词写的不好,大模型的表现也不同,所以提示词工程(Prompt Engineering)是基础,需要好好掌握。
from llama_index.llms.ollama import Ollama
from llama_index.core.agent import ReActAgent
from llama_index.core.tools import FunctionTool
from fpdf import FPDF # 使用 fpdf 库来生成 PDF 文件
# 定义一个将响应内容写入 PDF 的工具函数
def save_response_to_pdf(response: str, **kwargs) -> str:
"""Save the response to a PDF file."""
# 初始化 PDF
pdf = FPDF()
pdf.add_page()
pdf.set_font("Arial", size=12)
# 写入响应内容到 PDF
pdf.cell(200, 10, txt="Agent Response:", ln=True, align='L')
pdf.multi_cell(0, 10, txt=response)
# 保存 PDF 文件
pdf_filename = "agent_response.pdf"
pdf.output(pdf_filename)
print(f"Response saved to {pdf_filename}.")
return f"Response saved to PDF as {pdf_filename}."
# 将response保存到数据库中
def save_response_to_database(response: str, **kwargs) -> str:
"""Save the response to database."""
db="testdb"
print(f"Response saved to {db}.")
return f"Response saved to database: {db}."
# 将工具函数封装为 FunctionTool
save_response_to_pdf_tool = FunctionTool.from_defaults(fn=save_response_to_pdf)
save_response_to_database = FunctionTool.from_defaults(fn=save_response_to_database)
# 设置 LLM 和 Agent
llm = Ollama(model="llama3.2", request_timeout=360)
# 创建一个agent
agent = ReActAgent.from_tools([save_response_to_pdf_tool, save_response_to_database], llm=llm, verbose=True)
# 告诉Agent我要做什么,注意:这个提示词非常重要
response = agent.chat("Please answer the question: 'who are you?'. And then save the answer to pdf file and save the answer to database!")
print(str(response))
> Running step 071bc01e-2c1c-4cc1-9dfc-db2c5ad45ec7. Step input: Please answer the question: 'who are you?'. And then save the answer to pdf file and save the answer to database!
Thought: The current language of the user is: English. I need to use a tool to help me answer the question.
Action: save_response_to_pdf
Action Input: {'response': 'I am an AI designed to simulate conversations and answer questions to the best of my knowledge.'}
Response saved to agent_response.pdf.
Observation: Response saved to PDF as agent_response.pdf.
> Running step a3f702b2-38e4-4803-a21a-81ff28a0bd04. Step input: None
Thought: The current language of the user is still: English. I need to save the response to database.
Action: save_response_to_database
Action Input: {'response': 'I am an AI designed to simulate conversations and answer questions to the best of my knowledge.', 'database': 'my_database'}
Response saved to testdb.
Observation: Response saved to database: testdb.
> Running step 545e0098-cf18-47d4-ba6a-748bdaca3b58. Step input: None
Thought: I can answer without using any more tools. I'll use the user's language to answer
Answer: I am an AI designed to simulate conversations and answer questions to the best of my knowledge.
I am an AI designed to simulate conversations and answer questions to the best of my knowledge.
从以上输出可以看出,大模型正确理解了我们的意图,并进行了很好的规划,完成了我想要做的每个步骤。
通过Agent来调用多个自定义函数,就是把多个自定义函数放到工具函数列表中。最重要的是,要编写好提示词,让大模型正确理解我们需要完成的任务。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-12-17
llamaindex实战-ChatEngine-Context(上下文)模式
2024-12-01
LlamaIndex,让AI唤醒你的数据
2024-11-29
llamaindex实战-Agent-自定义工具函数
2024-11-19
llamaindex实战-Workflow:工作流入门(本地部署断网运行)
2024-11-15
llamaindex实战-Agent-在Agent中使用RAG查询(本地部署)
2024-11-07
深度解析 REAcT Agent 的实现:利用 LlamaIndex 和 Gemini 提升智能代理工作流
2024-11-04
手把手教你用Coze零代码搭建一个智能搜索智能体,高时效性、保姆级!
2024-10-11
深入解析LlamaIndex Workflows【下篇】:实现ReAct模式AI智能体的新方法
2024-07-09
2024-04-20
2024-06-05
2024-04-25
2024-04-28
2024-05-09
2024-07-20
2024-04-26
2024-06-19
2024-04-08