微信扫码
与创始人交个朋友
我要投稿
官方仓库:lagent[1]。
Lagent 是一个轻量级、开源的基于大语言模型的智能体(agent)框架,支持用户快速地将一个大语言模型转变为多种类型的智能体,并提供了一些典型工具为大语言模型赋能。它的整个框架图如下:
stream_chat
接口作流式输出,本地就能演示酷炫的流式 Demo。目前,官方的提供了四个agent。分别是:
其功能的用处,从其prompt即可识别出来。以internlm2_agent.py的prompt为例:
API_PREFIX = (
"This is the subfunction for tool '{tool_name}', you can use this tool. "
'The description of this function is: \n{description}')
META_CN = ('当开启工具以及代码时,根据需求选择合适的工具进行调用')
INTERPRETER_CN = ('你现在已经能够在一个有状态的 Jupyter 笔记本环境中运行 Python 代码。'
'当你向 python 发送含有 Python 代码的消息时,它将在该环境中执行。'
'这个工具适用于多种场景,如数据分析或处理(包括数据操作、统计分析、图表绘制),'
'复杂的计算问题(解决数学和物理难题),编程示例(理解编程概念或特性),'
'文本处理和分析(比如文本解析和自然语言处理),'
'机器学习和数据科学(用于展示模型训练和数据可视化),'
'以及文件操作和数据导入(处理CSV、JSON等格式的文件)。')
PLUGIN_CN = ('你可以使用如下工具:'
'\n{prompt}\n'
'如果你已经获得足够信息,请直接给出答案. 避免不必要的工具调用! '
'同时注意你可以使用的工具,不要随意捏造!')
该agent主要用于数据分析,并且提供了tools检索arxiv。
官方的示例是提供了一个标准的agent实现,我个人觉得是蛮标准的,尤其是action与prompt的设计。
部署起来的界面如下:
该示例demo来自官方代码的examples/internlm2_agent_web_demo.py。
ArxivSearch在源码的actions文件中定义并实现了,其对应是agent中的action。参考该源码,我们可以实现自己的agent action。
官方原先是放了一个react_web_demo.py,但现在删了;不过我额外找了个基于Llama3微调并实现了React agent的demo,见:llama3 react[2]。
根据提交记录,重新找到了该react代码,主要是我想借鉴下原先的方式,代码地址:react_webdemo[3]。感兴趣可以玩起来。
分析下ReAct代码:prompt的设计还是比较简略,对于自己的业务的话还是需要改造下,尤其是对于工具的调用。
lagent是一个轻量级的agent框架,其实现依靠与三个主要的抽象:
而集成自BaseAgent的各个Agent都会实现如上三个抽象类,即可完成自己的agent。在agent中实现流式调用输出,甚至是批量推理都是可以的,而且也有参考的agent实现。
官方代码中的四个agent还是很有参考价值的。整个的设计简洁又高效,相比较别的agent框架,的确是要更轻量级,非常方便入门学习以及了解LLM的很多基础知识。
lagent是一个轻量级很方便学习入门agent范式的框架,我自己也花了一天的时间部署试玩调试,感觉还是蛮不错的一个框架。当然对于要完成实际业务的agent,尤其是需要切合我们自己的业务的话,还是需要重新设计agent,但官方的实现是很好的参考,很方便借鉴的实现。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-09-20
【深度分析】OpenAI o1是最强的推理模型,却不是最强模型!
2024-09-20
我第一时间测试了Qwen2.5全家桶,很难相信这是开源模型
2024-09-19
一文彻底搞懂大模型 - Dify(Agent + RAG)
2024-09-19
Qwen2.5横空出世:从3B到72B,全面碾压同级对手
2024-09-19
突发!GPT-4o 级语音 Moshi 开源!
2024-09-19
Qwen2.5 全链路模型体验、下载、推理、微调、部署实战!
2024-09-19
通义千问Qwen2.5开源,媲美Llama3.1-405B
2024-09-19
Qwen 2.5 开源,API 打一折
2024-08-13
2024-05-06
2024-06-12
2023-07-01
2024-07-25
2024-07-08
2024-07-11
2024-07-18
2024-07-25
2024-06-16