我要投稿

langchain实现自定义LLM

发布日期：2024-07-02 08:12:59 浏览次数： 1947

背景

LangChain 提供了强大的框架和工具，使得开发者可以轻松地自定义和封装大型语言模型（LLM）。通过使用 LangChain，开发者可以突破对 OpenAI API Key 的依赖，并实现更加个性化和灵活的 LLM 应用。比如，我们有个很新很新的LLM，langchain还未提供对应的集成支持，如何在尽可能不修改原项目代码的情况下，封装自定义的大语言模型（LLM）模块呢？本文的目的就是带你一起探索如何利用langchain库快速封装自定义的LLM。自定义LLM常用于以下场景：

1. 用于封装langchain尚未支持的大型语言模型。对于新模型或者还未集成的模型自己封装实现支持。

2. 模拟测试。假设有个模型调用成本高，但是我们知道这个模型对于特定的输入大概返回什么样的结果，那么我们可以封装个自定义LLM，比如MOCK一个模块来模拟真实的模块，这样就无需每次耗费大量的token去从最开始的入口调用LLM。

3. 定义LLM模块被调用的时候，如何根据输入的文本来输出。这个就是定制自己调用的LLM方法。

实现思路

从实现的角度，我们依然是依照LLM的输入输出框架来定义，如下：

my_custom_llm = MyCustomLLM()print(my_custom_llm("你好啊！"))

需要继承 langchain_core.language_models.llms.LLM

至少实现 2个方法：_llm_type 和 _call。

简单示例

from typing import Any,List,Mapping,Optionalfrom langchain.llms.base importLLMfrom langchain.callbacks.manager importCallbackManagerForLLMRun

class MyCustomLLM(LLM):
@propertydef _llm_type(self) -> str:return "傻傻的LLM"
def _call(self,prompt: str,stop: Optional[List[str]] = None,run_manager: Optional[CallbackManagerForLLMRun] = None,**kwargs: Any,) -> str:if stop is not None:raise ValueError("stop kwargs are not permitted.")return "怎么啦？"

llm = MyCustomLLM()print(llm("你好"))print(llm("你怎么那么多问题？"))

答复：

怎么啦？怎么啦？

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

大模型开发 - 一文搞懂 LangChain（四）：Agents

2024-04-11

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

2024-05-19

OLLama通过pdf文档构建知识问答应用：使用OLLama和LangChain构建PDF Chat简易问答聊天助手

2024-04-12

一文搞懂大模型！基础知识、 LLM 应用、 RAG 、 Agent 与未来发展

2024-07-18

一文搞懂ChatGPT相关概念和区别：GPT、大模型、AIGC、LLM、Transformer、羊驼、LangChain…..

2024-04-08

一篇文章搞懂大模型应用框架：LangChain

2024-04-08

使用LangChain和LangGraph大幅提升RAG效果

2024-03-31

langchain和qwen实现tool工具代理的几种方式

2024-05-15

Langchain中使用Ollama提供的Qwen大模型进行Function Call实现天气查询、网络搜索

2024-06-03

基于llama3和langchain使用RAG搭建你的私有知识库！

2024-04-28

大家都在问

Neo4j + LangChain：如何构建基于知识图谱的最强RAG系统？

2024-08-27

当产品经理谈到用LLM Agent构建新一代智能体的时候，他们在说什么？

2024-08-18

LangChain全新Agent可视化工作流！你不能错过的LangChain科普！与LlamaIndex差别在哪儿？咱都要学吗？

2024-08-16

Langchain发布官方Agent IDE，不同于Dify/Coze的设计理念，能否获得开发者认可？

2024-08-04

AGI｜前方高能！一文了解大模型会话QA增强

2024-07-31

LangGraph，知多少？

2024-07-29

简单了解LangChain是什么?为什么需要它?

2024-07-28

智能体革新：AutoGen如何引领下一代LLM应用开发？

2024-07-27

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯