微信扫码
与创始人交个朋友
我要投稿
最近一直想基于RAG(检索增强生成,Retrieval-Augmented Generation)和大语言模型(Large Language Model, LLM)技术搭建一套属于自己的个人知识库,以为会涉及到诸多复杂的流程,包括模型调用、界面开发等。今天找到了一点资料,发现特别简单,花了几分钟实现了一下,主要用到了三个软件:
大预言模型已经很常见了,包括ChatGPT、Claude、通义千问等等,此处就不再过多介绍了,这里主要介绍用到的几个软件和基本技术。
检索增强生成(RAG)是指对大型语言模型输出进行优化,使其能够在生成响应之前引用训练数据来源之外的权威知识库。大型语言模型(LLM)用海量数据进行训练,使用数十亿个参数为回答问题、翻译语言和完成句子等任务生成原始输出。在 LLM 本就强大的功能基础上,RAG 将其扩展为能访问特定领域或组织的内部知识库,所有这些都无需重新训练模型。这是一种经济高效地改进 LLM 输出的方法,让它在各种情境下都能保持相关性、准确性和实用性。
与RAG并生的另一种技术叫监督式微调(SFT),是将LLM模型注入新的知识库并将模型本身进行训练以获得所需要的结果,需要有一定的硬件设备。两种技术并不矛盾,其实互相结合才是最好的解决方案。本文不对此过多介绍,具体可网上搜索相关概念。
ollama是一个开源的大型语言模型服务工具,它允许用户在自己的硬件环境中轻松部署和使用大规模预训练模型。 Ollama 的主要功能是在Docker容器内部署和管理大型语言模型(LLM),使得用户能够快速地在本地运行这些模型。 Ollama官网地址:https://ollama.com/
Docker 是一个软件平台,让您可以快速构建、测试和部署应用程序。Docker 将软件打包成名为容器的标准化单元,这些单元具有运行软件所需的所有功能,包括库、系统工具、代码和运行时。使用 Docker,可以将应用程序快速部署和扩展到任何环境中。
Docker官网地址:https://www.docker.com/
AnythingLLM是由Mintplex Labs Inc.开发的一个全栈应用程序,是一款高效、可定制、开源的企业级文档聊天机器人解决方案。 它能够将任何文档、资源或内容片段转化为大语言模型在聊天中可以利用的相关上下文。 AnythingLLM支持几乎所有的主流大模型和多种文档类型,可定制化,而且安装和设置简单。
下载Ollama(网址:https://ollama.com/download)
下载直接一路Next即可
在Ollama官网下载基准大预言模型,点击Models-Filter by name。我这里用的qwen2
我这里选择了qwen2:7b模型,大小为4.4G。
双击图标,运行ollama。之后,打开终端,windows电脑:win+cmd;mac电脑:图标终端。粘贴刚刚复制的命令,回会车,即可自动下载模型(可能网络会有些问题)
进一步,直接可以对话提问了。(不要关闭)
其实,AnythingLLM也有自己的界面,这里我们直接在Docker里面安装。
ctrl+K
或command+K
,搜索AnythingLLM
,并点击Pull
,自动开始下载Images
,在右侧的镜像列表中点击AnythingLLM,再点击run
启动镜像。AnythingLLM Embedder
;Vector Database向量库默认选择LanceDB
本期属于不务正业,基于RAG的个人本地知识库搭建还是很简单的,后面尝试把专业相关的知识注入进去,方便自己的个人知识库检索。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-11-23
FastRAG半结构化RAG实现思路及OpenAI O1-long COT蒸馏路线思考
2024-11-23
检索增强生成(RAG):解密AI如何融合记忆与搜索
2024-11-23
如何提高RAG系统准确率?12大常见痛点及巧妙解!
2024-11-23
RAG 2.0性能提升:优化索引与召回机制的策略与实践
2024-11-22
RAG技术在实际应用中的挑战与解决方案
2024-11-22
从普通RAG到RAPTOR,10个最新的RAG框架
2024-11-22
如何使用 RAG 提高 LLM 成绩
2024-11-21
提升RAG性能的全攻略:优化检索增强生成系统的策略大揭秘 | 深度好文
2024-07-18
2024-05-05
2024-07-09
2024-05-19
2024-07-09
2024-06-20
2024-07-07
2024-07-07
2024-07-08
2024-07-09
2024-11-06
2024-11-06
2024-11-05
2024-11-04
2024-10-27
2024-10-25
2024-10-21
2024-10-21