我要投稿

我的RAG之路 - AnythingLLM 介绍篇

发布日期：2024-09-07 07:14:52 浏览次数： 2102 来源：码农随心笔记

AnythingLLM是什么鬼？

AnythingLLM 是一个开源项目，这意味着各位同学个人是可以免费使用的，它的诞生旨在提供一个高效、可定制、开源的企业级文档聊天机器人解决方案。它能够将任何文档、资源或内容片段转化为大语言模型（LLM）在聊天中可以利用的相关上下文。AnythingLLM 支持多用户实例和权限管理，具有全新的可嵌入式聊天小部件，适用于网站，支持多种文档类型，如 PDF、TXT、DOCX 等，并通过简单的用户界面管理向量数据库中的文档。

AnythingLLM是一个全栈应用程序，您可以使用现成的商业大语言模型或流行的开源大语言模型，再结合向量数据库解决方案构建一个私有ChatGPT，不再受制于人：您可以本地运行，也可以远程托管，并能够与你提供的任何文档智能聊天。

AnythingLLM将你的文档片段化后划分在`workspaces` (工作区)中。工作区的功能类似于线程，同时增加了文档的容器化存放方式。工作区可以共享文档，但工作区之间的内容不会互相串扰，因此可以保持每个工作区的上下文是清晰的。

此外，AnythingLLM 推出了桌面应用，支持 MacOS、Windows 和 Linux 操作系统，并默认通过 Ollama 使用 LLama2 7B、Mistral 7B、Gemma 2B 等模型，也可以调用 OpenAI、Gemini、Mistral 等大模型的 API 服务

感兴趣的同学可以去看看：

Github：https://github.com/Mintplex-Labs/anything-llm

官网文档：https://docs.anythingllm.com/

AnythingLLM的功能

1. 多用户管理: 支持多用户和权限控制，适合团队协作。

2. AI Agent 功能: 内置强大的 AI Agent，能够执行网页浏览、代码运行等复杂任务。

3. 可嵌入聊天窗口: 支持将聊天窗口嵌入到网站或应用中，提供 AI 驱动的对话体验。

4. 文件格式支持: 支持多种文档类型，如 PDF、TXT、DOCX 等。

5. 向量数据库管理: 提供界面管理向量数据库中的文档，方便知识管理。

6. 对话模式: 支持聊天和查询两种对话模式，适应不同场景。

7. 信息来源追踪: 在聊天中提供引用的文档内容，方便追溯信息来源。

8. 云部署和本地部署: 支持完全云部署，也支持本地部署。

9. 自定义 LLM 模型: 可以使用自己的 LLM 模型，提供更高的定制化程度。

10. 处理大型文档: 高效处理大型文档，降低成本。

11. 开发者 API: 提供全套开发者 API，方便自定义集成。

12. 知识库构建: 能够将文档、网页链接、音视频文件等转化为 LLM 可以理解的上下文信息。

13. 本地知识库问答: 利用构建的本地知识库，实现问答功能。

14. 工作区管理: 引入工作区概念，作为文档的容器，保持上下文清晰。

15. 安全性和隐私保护: 确保用户数据安全，支持完全离线运行。

16. 成本优化: 通过一次性处理与存储文档，降低运营成本。

17. 易用性: 提供简单易用的界面，便于管理和操作。

18. 灵活性和扩展性: 架构设计考虑了灵活性和扩展性，允许企业根据自身需求进行定制和集成。

AnythingLLM vs. OpenWebUI

我之前大幅篇章介绍过Open-WebUI，大家是否觉得 AnythingLLM 与 Open-WebUI 功能很类似，它们都可以通过Web端与大模型聊天，而AnythingLLM重要的不同之处是配备了强大的RAG功能，可以上传自有知识库让大模型回答的问题可以使用知识库。

什么？Open-WebUI也有RAG功能

，哦哦，等我深入了解之后，或许以后开篇介绍。本篇先了解AnythingLLM。

AnythingLLM 和 OpenwebUI 都是围绕本地大模型构建的工具，但它们的侧重点和用途有所不同。

AnythingLLM 是一个开源的企业级文档聊天机器人解决方案。它主要针对企业级应用，提供了多用户管理和权限控制、AI Agent 功能、可嵌入聊天窗口、广泛的文件格式支持、向量数据库管理、灵活的对话模式、信息来源追踪、多种部署方式、自定义 LLM 模型、高效处理大型文档以及开发者友好的全套开发者 API 等功能。AnythingLLM 的核心优势在于其能够将任何文档、网页链接、音视频文件甚至只是一段文字转化为大型语言模型可以理解的上下文信息，并在聊天过程中作为参考，尤其适合构建私有的、本地知识库。

OpenwebUI 是一个可扩展的、功能丰富的、用户友好的自托管网页应用，旨在完全离线运行，并支持各种大型语言模型（LLM）运行程序，包括与 Ollama 和 OpenAI 兼容的 API 。OpenwebUI 提供了仿照 ChatGPT 设计的用户界面，支持响应式设计、代码语法高亮、Markdown 和 LaTeX 支持、集成文档互动以及网页浏览功能。它的主要作用是为用户提供一个美观、易于使用的前端界面来与本地或远程的大型语言模型进行交互。

总的来说，AnythingLLM 更多地被设计为一个重点关注后端处理和知识管理的工具，而 OpenwebUI 则提供了一个前端界面，使得用户能够方便地与大型语言模型进行交互。两者可以结合使用，据说可以通过 OpenwebUI 提供的前端界面来操作 AnythingLLM 的后端功能，实现更加丰富和个性化的本地大模型应用体验，有兴趣的同学可以尝试部署一个OpenwebUI + AnythingLLM的应用。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

太强了！10大开源大模型！

2024-05-06

Ollama 本地运行大模型(LLM)完全指南

2024-07-25

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

2024-06-12

如何免费使用 Claude AI？Claude使用指南！

2024-07-11

中医大模型，开源！

2024-06-16

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

2024-07-20

QWEN2.5开源上新，14B/32B回归实测：这就是最强单卡本地模型！

2024-09-20

开源医疗大模型Llama3-Aloe-8B-Alpha，性能超越 MedAlpaca 和 PMC-LLaMA

2024-06-15

教你使用Ollama在本地跑Llama3.1

2024-07-25

大家都在问

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

2024-12-20

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

2024-12-19

不可思议！AirLLM 如何让 70B 大模型在 4GB GPU 上顺利推理？

2024-11-22

从浏览器自动化到个人助手，Skyvern又悄悄占据了AI市场的一席之地？

2024-11-19

这家小公司的700 亿参数模型竟然比Open o1还强？

2024-11-13

Ollama 更新！本地跑 LLama3.2，轻量级+视觉能力，能媲美GPT-4o？

2024-11-13

NotebookLM+AI播客到底是什么神仙组合？

2024-10-07

阿里巴巴发布Qwen2.5，对标GPT o1？

2024-09-22

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

太强了！10大开源大模型！

Ollama 本地运行大模型(LLM)完全指南

开源项目Composio：突破 AI 智能体开发的边界

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

如何免费使用 Claude AI？Claude使用指南！

中医大模型，开源！

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

QWEN2.5开源上新，14B/32B回归实测：这就是最强单卡本地模型！

开源医疗大模型Llama3-Aloe-8B-Alpha，性能超越 MedAlpaca 和 PMC-LLaMA

教你使用Ollama在本地跑Llama3.1

大家都在问

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

不可思议！AirLLM 如何让 70B 大模型在 4GB GPU 上顺利推理？

从浏览器自动化到个人助手，Skyvern又悄悄占据了AI市场的一席之地？

这家小公司的700 亿参数模型竟然比Open o1还强？

Ollama 更新！本地跑 LLama3.2，轻量级+视觉能力，能媲美GPT-4o？

NotebookLM+AI播客到底是什么神仙组合？

阿里巴巴发布Qwen2.5，对标GPT o1？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

太强了！10​大开源大模型！

Ollama 本地运行大模型(LLM)完全指南

开源项目Composio：突破 AI 智能体开发的边界

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

如何免费使用 Claude AI？Claude使用指南！

中医大模型 ，开源！

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

QWEN2.5开源上新，14B/32B回归实测：这就是最强单卡本地模型！

开源医疗大模型Llama3-Aloe-8B-Alpha，性能超越 MedAlpaca 和 PMC-LLaMA

教你使用Ollama在本地跑Llama3.1

大家都在问

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

不可思议！AirLLM 如何让 70B 大模型在 4GB GPU 上顺利推理？

从浏览器自动化到个人助手，Skyvern又悄悄占据了AI市场的一席之地？

这家小公司的700 亿参数模型竟然比Open o1还强？

Ollama 更新！本地跑 LLama3.2，轻量级+视觉能力，能媲美GPT-4o？

NotebookLM+AI播客到底是什么神仙组合？

阿里巴巴发布Qwen2.5，对标GPT o1？

热门标签

太强了！10大开源大模型！

中医大模型，开源！