前言

在人工智能快速发展的当下，如何推进AI有效地落地成为了大家讨论得比较多的一个话题，其中AI Agent是其中的一个典型代表。而RAG作为获取行业关联数据的关键工具，也是AI Agent中不可或缺的组成部分。在GraphRAG横空出世后，我们一直在讨论GraphRAG会成为AI原生应用中RAG的终局吗？今天本文来将重点将GraphRAG与本地的大模型结合来进行落地。

?️ GraphRAG Local with Interactive UI

欢迎使用 GraphRAG Local with Interactive UI！这是微软 GraphRAG^[1] 的一个改编版本，专为支持本地模型并具有全面的交互用户界面而设计。该 UI 的目标是提供一个易于使用且完全可配置的前端，可作为本地 LLM 的 GraphRAG 库的后端。一旦所有问题解决后，你可以直接使用你的 GraphRAG 目录（或使用仓库中提供的目录），并上传文档以立即开始索引和查询。

? 研究论文

有关原始 GraphRAG 实现的更多详细信息，请参阅 GraphRAG 论文^[2]。

? 特性

•本地模型支持：利用本地模型进行 LLM 和嵌入，包括与 Ollama 和 OpenAI 兼容的 API。•成本效益：通过使用自己的本地模型，消除对昂贵的基于云的模型的依赖。•交互 UI：用户友好的界面，用于管理数据、运行查询和可视化结果。•实时图形可视化：使用 Plotly 以 2D 或 3D 可视化你的知识图谱。•文件管理：从 UI 中直接上传、查看、编辑和删除输入文件。•设置管理：通过 UI 轻松更新和管理你的 GraphRAG 设置。•输出探索：浏览和查看索引输出和工件。•日志记录：实时日志记录以便更好地调试和监控。•灵活查询：支持全局、本地和直接聊天查询，并具有可自定义的参数。

?️ 路线图

重要提示：GraphRAG Local UI 目前正在进行重大改进，围绕 GraphRAG 库构建 UI 引入了许多挑战，主要在索引过程中。查询工作非常出色，提供了多种方法来轻松全面地利用 GraphRAG 库查询已索引的数据。随着我努力使应用程序在本地 LLMs 上更加稳定，用户可能会遇到一些错误和重大变化。我感谢你在此开发阶段的耐心和反馈。如果在我调试时运行这个 Gradio 应用程序时遇到索引问题，你通常可以直接在终端中运行它，并且 80-90% 的时间可以正常工作。

这个应用程序的受欢迎程度超出了预期，因此我们正在积极修复错误并整合建议的改进。虽然它目前是可用的，但主要在 Mac Studio M2 上进行了测试。

我对 GraphRAG Local UI 的愿景是成为本地 LLMs 的终极 GraphRAG 应用程序，尽可能多地集成各种酷炫功能和知识图谱工具。我不断在改进和添加新功能。

最近更新

•LLM 无关：使用 Ollama 或设置自己的基本 URL 和本地模型进行 LLM 和嵌入•自定义可配置图形可视化•预设查询/索引库选项，快速轻松利用所有 GraphRAG 参数

即将推出的功能

•Dockerfile：便于部署•启动你自己的 GraphRAG API 服务器，供外部应用程序使用•实验：混合代理进行知识图谱的索引/查询•支持更多文件格式（CSV、PDF 等）•网络搜索/抓取功能•增强的错误处理和用户反馈•改进的性能和可扩展性•高级图形分析工具•与流行知识管理工具的集成•团队协作的知识图谱构建功能

我致力于使 GraphRAG Local UI 成为处理知识图谱和 LLMs 的最全面和用户友好的工具。你的反馈和建议对于塑造这个项目的未来至关重要。

如果遇到错误，请随时打开 Issue，我们将尽快处理，以尽量减少你的停机时间。

? 安装和设置

按照以下步骤设置和运行 GraphRAG Local with Interactive UI：

1. 创建并激活新的 conda 环境：

conda create -n graphrag-local -yconda activate graphrag-local

2. 安装所需的软件包：

pip install -r requirements.txt

3. 启动交互式 UI：

gradio app.py

或

python app.py

4. 访问 UI：

打开你的浏览器并导航到 http://localhost:7860 以访问 GraphRAG Local UI。

使用 GraphRAG Local UI

数据管理

文件上传:

1.导航到“数据管理”标签。2.使用“文件上传”部分将 .txt 文件上传到输入目录。

文件管理:

1.在“文件管理”部分查看、编辑和删除已上传的文件。2.使用“刷新文件列表”按钮更新可用文件列表。

索引

配置索引:

1.进入“索引”标签。2.设置根目录（默认是"./ragtest"）。3.可选地上传配置文件。4.调整其他参数，如详细程度、缓存和输出格式。

运行索引:

1.点击“运行索引”开始索引过程。2.通过输出框和进度条实时监控进度。3.如果需要停止进程，请使用“停止索引”。

KG Chat/输出

探索已索引数据:

1.从下拉列表中选择一个输出文件夹。2.浏览文件夹内容并查看文件信息和内容。

可视化图谱:

1.从输出文件夹中选择一个 GraphML 文件。2.点击“可视化图谱”生成知识图谱的 2D 或 3D 可视化。3.使用“可视化设置”手风琴自定义可视化。

LLM 设置

配置 LLM 和嵌入:

1.设置 LLM 和嵌入的 API 基础 URL 和密钥。2.选择服务类型（OpenAI 兼容或 Ollama）。3.从下拉列表中选择模型或刷新列表。

调整参数:

1.设置系统消息、上下文窗口、温度和最大 tokens。2.点击“更新 LLM 设置”保存更改。

查询

选择查询类型:

1.在全局、本地或直接聊天查询之间选择。

选择预设或自定义选项:

1.选择预设查询选项或自定义查询参数。

输入查询:

1.在输入框中输入查询，然后点击“发送查询”或按 Shift+Enter。

查看结果:

1.在聊天界面查看聊天记录和响应。

其他设置

在“YAML 设置”标签中根据需要调整其他 GraphRAG 设置。

?️ 自定义

用户可以尝试不同的模型和设置:

1.对于 OpenAI 兼容的 API: 使用任何兼容 OpenAI API 格式的模型。2.对于 Ollama: 使用如 llama2、mistral、phi-2 等模型。点击这里^[3]查看 Ollama 模型的完整列表。

? 可视化

UI 包括 2D/3D 图形可视化功能:

1.对数据运行索引。2.进入“KG Chat/输出”标签。3.选择最新的输出文件夹并导航到 GraphML 文件。4.点击“可视化图谱”按钮。5.使用提供的设置自定义可视化。

? 高级用法

自定义 CLI 参数:

在查询界面，高级用户可以添加自定义 CLI 参数，以更细粒度地控制查询过程。

? 引用

•微软的原始 GraphRAG 仓库: GraphRAG^[4]

故障排除

1.如果无法运行 gradio app.py，请尝试运行 pip install --upgrade gradio，然后退出并启动一个新终端。它应该会作为 Gradio 应用程序正确加载和启动。2.在 Windows 上，如果遇到编码/UTF 错误，可以在 YAML 设置菜单中将其更改为正确的格式。3.索引错误：这些错误依赖于你的特定 LLM 和嵌入管道，当前索引工作流似乎无论如何都会调用 /v1/embeddings，但我找到了一种允许 Ollama 和其他本地选项的解决方案。我会继续强化索引过程，使其更加稳定和健壮。

如有任何问题或功能请求，请在 GitHub 仓库上打开一个 issue。祝你知识图谱愉快！