检索增强生成（RAG）技术及其进阶版本GraphRAG，通过设置环境和使用Ollama实现应用。1 理解检索增强生成（RAG）

检索增强生成（RAG）技术通过融合检索得到的文档和用户输入的查询，为语言模型注入了额外的上下文信息。这种结合不仅丰富了模型的知识库，还提升了其回答的准确性和相关性。

例如，当用户提出涉及特定个人信息或商业数据的问题时，RAG能够从预设的数据源中提取关键信息，辅助模型给出更加精准的答复。

简而言之，RAG技术就像是给语言模型配备了一个智能的背景知识库，使其在面对复杂问题时，能够做出更加明智的回应。

2 GraphRAG：通过图形结构增强上下文

GraphRAG技术在传统RAG的基础上更进一步，通过构建信息的图形网络，实现了对数据的深度理解和应用。这不仅仅是简单地检索相关文档，更重要的是能够洞察文档中实体间的复杂联系。

举个例子，假设数据集中包含了纽约、洛杉矶和芝加哥等城市的信息。GraphRAG不仅能够检索到这些城市的相关资料，还能识别并利用它们之间的各种关系，比如纽约与洛杉矶之间的贸易伙伴关系，或是洛杉矶与芝加哥之间的文化交流项目。

这样的技术使GraphRAG在处理信息时能够展现出更为丰富的洞察力和更深层次的分析能力。

3 设置环境

源码地址：

https://github.com/aniket-work/why_graphRAG_such_game_changer

创建虚拟环境：

python -m venv why_graphRAG_such_game_changer

激活环境：

why_graphRAG_such_game_changer\Scripts\activate   (Windows)

source why_graphRAG_such_game_changer/bin/activate  (Unix/macOS

安装依赖项：

cd path/to/your/project
pip install -r requirements.txt

使用Ollama拉取必要的模型：

ollama pull mistral
ollama pull nomic-embed-text

安装Ollama：

• 访问Ollama官方网站：https://ollama.ai/
• 下载适合的操作系统的版本（Windows、macOS或Linux）。
• 按照操作系统提供的安装说明进行操作。
• 安装完成后，打开终端或命令提示符。
• 通过运行以下命令来验证安装：

ollama --version

初始化和使用GraphRAG：

python -m graphrag.index --init --root ragtest

下载数据

你可以下载任何你喜欢的数据，已经将一个小型的、基于场景的、面向关系的故事情节检查并放入了“input”文件夹中。

4 初始化过程

运行命令python -m graphrag.index --init --root ragtest初始化GraphRAG时，以下一系列操作将会自动进行：

创建配置文件：

• .env：此文件包含运行GraphRAG管道所需的环境变量。它通常包括用于OpenAI API或Azure OpenAI端点的API密钥。例如：

  GRAPHRAG_API_KEY=<API_KEY>
  

• settings.yaml：此文件保存GraphRAG管道的设置。可以修改此文件以调整各种管道设置，例如Azure OpenAI的API基础、版本和部署名称。例如：

  llm:
    type: azure_openai_chat
    api_base: https://<instance>.openai.azure.com
    api_version: 2024-02-15-preview
    deployment_name: <azure_model_deployment_name>
  

• prompts/：此目录包含GraphRAG使用的默认提示。这些提示指导大型语言模型（LLM）生成回答。可以修改这些提示或运行自动提示调整命令以生成适应你数据的新提示。

5 目的和用途

• .env 文件：

• 目的：存储环境变量，包括用于验证对OpenAI或Azure OpenAI服务请求的API密钥。
• 用途：此文件由GraphRAG系统引用，以访问必要的凭据和配置设置。

• settings.yaml 文件：

• 目的：包含GraphRAG管道的详细配置设置，如API端点、模型版本和部署名称。
• 用途：此文件用于自定义GraphRAG管道的行为，允许用户指定使用哪个LLM以及如何与之交互。

• prompts/ 目录：

• 目的：保存默认的LLM提示，指导模型生成回答。这些提示可以根据你的数据的具体需求进行定制。
• 用途：用户可以修改提示以提高生成回答的准确性和相关性。该目录还支持运行自动提示调整命令以创建新的、特定于数据的提示。

6 修改 settings.yaml

由于我们打算在本地运行graphRAG，需要对默认的 settings.yaml 文件进行一些更改。

encoding_model: cl100k_base
skip_workflows: []
llm:
  api_key: ${GRAPHRAG_API_KEY}
  type: openai_chat
  model: mistral
  model_supports_json: true
api_base: http://localhost:11434/v1
parallelization:
  stagger: 0.3
async_mode: threaded
embeddings:
  async_mode: threaded
  llm:
    api_key: ${GRAPHRAG_API_KEY}
    type: openai_embedding
    model: nomic_embed_text
    api_base: http://localhost:11434/api

7 修改以使用 Ollama 嵌入

GraphRAG 本身不支持 Ollama 嵌入模型，但可以通过修改 GraphRAG 库中的特定文件来添加此支持。通过编辑 openai_embeddings_llm.py 文件，我们可以启用使用 Ollama 嵌入模型。这涉及导入必要的模块并更新代码以调用 Ollama 的嵌入函数，允许我们在 GraphRAG 管道中利用高级嵌入。

以下是如何更新 openai_embeddings_llm.py 文件的方法：

from typing_extensions import Unpack
from graphrag.llm.base import BaseLLM
from graphrag.llm.types import EmbeddingInput, EmbeddingOutput, LLMInput
from .openai_configuration import OpenAIConfiguration
from .types import OpenAIClientTypes
import ollama

class OpenAIEmbeddingsLLM(BaseLLM[EmbeddingInput, EmbeddingOutput]):
    """
    使用 Ollama 进行嵌入的自定义 LLM（大型语言模型）实现。
    """

    def __init__(self, client: OpenAIClientTypes, configuration: OpenAIConfiguration):
        """
        初始化 OpenAIEmbeddingsLLM 实例。

        参数：
            client (OpenAIClientTypes): 与AI服务交互的客户端。
            configuration (OpenAIConfiguration): AI服务的配置设置。
        """
        self._client = client
        self._configuration = configuration

    async def _execute_llm(
        self, input: EmbeddingInput, **kwargs: Unpack[LLMInput]
    ) -> EmbeddingOutput | None:
        """
        使用 Ollama 嵌入执行大型语言模型。

        参数：
            input (EmbeddingInput): 嵌入模型的输入数据。
            **kwargs (Unpack[LLMInput]): 模型参数的附加关键字参数。

        返回：
            EmbeddingOutput | None: 模型的输出嵌入或如果没有输出则为 None。
        """
        args = {
            "model": self._configuration.model,
            **(kwargs.get("model_parameters") or {}),
        }
        embedding_list = []
        for inp in input:
            embedding = ollama.embeddings(model="nomic-embed-text", prompt=inp)
            embedding_list.append(embedding["embedding"])
        return embedding_list

8 使用 GraphRAG 运行查询

使用以下命令索引数据：

python -m graphrag.index --root .\ragtest

输出

运行查询以测试设置：

python -m graphrag.query --root .\ragtest --method global "How was the impact of Lily's action on villagers"

输出

9 结语

未来，人工智能在商业领域的影响力将日益增强。那些能够将人工智能技术有效融入其业务运营的公司，将具备更快的创新速度、更优质的客户服务体验，以及更高效的流程优化能力。GraphRAG技术的出现，仅是人工智能潜力的冰山一角。

随着时间推移，人工智能将变得更加精密复杂。它将不仅能够理解问题，还能生成贴近人类思维的回答。预计不久的将来，企业将见证一种新型人工智能系统的诞生——这些系统不仅能够回答问题，还能基于海量数据分析提供战略性的见解和建议。因此，对于任何希望在竞争中保持领先地位的企业而言，积极拥抱人工智能并持续关注其最新发展，显得尤为关键。这不仅是一个选择，更是一个必然的趋势。

推荐书单

《Llama大模型实践指南》

本书共包括7章，涵盖了从基础理论到实际应用的全方位内容。第1章深入探讨了大模型的基础理论。第2章和第3章专注于Llama 2大模型的部署和微调，提供了一系列实用的代码示例、案例分析和最佳实践。第4章介绍了多轮对话难题，这是许多大模型开发者和研究人员面临的一大挑战。第5章探讨了如何基于Llama 2定制行业大模型，以满足特定业务需求。第6章介绍了如何利用Llama 2和LangChain构建高效的文档问答模型。第7章展示了多语言大模型的技术细节和应用场景。本书既适合刚入门的学生和研究人员阅读，也适合有多年研究经验的专家和工程师阅读。通过阅读本书，读者不仅能掌握Llama 2大模型的核心概念和技术，还能学会如何将这些知识应用于实际问题，从而在这一快速发展的领域中取得优势。