Graphrag 介绍

GraphRAG（基于知识图谱检索增强生成）是一种新型的检索增强生成（RAG）技术，它通过将知识图谱（KGs）或图形数据库与大型语言模型（LLMs）集成，显著增强了传统的检索增强生成方法。以下是对 GraphRAG 的详细介绍：

GraphRAG 的基本原理

GraphRAG 旨在通过知识图谱和图机器学习技术来提升大语言模型（LLM）的能力。它利用从大型语言模型中提取的知识图谱，将非结构化的文本数据重新组织成结构化的知识图谱，其中节点表示实体（如人物、地点、概念），边表示实体之间的关系。这种结构化的表示方式使得 GraphRAG 能够更高效、准确地检索相关信息，并为生成响应提供更好的上下文支持。

GraphRAG 的工作流程

GraphRAG 的工作流程可以分为以下几个主要步骤：

1. 知识图谱构建：从原始文本中提取知识图谱，这一步通常使用大型语言模型（如GPT-4 Turbo）生成的知识图谱。

2. 信息提取与连接：利用信息提取技术推断和生成分块数据之间的连接，并使用知识索引来存储和检索这些数据。

3. 图嵌入与响应推理：利用图神经网络（GNN）结果中的图嵌入，通过用户查询响应推理来增强文本嵌入。

4. 生成图查询：使用生成模型（如Cypher生成模型）生成图查询，从而实现更准确的语义聚合和层次化分析。

GraphRAG 的优势

1. 更高的准确性和更完整的答案：GraphRAG 通过知识图谱提供了更丰富的上下文信息，使得 LLM 能够生成更准确、更完整的答案。

2. 更好的可解释性：与纯向量 RAG 相比，GraphRAG 中的结构化知识表示提供了更高的透明度和可解释性。

3. 更易于开发和维护：知识图谱的使用使得 RAG 应用的开发和维护变得更加容易，因为数据在构建应用时是可见的。

GraphRAG 的应用场景

GraphRAG 的应用场景非常广泛，包括但不限于：

1. 医学领域：帮助医学专业人员从大量的医学文献中快速找到相关信息，以回答关于患者症状、治疗和结果的复杂问题。

2. 金融领域：通过表示客户交易、账户信息和行为模式来帮助银行检测和防止欺诈。

3. 智能问答系统：提高回答客户服务问题的正确性和丰富性，减少解决时间。

GraphRAG 的最新发展

微软研究院不断更新 GraphRAG 系统，例如引入了动态社区选择功能，以改善全局搜索的数据检索，并显著降低了 tokens 成本。此外，还添加了增量索引和 DRIFT（动态检索推理与过滤技术）模块，使得知识图谱的更新更为高效，同时提高了搜索的准确性。

GraphRAG 的挑战

尽管 GraphRAG 具有诸多优势，但其构建过程也面临一些挑战，如知识图谱的构建需要随着专业领域知识的动态变化而动态构建，这增加了计算资源的消耗与运维成本的开销。

综上所述，GraphRAG 是一种具有创新性和实用性的技术，它通过结合知识图谱和大型语言模型，显著提升了信息检索和答案生成的准确性和效率。随着技术的不断发展，GraphRAG 有望在更多领域发挥重要作用。

Graphrag 安装说明

环境准备

Graphrag-0.5.0 需要 Python 3.10 或 3.11 环境。首先，请确保您的系统中已安装合适版本的 Python。

安装 Python

您可以从 Python 官方网站 下载并安装 Python 3.10 或 3.11。

安装 Poetry

Graphrag 使用 Poetry 进行依赖管理和虚拟环境管理。请按照以下步骤安装 Poetry：

pip install poetry

或者

# 下载并安装 Poetrycurl -sSL https://raw.githubusercontent.com/python-poetry/poetry/master/get-poetry.py | python -
# 将 Poetry 添加到 PATHsource $HOME/.poetry/env

克隆 Graphrag 源码

接下来，克隆 Graphrag 的源码仓库：

git clone https://github.com/microsoft/graphrag.gitcd graphrag

安装依赖

进入 Graphrag 目录后，使用 Poetry 安装依赖：

poetry install

配置 .env 文件

在 Graphrag 目录中，您会找到一个名为 .env 的文件。这个文件包含了一些环境变量，您需要对其进行配置。如果没有该文件，可以使用下文的初始化工作区的命令，即会自动创建。

以下是一个示例 .env 文件的内容：

GRAPHRAG_API_KEY=<您的API_KEY>

请将 <您的API_KEY> 替换为您实际使用的大模型 API 密钥。

配置 settings.yaml 文件

settings.yaml 文件包含了 Graphrag 的核心配置。您需要根据实际情况对其进行修改。

以下是一个示例 settings.yaml 文件的内容：

### This config file contains required core defaults that must be set, along with a handful of common optional settings.### For a full list of available settings, see https://microsoft.github.io/graphrag/config/yaml/
### LLM settings ###encoding_model: cl100k_base # 根据您的模型进行修改llm:api_key: ${GRAPHRAG_API_KEY} # 引用 .env 文件中的变量type: openai_chat # 或 azure_openai_chatmodel: gpt-4-turbo-preview # 根据您的模型进行修改model_supports_json: true # 如果您的模型支持 JSON，则推荐设置为 true
### 输入设置 ###input:type: file # 或 blobfile_type: text # 或 csvbase_dir: "input"file_encoding: utf-8file_pattern: ".*\\.txt$"
### 存储设置 ###cache:type: file # 或 blobbase_dir: "cache"reporting:type: file # 或 console, blobbase_dir: "logs"storage:type: file # 或 blobbase_dir: "output"
### 工作流设置 ###entity_extraction:prompt: "prompts/entity_extraction.txt"entity_types: [organization, person, geo, event]max_gleanings: 1summarize_descriptions:prompt: "prompts/summarize_descriptions.txt"max_length: 500
### 查询设置 ###local_search:prompt: "prompts/local_search_system_prompt.txt"global_search:map_prompt: "prompts/global_search_map_system_prompt.txt"reduce_prompt: "prompts/global_search_reduce_system_prompt.txt"knowledge_prompt: "prompts/global_search_knowledge_system_prompt.txt"

请根据您的实际需求修改上述配置。特别是 llm 部分，您需要确保 api_key、type 和 model 的设置与您使用的大模型相匹配。

使用说明

初始化工作区

在配置好 .env 和 settings.yaml 文件后，您需要初始化 Graphrag 的工作区：

poetry run poe index --init --root ./your_workspace_directory

这将在指定目录中创建必要的文件和文件夹，包括 .env、settings.yaml、prompts、output 等。

创建索引

将您的源文档放入 input 文件夹中，然后运行以下命令创建索引：

poetry run poe index --root ./your_workspace_directory

这将读取 input 文件夹中的文档，提取实体和关系，构建知识图谱，并生成索引。

执行查询

创建好索引后，您可以使用以下命令执行查询：

全局查询

poetry run poe query --root ./your_workspace_directory --method global "您的查询问题"

局部查询

poetry run poe query --root ./your_workspace_directory --method local "您的查询问题"

应用举例一

假设您有一组关于医学文献的文档，您希望使用 Graphrag 来快速找到与特定症状相关的治疗方案。

步骤一：准备数据

将您的医学文献文档放入 input 文件夹中，确保文档格式为 .txt。

步骤二：初始化工作区并创建索引

poetry run poe index --init --root ./medical_workspacepoetry run poe index --root ./medical_workspace

步骤三：执行查询

假设您想查询关于“糖尿病”的治疗方案，可以执行以下命令：

poetry run poe query --root ./medical_workspace --method global "糖尿病的治疗方案是什么？"

Graphrag 将使用全局搜索方法，在知识图谱中查找与“糖尿病”相关的实体和关系，并生成包含治疗方案的详细回答。

步骤四：分析结果

查询结果将显示在终端中，您可以根据需要进行进一步的分析和处理。

应用举例二

1. 实体提取

假设你有一批文本文件，需要从中提取组织、人物、地理和事件等实体。你可以使用 Graphrag 的实体提取功能来完成这一任务。

首先，确保 settings.yaml 中的 entity_extraction 部分已正确配置。然后，运行索引引擎：

poetry run poe index --input-dir input --output-dir output

索引完成后，你可以使用查询引擎来检索提取的实体。

2. 全局搜索

假设你需要从大量文本中搜索与某个主题相关的所有信息。你可以使用 Graphrag 的全局搜索功能。

首先，确保 settings.yaml 中的 global_search 部分已正确配置。然后，运行查询引擎：

poetry run poe query --query "your query here" --output-dir output

查询结果将保存在指定的输出目录中。

3. 漂移搜索

漂移搜索是一种用于发现随时间变化的信息的搜索方法。假设你需要跟踪某个主题的发展情况，你可以使用 Graphrag 的漂移搜索功能。

同样，确保 settings.yaml 中的 drift_search 部分已正确配置。然后，运行查询引擎：

poetry run poe query --query "your drift query here" --output-dir output --drift-search

查询结果将包含与主题相关的最新信息。

通过以上步骤，您可以充分利用 Graphrag-0.5.0 的功能，快速从大量文档中提取相关信息，并生成有价值的回答。