大家常说 RAG 应用是：一周出 demo，半年用不好。那么怎么评估 RAG 应用是否能够上生产了呢？如果公司人手足够，当然可以人工测试评估准确性，但指标未免单一。本文介绍一个全自动化的 rag 应用评估框架 ragas。

RAGas（RAG Assessment)^[1]RAG 评估的缩写，是一个专门的解决方案用于评估、监控和提升生产环境中大语言模型（LLM）和检索增强生成（RAG）应用的性能，包括用于生产质量监控的定制模型。它除了评估，还能从数据集中生成测试集，这将极大地降低人力投入，毕竟一个良好的数据集构建是非常消耗时间和人力的。RAGas 从生成和检索两个维度评估 RAG 应用，如下图所示。

生成角度可以从忠实性 faithfulness 和回答相关性 answer relevancy 评估，而检索则从上下文精度（context precision）和上下文召回（context recall）上来测评。当然 ragas 不止这四种评测，还有答案准确性（answer correctness），上下文利用率（context utilization），上下文实体召回率（context entity recall）和噪声敏感度（noise sensitivity）等。后面会专门叙述常见的几种指标的计算。在开始评估之前，我们先安装 ragas。

pip install ragas

安装好之后，我们要如何评估 RAG 呢？拿什么评估？这就必须要说如何准备评估数据集。

1. 准备评估数据集

RAGas 需要的评估数据集格式如下：

data_samples = {
    'question': ['第一届超级碗是什么时候举行的？', '谁赢得了最多的超级碗冠军？'],
    'answer': ['第一届超级碗于1967年1月15日举行', '赢得最多超级碗冠军的是新英格兰爱国者队'],
    'contexts': [['第一届 AFL-NFL 世界冠军赛是一场美式橄榄球比赛，于1967年1月15日在洛杉矶纪念体育馆举行'],
                 ['绿湾包装工队...位于威斯康星州绿湾市。', '包装工队参加...全国橄榄球联合会比赛']],
    'ground_truth': ['第一届超级碗于1967年1月15日举行', '新英格兰爱国者队赢得了创纪录的六次超级碗冠军']
}

包含 4 个字段，分别是question、answer、contexts和ground_truth。每一项都是一个数组列表，要注意的是，答案、上下文和基本事实和问题列表是一一对应的，即第一个问题的答案也必须是 answer 中的第一个元素，同时也必须是上下文和基本事实的第一个元素。其中上下文的每个元素都是一组字符串数组，这是因为每个问题都可以有多个上下文。

如果你人力资源足够的话，我们可以手动构建这个数据集，假设你有问题列表和基本事实列表（这一个不是必须），回答就由你自己的 RAG 应用根据问题来填充，上下文也由你的 RAG 应用填充。

此外，我们也可以使用 ragas 根据数据集自动构建。因为要读入数据，这里需要先安装 langchain 或者 llamaindex 来支持数据的读入。

pip install langchain-community==0.2.17
pip install unstructured==0.15.13

然后使用如下代码，读入数据。

from langchain_community.document_loaders import DirectoryLoader

loader = DirectoryLoader("～/Projects/graphrag/input")
documents = loader.load()

for document in documents:
    document.metadata['filename'] = document.metadata['source']

既然要生成数据集，当然需要大语言模型的支持了，也需要 embedding 模型支持，这里采用 DeepSeek 和智谱的在线模型 API。

from langchain_openai import ChatOpenAI, OpenAIEmbeddings

generator_llm = ChatOpenAI(model="deepseek-chat", openai_api_base="https://api.deepseek.com/v1", openai_api_key="xxxx")
critic_llm = ChatOpenAI(model="deepseek-chat", openai_api_base="https://api.deepseek.com/v1", openai_api_key="xxxx")
embeddings = OpenAIEmbeddings(openai_api_base="https://open.bigmodel.cn/api/paas/v4", openai_api_key="xxxx", embedding_ctx_length=512, chunk_size=512, model="embedding-3")

注意必须配置这些选项，不然它默认就是访问 OpenAI 的模型。

然后就是使用 ragas 框架的 API 来生成测试集了，首先初始化测试集生成器。

generator = TestsetGenerator.from_langchain(
    generator_llm,
    critic_llm,
    embeddings
)

然后调用 API generate_with_langchain_docs准备生成，参数为读取的 documents，生成的数据集条数 test_size 以及生成问题的分布，如简单的占比 0.5，推理的 0.25 以及多个上下文的 0.25。

testset: TestDataset = generator.generate_with_langchain_docs(
  documents,
  test_size=10,
  distributions={simple: 0.5, reasoning: 0.25, multi_context: 0.25}
)

然后我们将生成的数据集保存，以备后用。

ds = testset.to_dataset()
ds.save_to_disk("./activity_testset")

生成的数据大概如下所示。

ragas 在生成数据集上还可以配置问题的难易分布。理想的评估数据集应涵盖生产中遇到的各种类型的问题，包括不同难度级别的问题。大语言模型（LLMs）通常不擅长生成多样化的样本，因为它们倾向于遵循常见路径。ragas 受 Evol-Instruct^[2] 等作品的启发，采用了一种进化生成范式，系统地从提供的文档集创建具有不同特征的问题，如推理、条件、多个上下文等。这种方法确保了对管道中各个组件性能的全面覆盖，从而实现更稳健的评估过程，原理如下图所示。

但我要说的是，ragas 在生成数据集非常不完善，很难生成，全靠运气，经常报 Connection 错误，而 API 明明可以连接。另外一点是所使用的 Prompt 都是英文，有几率生成一些英文问题，即使你的输入文档是中文的。虽然你可以通过 Prompt adapation 进行本地化，但 ragas 里对于 json 的处理非常简单，不会做任何解析增强，所以生成的东西也用不了，除非手工修改。

看了一些 ragas 代码，感觉写的不咋的，但他们的评估指标和思路是挺好的。生成测试集搞了我一周，魔改代码都没能解决一堆报错，搞得我一肚子火。今天发布了最新版本 v0.2.0，已经和上述代码不兼容了。还没空测评，不知道新版本是否有解决，希望给力点吧。

2. 开始评估

上节已经提到生成数据集功能缺陷太多，所以这里为了演示，我们使用官方 Demo 中的数据集。

2.1 加载数据集

from datasets import Dataset, load_dataset
def load_amnesty_qa() -> Dataset:
    # loading the V2 dataset
    amnesty_qa = load_dataset("explodinggradients/amnesty_qa", "english_v2")
    print(amnesty_qa['eval'].column_names)
    # ['question', 'ground_truth', 'answer', 'contexts']
    # amnesty_qa['eval']['contexts']
    return amnesty_qa["eval"]


dataset = load_amnesty_qa()

2.2 评估忠实性

计算 Faithfulness 就是计算忠实性。首先将答案分拆为几个声明（简单理解为句子也行），然后判断每个句子是否可以从上下文 contexts 中推断出来，如果出现过则认为是忠实的。比如将答案拆分为 3 个 claims，然后从 context 中判断有几个可以推断出来，假设为 2，那么忠实性就是 2/3。它需要回答和上下文。

from ragas.metrics import faithfulness, answer_relevancy, context_precision, context_recall, context_entity_recall
from ragas import evaluate
def metric_faithfulness():
    score = evaluate(dataset, metrics=[faithfulness], llm=generator_llm, embeddings=embeddings)
    print(score.to_pandas())

metric_faithfulness()

评估忠实性如下表所示。

2.3 评估答案相关性

计算答案的相关性 Answer relevancy，它基于答案推测出多个问题，然后计算用户问题和推测出的问题的相关性，也就是嵌入的相似度，然后取平均值从而得出相关性。它也需要回答和问题。

def metric_answer_relevancy():
    score = evaluate(dataset, metrics=[answer_relevancy], llm=generator_llm, embeddings=embeddings)
    print(score.to_pandas())

metric_answer_relevancy()

评估结果如下表所示。

2.4 上下文精度

计算上下文精度 Context Precision，即召回的 K 个 Chunk 中，到底多少是和问题、真实答案相关的。然后基于此计算一个精度的分数。它需要问题、基本事实和上下文。

def metric_context_precision():
    score = evaluate(dataset, metrics=[context_precision], llm=generator_llm, embeddings=embeddings)
    print(score.to_pandas())
metric_context_precision()

评估结果如下表所示。

2.5 上下文召回率

计算上下文召回率 Context Recall，衡量检索到的上下文与作为基本事实的一致程度。从基本事实中，提取出 Claims，然后判断每一个 Claims 是否可以从检索出的上下文中推断出来，然后计算推断出的 claims 数量和总 claims 数量。它需要问题、基本事实、上下文。

def metric_context_recall():
    score = evaluate(dataset, metrics=[context_recall], llm=generator_llm, embeddings=embeddings)
    print(score.to_pandas())

评估结果如下表所示。

2.6 计算上下文实体召回率

计算上下文中实体召回 Context Entities Recall，分别从 Context 和基本事实中提取出实体，然后从中找出实体的交集并和基本事实中的实体数量做比，得出一个实体召回率。它需要上下文和基本事实。

def metric_context_entities_recall():
    score = evaluate(dataset, metrics=[context_entity_recall], llm=generator_llm, embeddings=embeddings)
    print(score.to_pandas())

评估结果如下表所示。

3. 总结

本文介绍了如何使用 ragas 生成测试集，介绍了多个常用的 RAG 评估指标。本文生成测试集部分代码基于 ragas v0.1 版本编写，具有较多问题根本无法使用，升级 v0.2.0 后出现代码兼容问题无法运行，后续等我更新吧。评估部分 v0.2.0 是兼容的，并且我在 v0.1 下评估会报错类似n=1, API Connection Error等问题，在升级后完美解决了，也没有出现指标 NaN 或者 0 的情况，推荐使用。