LLM的能力评估可以分为知识和能力评估、垂直领域评估以及对齐和安全评估。在评估数据集中，问题类型可以分为客观问题和主观问题。客观问题的评估常用的指标是准确率和F1分数，而主观问题的评估则需要更复杂的方法。目前存在许多流行的统一LLM评估框架，包括LM Eval Harness、OpenCompass、OpenAI Evals和UltraEval。这些框架在使用客观问题数据集进行评估时，通常会进行数据转换，并使用正则表达式方法提取和匹配关键答案。然而，这些方法在评估客观问题时存在一些缺点。最近的研究越来越关注使用LLM进行评估的微调方法，但这些方法也存在一些缺点。可靠评估的概念旨在更科学地评估LLM生成的内容的真实性和对信息系统的潜在风险，但目前对可靠评估的研究和改进工作还不够系统。

现有方法旨在使评估模型的评分与人类期望评分保持一致，由于评分是主观的，不像客观判断正确，这些方法更适合于文本翻译和摘要等开放式任务。相反，我们的方法旨在使xFinder从LLM输出中提取的关键答案与人类期望的关键答案保持一致。从根本上说，这种方法更适合于具有确定性答案的任务，如选择题和数学问题。我们将关键答案提取任务定义如下:

设D表示由三组元素组成的评估数据集：一个问题、一组选项和正确答案。q表示问题，C表示选项集，a表示正确答案。设Σ为所有令牌的集合，P为幂集。将D中的每个数据点(q, C, a)输入LLM，产生输出y：

如果y中的一个唯一的子字符串可以被识别为三种类型(直接、提示包装或转换问题包装)之一，则该子字符串被认为是关键答案句s。这三种类型及其对应的集合的定义如下：

直接。这是指s直接提供最终答案。τ: Σ∗→P(Σ∗)表示同义词转换的函数。

提示包装。这是指s由相关提示和最终答案组成。子集F∧P(Σ*)表示指向答案的提示符集合，其中占位符<最终答案>表示最终答案的位置。表达式s◦f表示将f中的<最终答案>标记替换为s而形成的新句子。

转换问题包装。这是指s由转换成陈述性陈述的原始问题q和最终答案组成。函数ζ:Σ∗→Σ∗表示语句转换函数，该函数将q转换为声明形式并标识占位符的位置。

当多个子字符串满足条件时，有必要确定y中是否存在一个思想链(CoT)过程。如果y中存在一个CoT过程，则定义s为满足条件的唯一子字符串，并且出现在y中的CoT过程之后。如果不存在CoT过程，则y中不存在s。

关键答案k的定义分为两种场景：

• 如果s不存在，则k设为[No valid answer];

• 如果s存在，则k是集合C中最符合s描述的选项；

为了有效地微调xFinder，本文构建了一个高质量的数据集，该数据集包括问题、可选答案范围、LLM响应和提取的关键答案。数据集分为训练集、测试集和泛化集，用于微调、测试和评估 xFinder 的性能。

LLM响应生成

KAF数据集包含18个典型的评估任务，分为四种类型，包括字母选项任务、短文本选项任务、分类标签任务和数学选项任务。为了增强数据集的异质性和丰富性，作者设计了八种提示配置来引导语言模型生成多样化的响应。为了捕捉不同系列和大小的语言模型的不同推理过程，作者使用了10个不同的语言模型。需要注意的是，KAF数据集的训练和测试集由10个语言模型在8个评估任务上生成的问题-响应对组成，而通用化评估集中的问题-响应对则来自8个语言模型在11个全新的评估任务上的响应。

自动标注和人类检查

构建KAF数据集的基础是从LLM响应y中提取关键答案k，并将其用作标签。我们为训练集、测试集和泛化集采用了不同的标注策略。对于训练集，为了提高标注过程的效率，采用了半自动化的方法。包括使用不同的提示F.2从GPT-4生成两组标注。利用自一致性策略，将两轮标注之间存在差异的项目以及所有数学问题整合到Label Studio中进行手动重新标注。为了确保测试集和泛化集的有效性和可靠性，所有标签都需要准确，因此这些数据集需要进行两轮手动标注。

xFinder训练

我们对xFinder进行微调，以精确地在y中定位s，并从s中准确地提取k。xFinder的训练输入包括问题q、LLM响应y、关键答案类型和答案范围，而输出是关键答案k。

在训练过程中，我们主要利用了InternLM团队开发的XTuner工具进行微调。为了充分利用xFinder的指令遵循潜力，我们精心制作了提示。此外，为了增强xFinder的泛化能力，我们对KAF训练集进行了数据增强，包括：

• 1）模拟LLM对字母选项问题的回答。我们从KAF训练集中随机选择50%的字母选项问题，并通过增加一个或两个选项或以等概率删除一个选项来改变他们的答案选择。

• 2）丰富提示包装关键回答句中提示形式的多样性。从包含包装关键答案句子的KAF训练集中的LLM响应中，我们提取了10%并将f替换为f中的其他元素，例如将“最终答案是A”替换为“基于问题的上下文，A是最有可能的答案”。

使用19个参数大小从0.5B到8B的LLMs在KAF训练集上进行微调，并使用RegEx方法比较它们在KAF测试集和泛化集上提取关键答案的准确性。随后，使用xFinder-qwen1505、xFinder-llama38it和当前主流评估框架，评估了10个LLMs在14个评估任务数据集上的性能，并分析了评估结果的差异。

答案提取准确率：xFinder vs. RegEx

使用QLoRA方法从XTuner框架中的基础模型进行微调，通过KAF测试集评估了xFinder的效果。xFinder模型在KAF训练集上表现出很高的效果，参数大小的差异并不会对提取准确率产生显著影响。在KAF泛化集上，xFinder仍然保持着很高的提取准确率，而主流的正则表达式提取器表现较差，尤其是在数学问题的关键答案提取上。即使是GPT-4在复杂和多样化的LLM响应中也难以准确提取关键答案。

真实使用场景评估

在真实评估任务中使用xFinder进行自动评估，并对现有评估框架的可靠性进行了研究，发现不同框架得出的模型排名存在显著差异，表明现有评估框架的可靠性存在问题。xFinder模型在稳定性和准确性方面表现优异，相比现有框架具有更高的可靠性。作者还提出了现有评估框架中将问题转换为字母选项的可靠性存在问题，建议减少对此格式的依赖。

xFinder是一个表现良好的关键答案提取组件，但其最小模型的参数量仍较大，可能会增加部署成本。未来，xFinder将探索模型压缩技术，以支持更小的版本，进一步提高其灵活性。

本文分析了现有LLM评估框架中可能导致不可靠评估结果的关键因素，强调了LLM响应中的关键答案提取模块作为一个薄弱点。为了解决这个问题，我们引入了一个专门用于提取LLM响应中关键答案的关键答案提取模型xFinder。广泛的实验结果表明，与现有基于正则表达式的关键答案提取方法相比，xFinder能够更准确、更高效地从LLM输出中提取关键答案，从而提高评估的可靠性。这项研究标志着构建可靠评估框架的第一步。将来，我们将继续解决LLM可靠评估中的其他关键问题，为准确评估LLM性能提供基础。