OneEval：OpenKG发布大模型知识增强综合能力评测榜单

图1 OneEvali评测框架示意图

OneEval 由 OpenKG SIGEval 工作组持续维护，评测数据与结果将定期更新，评测流程也将逐步引入多元防作弊机制，包括样本变体生成、模型输出标准化、多次采样验证、时效性验证以及对抗性问题构建等技术手段，并在可行范围内公开评测细节，努力保障评测的科学性、透明性与公平性。

在LLM的能力评估方面，已有许多国内外基准测试和排行榜对广泛的任务进行了探索与测试。大多数现有的基准测试可以被分为四个类别：

(1) 知识考察型：以客观选择题和问答题等形式测试模型的学科知识掌握水平，包括MMLU[1]、CMMLU[2]、CEval[3]、AGIEval[4]等。

(2) 指令遵循型：以问答等形式评估模型对用户指令的遵循能力，包括LLMBAR[5]、Flan[6]、NaturalInstructions[7]等基准测试。

(3) 聊天对话型：使用多轮交互的问答数据测试模型的上下文理解和对话能力，包括CoQA[8]、MMDialog[9]、MT-Bench[10]和OpenAssistant[11]等。

(4) 安全风险型：以选择题和问答题等形式评估模型的安全与幻觉风险，例如DecodingTrust[12]、AdvGLUE[13]、StrongReject[14]、HarmBench[15]等。

与单一基准测试不同，现有的知名排行榜通过整合多个评测任务、整理广泛评估场景，采用多维度、多任务的评估方法，构建更全面的大模型能力画像。HuggingFace 的 Open LLM Leaderboard 整合了 MMLU-Pro、GPQA、MuSR、MATH、IFEval 和 BBH 等六个基准测试，综合考核模型在知识理解、推理、数学解题、信息抽取和复杂任务处理等方面的能力。上海AI Lab的OpenCompass(司南)[17]构建了包括考试、知识、语言、理解、推理和安全六个维度的评测框架，通过引入动态更新的评测数据集确保评估的时效性和广度。来自北京智源的FlagEval(天秤)整合了30多项能力维度与30个基准测试，构建了超10万条评测样本的大规模评测库，包含文本、图像、音频等多模态信息。除基于标准化数据集的评测外，基于人类偏好的比较性评测近年来也获得广泛关注。来自UCB的Chatbot Arena Leaderboard（聊天竞技场）[18]创新性地采用众包+Elo排名机制，让人类评估者对模型回复质量进行两两比较，累积得出模型间的相对实力排名。斯坦福大学的AlpacaEval[19]则引入“LLM-as-a-Judge”方法，利用大模型作为评判，通过比较待测模型与参考模型回复的优劣，将相对胜率作为排名依据，大幅提升了评测的规模与效率。

然而，现有的基准测试体系仍存在一些不足：（1）缺乏对复杂知识库推理能力的评估；（2）知识载体单一，尚未全面涵盖如知识图谱、代码、表格结构化知识的测试维度。针对上述问题，OneEval 首次构建了统一的跨知识源、多领域复杂知识库推理任务评测框架，力求在评估大模型知识增强能力方面实现更高的覆盖性与科学性。

OneEval主要基于OpenKG自建或整理的公开数据资源，并将周期性增加和更新。第一批OneEval V1.0包含十个面向多类型知识库的推理评测数据集，覆盖结构化与非结构化、显性与隐性等多种知识形态，具有更高的知识特异性与任务复杂度。相较于 MMLU、BigBench 等侧重通识能力的评测基准，OneEval 更聚焦于大模型在多源异构知识库中的深层理解与综合推理能力评估，以更贴近真实应用场景的方式推动知识增强型模型能力评测。评测数据集来源信息如表1所示。

表1 OneEval评测数据集来源信息

以下将从知识库类型、任务类别和领域类别三个维度详细介绍OneEval评测体系。

3.1

知识库类型

OneEval V1.0基准涉及以下4种类型的知识库，后续还将增强更多的知识库类型：

• 文本知识库：涵盖非结构化文献与文档，测试模型在文本型知识的理解，以及复杂语境下的语义建构、信息抽取等能力。

• 表格知识库：以结构化表格数据为基础，考查模型在结构化知识的理解，以及对数值、分类与层级信息的处理、比较与逻辑计算能力。

• 知识图谱：基于实体-关系三元组构建的结构化语义网络，评估模型在图结构知识的理解，以及多跳推理、实体对齐与关系识别等任务中的表现。

• 代码知识库：包含函数文档、源代码与API说明，聚焦模型在程序型知识的理解，以及代码补全、自然语言到代码生成等能力。

表2 OneEval评测数据集任务类型与统计信息

3.2

任务类别

根据知识库的类型，OneEval V1.0基准的评测数据可以被分为以下四个任务类别：

• 文本推理：基于从非结构化文本知识库（科学文献，法律文书）中检索到的上下文信息，进行语义理解与推理，以回答问题或判断陈述的真伪。

• 知识图谱推理：借助从结构化知识图谱中检索到的三元组，对输入的问题进行多跳推理，或对错误三元组进行识别与纠正。

• 表格推理：基于从表格知识库中检索得到的上下文信息，对表中数据进行计算、比较、聚合等操作，以推理并回答输入的问题。

• 代码推理：基于从代码知识库（如开源代码库、API文档等）中检索的相关代码，实现对输入自然语言描述的程序化理解与细粒度代码生成。

3.3

领域类别

OneEval V1.0覆盖通用、医疗、政务、科学、法律与编程六大关键知识领域，重点强调多源异构知识的广泛性与专业性，系统性评估LLM在复杂知识驱动任务中的推理与应用能力。具体类别信息如图2所示。

图2 OneEval评测数据集领域信息

• 通用（Open-domain）：基于百科全书与综合性知识资源，涵盖来自各类百科知识库的开放领域知识，考察模型对跨主题背景知识的理解与迁移能力。

• 医疗（Medical）：基于医疗诊断任务，融合生理学、药理学与临床医学等细分知识体系，评估模型对专业医学术语和复杂病例的理解与诊断推理能力。

• 政务（Politics）：基于中文政务文件与政府官网信息，聚焦政策条文、行政流程等结构化与半结构化知识，考验模型对规章制度的精准解析与政策应用能力。

• 科学（Science）：整合来自生物、材料科学公开文献及生物医药知识图谱的专业知识，涵盖实验事实、领域术语与科学推理模式，测试模型的科学推理与知识整合能力。

• 法律（Law）：源自真实法律文书，包含判决书、裁定书等法律事实与规则，突出模型对法律条文逻辑与案例事实的结合推理能力。

• 编程（Code）：来自GitHub的海量开源代码库，跨越300+依赖库和2000+ API 版本，强调模型对程序语言、函数接口及语义执行的深入理解与生成能力。

3.4

OneEval-Hard

为更精准地评估LLM在高难度推理场景下的表现，我们基于多轮筛选和专家评审人工构建了一个困难样本子集——OneEval-Hard，共计1285个样本，专门聚焦于模型在多步推理、隐式知识关联和跨域知识整合等推理任务中的薄弱环节。该子集不仅具备更高的判别性和难度，也为深入剖析LLM的知识盲区与推理瓶颈提供了重要测试依据，有助于推动更有针对性的LLM优化与能力提升。

OneEval 评测框架（见图1）旨在系统化评估LLM在借助外部知识库完成推理任务时的表现，重点考察模型对各类知识库的理解能力及其有效运用方式。整个评测过程保持 LLM 参数不变，通过结合用户输入与检索到的外部知识构建提示，引导模型进行推理并按照任务的目标形式生成答案。

对于每个测试样本，模型接收的提示由以下三部分组成：

由于本评测框架重点在于评估LLM在对各种类型的知识理解和运用能力，而非检索知识的能力，因此，对于涉及外部知识的任务，采用统一的检索范式，获取与测试样本相关的上下文信息。具体而言，基于Dense Retrieval的思路，其核心在于按用户输入与知识片段（文本片段、代码片段、三元组子图等）的稠密向量（q，K）之间的相似度S进行排序，选取top-k知识片段作为知识上下文。S的计算公式如下：

S(q, K) = cos(q, K)

其中，q和K分别表示由SentenceBERT模型编码得到的用户输入向量和知识向量。需要注意的是，通过上述方式检索获得的外部知识上下文中可能包含噪声。这种设置更贴近真实应用场景，为评估模型在面对不完美或冗余知识时的鲁棒性提供了有效的测试环境。

本次版本的评测选择了多个国内外领先的研究团队和企业，涵盖开源与闭源、不同参数规模及不同技术路线的代表性LLM，详细信息如表3所示（按首字母排序）。

表3 评测对象统计信息

鉴于评测资源与时间成本的限制，目前仍有部分表现优异的大语言模型尚未纳入 OneEval 榜单。随着 OneEval 评测工作的持续推进，未来将逐步覆盖更多主流及前沿的大语言模型，从而实现更全面、系统的性能对比与能力分析。

评测采用多维度指标体系，包括：

表4 OneEval评测榜单

在 OneEval 评测中，Grok 3 以 55.82% 的平均得分位列榜首，展现出较强的知识库利用与综合推理能力。值得关注的是，国产模型如 QWQ-32B、Hunyuan Turbo 和 Qwen 2.5-72B 紧随其后，表现稳健，在多类型知识库利用与复杂推理任务中展现出良好的竞争力，凸显了国产大模型在知识增强场景下的持续进步势头。

相比之下，GPT-4o、DeepSeek R1 等主流大模型在该评测中未展现出明显优势，而 Baichuan2-7B、Llama3.1-8B 等中小规模模型得分偏低，进一步说明在复杂知识推理任务中，模型的知识广度与深度仍是影响性能的关键因素。

表5 OneEval-Hard评测榜单

在 OneEval-Hard 子集评测中，各大语言模型整体得分相较原始 OneEval 有所下降，体现了该子集在推理难度与区分度上的显著提升。Grok 3 以 26.57% 的成绩位列第一，仍展现出较强的适应能力。OpenAI o1 和 Hunyuan Turbo 紧随其后，保持稳定表现。QWQ-32B、Qwen2.5-72B 等模型虽有一定回落，但在面对更具迷惑性与歧义性的任务中也展现出可提升的潜力。DeepSeek-R1-671B的表现相比在OneEval全集上的表现提升了一位。GPT-4o 下降了两名，反映其在复杂知识整合与深层推理方面仍有优化空间。多数中小规模模型如 Baichuan2-7B、Llama3.1-8B 得分低于 11%，提示其在高难度推理任务中仍面临挑战。总体来看，OneEval-Hard 为评估大模型在复杂、边缘化知识推理场景下的能力提供了更具挑战性的测试环境。

图3 文本推理实验结果

在OneEval文本推理任务中，Hunyuan-turbo以78.76%的成绩领先，展现对非结构化文本知识库的理解与运用能力。文本推理的评测数据主要来自于中文医学文献和英文生物文献，这可能是Hunyuan-turbo的优势所在。相比之下，GPT-4o和Claude 3.7 Sonnet在该任务中表现中等，显示出在中文文本或特定领域文本推理上的短板。

图4 知识图谱推理实验结果

在 OneEval 的知识图谱推理任务中，Grok 3 以 42.53% 的成绩领先，展现出较强的多跳推理能力和结构化知识校验能力，在该类任务中表现尤为突出。DeepSeek-R1-671B 和 DeepSeek V3 紧随其后，展现出对三元组结构较强的理解能力。GPT-4o、QWQ-32B 和 Qwen 2.5-72B 在该任务中表现稳健，具备一定的结构化知识处理能力。相比之下，Hunyuan-turbo、GLM4-9B 等在文本类推理中表现出色的模型，在知识图谱推理场景中的得分相对较低，反映出不同模型在结构化与非结构化知识处理能力上的差异与特色。整体来看，知识图谱推理对LLM的逻辑链整合、多跳推理与结构化知识理解能力提出了更高要求。

图5 表格推理实验结果

在OneEval的表格推理任务中，Grok 3以76.50%的表现夺得第一，展现出强大的表格数据处理与逻辑推理能力。DeepSeek-R1-671B（74.30%）和QWQ-32B（70.50%）紧随其后，也具备较强的表格理解与计算能力。GPT-4o和DeepSeek V3表现稳定，准确率接近70%，说明这些模型在数值计算、条件筛选和多步聚合等操作上已有较高水准。相比之下，Claude 3.7 Sonnet（28.30%）和Baichuan系列模型（尤其是7B仅为4.80%）在该任务中表现较弱。整体来看，性能优异的模型往往具备更强的“类程序化”推理能力。

图6 代码推理实验结果

在OneEval的代码推理任务中，GPT-4o以66.50%的准确率位居榜首，展现出其在自然语言到程序语言转换、代码逻辑理解及生成方面的强大能力。DeepSeek-R1-671B（65.60%）与Grok 3（64.00%）紧随其后，也表现出优秀的程序化推理与代码检索结合能力。Doubao-pro和GLM4-9B同样取得不俗成绩，说明一些国产模型在代码理解方面已有显著突破。

图7 通用领域表现排名

在通用领域任务中，Grok 3表现最佳，其次是DeepSeek-R1-671B和DeepSeek V3，表现优于GPT-4o。QWEN 2.5-72B和QWQ-32B虽然参数量相差一倍，但是表现基本持平。Llama3.1-70B、Doubao-pro与Claude 3.7 Sonnet得分在23–25%之间，处于中游水平，具备一定的开放领域能力。其余模型如Hunyuan-turbo、Qwen2.5-7B等得分一般（低于20%）。整体来看，模型规模与表现存在一定相关性，但也有部分轻量级模型展现出较优的性价比特征。

图8 医疗领域表现排名

医学任务中，Hunyuan-turbo以84.50%领先，远高于其他模型，显示出其在医疗知识上的深度训练。QWQ-32B和一系列模型如Qwen 2.5-72B、DeepSeek V3、GPT-4o均处于59%左右的中高水平。Qwen 2.5-72B、DeepSeek V3和GPT-4o得分均为59.50%，构成第二梯队，表现稳定，具备良好的医学推理能力。中游模型如Doubao-pro、Grok 3、DeepSeek-R1-671B和GLM4-9B得分接近，具备一定医学知识处理能力。整体来看，医学任务对模型专业知识储备和推理能力要求较高。

图9 政务领域表现排名

政务类任务上，各模型表现相对接近，Qwen2.5-7B、Grok 3、DeepSeek-R1-671B位列前三，说明即使是较小的模型（如7B）在政策类任务中也可能取得不错的效果，这类任务可能更依赖于语言模式识别和规则理解而非专业背景知识。Claude 3.7 Sonnet在该任务上排名最低，并显著低于其他模型，说明其在中文政务场景上的局限性。

图10 编程领域表现排名

在编程领域中，GPT-4o位居榜首，紧随其后的是DeepSeek-R1-671B和Grok 3，显示出这些模型在程序生成与理解方面的强大能力。尾部模型如Claude 3.7 Sonnet、Qwen2.5-7B、Llama3.1-8B及Baichuan2系列整体得分较低，说明在代码处理任务中存在明显短板。编程任务对模型的逻辑推理、上下文理解及语言精度提出较高要求，只有部分模型能在此类任务中维持高水平表现。

图11 科学领域表现排名

在科学领域中，领先模型为Llama3.1-70B和Grok 3，GPT-4o仅得48.75%，未能进入前五，说明科学推理可能依赖于复杂的知识整合能力，部分模型如Hunyuan、Qwen系列以及GLM4-9B表现优异，显示出较强的科学知识理解能力。整体上看，一些小参数量的LLM（如8B和9B）也在该领域上取得不错的结果。

图12 法律领域表现排名

在法律领域评测中，Hunyuan-turbo 以 83.87% 的准确率取得相对领先成绩，在法律专业知识的理解和应用方面表现稳健。Qwen 2.5-72B和 QWQ-32B的表现亦较为突出，体现了其在该领域任务中的良好适应能力。Grok 3、DeepSeek V3和Baichuan2-7B相对表现不足，说明在法律类任务中存在一定的短板。整体来看，该任务对模型的专业知识覆盖、事实准确性和条理性有较高要求，能够有效区分模型在专业垂直领域的实际应用能力。

图13 不同知识库类型下的模型表现

图13展示了多个LLM在文本推理、知识图谱推理、表格推理和代码推理四个维度的性能差异。不同模型在推理任务中各有优势：Hunyuan-turbo适合文本理解类任务，Grok 3在知识图谱和表格推理方面表现较好，DeepSeek-R1-671B和GPT-4o则在代码推理任务中具有很强的竞争力。选择模型应根据具体应用场景和任务类型进行权衡。总体而言，这些LLM在理解和运用知识图谱的能力上还具有局限性。

图14 不同领域下的模型表现

图14展示了多个大型语言模型在六个不同领域任务中的表现差异。可以观察到，不同模型在通用知识与专业领域任务之间的表现存在差异。Hunyuan-turbo在医疗与法律领域取得了较好成绩，显示出其在中文专业任务中的适应能力；Grok 3在多个领域的任务中表现稳定，尤其在开放领域问答与代码相关任务中相对突出。同时，多数模型在中文政务类任务中的推理能力仍面临一定挑战，相关场景下的适配性有待进一步提升。

在对 OneEval 案例的分析基础上，我们尝试归纳出当前大语言模型在知识类推理任务中可能面临的五个关键问题。希望本研究中的一些观察和思考，能够为相关领域的持续研究提供一定参考，并与学界和业界共同探讨更多改进方向。

（1）长推理链导致用户指令遗忘

（2）过度思考引入边缘假设干扰

（3）缺乏对细粒度外部知识的理解能力

（4）难以构建知识图谱中的深层推理链

（5）常识性因果关系的利用不足

OneEval是一个侧重于“大模型 + 知识库（LLM+KB）” 的融合能力评估的评测体系。第一批发布的V1.0包含十个核心任务数据集，涵盖了文本、表格、知识图谱、代码等四种类型的知识形态，以及通用、医疗、政务、科学、法律与编程等六大领域数据集。基于模型在 OneEval 各项任务中的表现，我们进一步归纳出当前大语言模型在知识推理类任务中可能面临的五个关键问题，为理解其能力边界及未来研究方向提供有益参考依据。

展望未来，OneEval 将持续进行周期性更新，纳入更多由OpenKG自主研发的评测方法与数据集，重点关注大模型在知识增强驱动下的慢思维与神经符号集成的混合推理能力，以期支持大模型向“知识深、思维强”的方向不断演进，并为理解力与思维能力的提升提供有益探索与参考。

众所周知，构建一个完全客观、公正、可重复的大模型评测榜单本身就是一项极具挑战的工作。我们也充分意识到当前评测框架仍有很多不足。受限于时间与资源，本次评测可能存在个别结果的偏差、模型覆盖范围有限、知识检索机制相对简单，防作弊策略等方面也有待进一步完善。我们期待未来能与更多研究者携手，共同推进评测体系的持续优化，促进大模型在知识增强与推理能力方面不断进步。

OneEval 评测由 OpenKG.SIGEval（官网：http://openkg.cn/sigeval/）组织发起，参与单位包括东南大学认知智能研究所、浙江大学知识引擎实验室、同济大学知识计算实验室以及苏州大学自然语言处理实验室、东南大学未来法治与数智技术创新实验室。详细人员列表如下所示：

漆桂林   教授   东南大学

陈华钧   教授   浙江大学

王昊奋   教授   同济大学

陈文亮   教授   苏州大学

陈永锐   博士后   东南大学 邮箱：yongruichen@seu.edu.cn

丁科炎   研究员   浙江大学

王奕淞   硕士   同济大学

张   文   副教授   浙江大学

吴天星   副教授   东南大学

毕   胜   讲师   东南大学

邓鸿杰   浙江大学

刘治强   浙江大学

喻   靖   浙江大学

胡   楠   东南大学

戴鑫邦  东南大学

任   林  东南大学

康家溱  东南大学

刘佳俊  东南大学

[1] Hendrycks D, Basart S, MuJavidy M, et al. Measuring Massive Multitask Language Understanding[C]// ICLR. 2021.

[2] Li H, Zhang Z, Zhang B, et al. CMMLU: Measuring massive multitask language understanding in Chinese[C]// ACL. 2023.

[3] Huang Y, Yue Y, Yuan Z, et al. C-eval: A multi-level multi-discipline chinese evaluation suite for foundation models[C]// NeurIPS. 2023.

[4] Zhong W, Zhou S, Yao J, et al. AGIEval: A Human-Centric Benchmark for Evaluating Foundation Models[C]// NAACL. 2024.

[5] Zeng Z, Shen K, Liu Z, et al. Evaluating Large Language Models at Evaluating Instruction Following[C]// ICLR. 2024.

[6] Longpre S, Hou L, Beever A, et al. The flan collection: Designing data and methods for effective instruction tuning[C]// ICML PMLR. 2023.

[7] Mishra S, Khashabi D, Baral C, et al. Cross-Task Generalization via Natural Language Crowdsourcing Instructions[C]// ACL. 2022.

[8] Reddy S, Chen D, Manning C D. Coqa: A conversational question answering challenge[J]. TACL. 2019.

[9] Feng J, Zhang Z, Li X, et al. MMDialog: A Large-scale Multi-turn Dialogue Dataset Towards Multi-modal Open-domain Conversation[C]// ACL. 2023.

[10] Zheng L, Chiang W, Ying H, et al. Judging llm-as-a-judge with mt-bench and chatbot arena[C]// NeurIPS. 2023.

[11] Köpf A, Kilcher Y, von Werra L, et al. Openassistant conversations-democratizing large language model alignment[C]// NeurIPS. 2023.

[12] Wang B, Chen H, Zhang Z, et al. DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models[C]// NeurIPS. 2023.

[13] Wang B, Chen H, Xu C, et al. Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models[C]// NeurIPS. 2023.

[14] Souly A, Sreedhar K, Das S. A StrongREJECT for Empty Jailbreaks[C]// ICLR Workshop. 2024.

[15] Mazeika M, Phan L, Stoker A, et al. HarmBench: a standardized evaluation framework for automated red teaming and robust refusal[C]// ICML. 2024.

[16] Fourrier, Clémentine, et al. Open LLM Leaderboard v2. 2024, Hugging Face,https://huggingface.co/spaces/open-llm-leaderboa

[17] OpenCompass Contributors. OpenCompass: A Universal Evaluation Platform for Foundation Models. 2023, https://github.com/open-compass/opencompass. 

[18] Chiang, Wei-Lin, et al. "Chatbot arena: An open platform for evaluating llms by human preference." ICML. 2024.

[19] Dubois, Yann, et al. "Length-controlled alpacaeval: A simple way to debias automatic evaluators." arXiv preprint arXiv:2404.04475 (2024).