微信扫码
添加专属顾问
我要投稿
大语言模型在企业内部知识问答中可能会出现幻觉等问题, 检索增强生成(RAG)是减轻大语言模型幻觉的一种有效手段,那如何评估检索增强生成的结果是否准确? 如何确定RAG产品是否可用,是否有标准可以判断?
RAG智能问答系统介绍:
如何基于向量数据库+LLM(大语言模型)打造企业专属Chatbot?
因此对RAG目前可以使用的评测工具或方法进行调研,从业务角度出发选择合适的评估框架。
01
—
RAGAs
02
—
Trulens
主要根据Query(问题),Response(回答),Context(上下文)从以下几个方面进行评估:
Response 是否跟 query 相关;
Context(召回的知识)是否跟 query 相关;
Response 是否严格基于 Context 作答;
如有提供标准答案,还可以跟标准答案做对比;
groundedness:主要用于检测LLM幻觉,response是否严格基于召回知识产生,找到response中句子在context中存在的证据,评估回复是否基于知识生成;
打分标准:
支持证据:选择与陈述完全相同且未改变的句子,如果没有匹配项,请说“NOTHING FOUND”;
分数:输出一个介于 0 到 10 之间的数字,其中 0 表示没有信息重叠,10 表示所有信息都重叠
answer_relevance:主要用于response相关性评估,找到相关的证据并打分,评估是否跟问题相关;
打分标准:
答案必须与整个问题描述相关才能得到 10 分;
与问题描述完全相关的答案应得到 9 或 10 分;
与问题描述大部分相关的答案应得到 5-8 分,分数越高表示相关性越强;
与问题描述部分相关的答案应得到 2、3 或 4 分,分数越高表示相关性越强;
明确错误的答案应得到 0 分;
context_relevance:主要用于知识召回相关性评估,找到相关性证据并打分,评估召回知识是否跟问题相关;
打分标准:将 0 到 10 之间的数字作为回答,0 表示最不相关,10 表示最相关;
Groundtruth :用于 response 准确性评估,使用已有的测试集标准答案进行对比评估,并打分。
打分标准:根据与正确答案的接近程度,回答只能使用 1 到 10 之间的整数。
03
—
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-10-27
2024-09-04
2024-07-18
2024-05-05
2024-06-20
2024-06-13
2024-07-09
2024-07-09
2024-05-19
2024-07-07
2025-04-01
2025-04-01
2025-03-30
2025-03-28
2025-03-27
2025-03-27
2025-03-25
2025-03-19