微信扫码
与创始人交个朋友
我要投稿
大语言模型在企业内部知识问答中可能会出现幻觉等问题, 检索增强生成(RAG)是减轻大语言模型幻觉的一种有效手段,那如何评估检索增强生成的结果是否准确? 如何确定RAG产品是否可用,是否有标准可以判断?
RAG智能问答系统介绍:
如何基于向量数据库+LLM(大语言模型)打造企业专属Chatbot?
因此对RAG目前可以使用的评测工具或方法进行调研,从业务角度出发选择合适的评估框架。
01
—
RAGAs
02
—
Trulens
主要根据Query(问题),Response(回答),Context(上下文)从以下几个方面进行评估:
Response 是否跟 query 相关;
Context(召回的知识)是否跟 query 相关;
Response 是否严格基于 Context 作答;
如有提供标准答案,还可以跟标准答案做对比;
groundedness:主要用于检测LLM幻觉,response是否严格基于召回知识产生,找到response中句子在context中存在的证据,评估回复是否基于知识生成;
打分标准:
支持证据:选择与陈述完全相同且未改变的句子,如果没有匹配项,请说“NOTHING FOUND”;
分数:输出一个介于 0 到 10 之间的数字,其中 0 表示没有信息重叠,10 表示所有信息都重叠
answer_relevance:主要用于response相关性评估,找到相关的证据并打分,评估是否跟问题相关;
打分标准:
答案必须与整个问题描述相关才能得到 10 分;
与问题描述完全相关的答案应得到 9 或 10 分;
与问题描述大部分相关的答案应得到 5-8 分,分数越高表示相关性越强;
与问题描述部分相关的答案应得到 2、3 或 4 分,分数越高表示相关性越强;
明确错误的答案应得到 0 分;
context_relevance:主要用于知识召回相关性评估,找到相关性证据并打分,评估召回知识是否跟问题相关;
打分标准:将 0 到 10 之间的数字作为回答,0 表示最不相关,10 表示最相关;
Groundtruth :用于 response 准确性评估,使用已有的测试集标准答案进行对比评估,并打分。
打分标准:根据与正确答案的接近程度,回答只能使用 1 到 10 之间的整数。
03
—
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-09-20
RAG+Agent人工智能平台:RAGflow实现GraphRA知识库问答,打造极致多模态问答与AI编排流体验
2024-09-20
HippoRAG:模拟大脑记忆思索机制的 RAG
2024-09-20
在长上下文LLM的时代,RAG是否仍然必要?
2024-09-18
Golden-Retriever:提升工业知识库检索准确性
2024-09-18
大模型RAG最佳实践指南
2024-09-18
360视角:大模型幻觉问题及其解决方案的深度探索与实践
2024-09-18
快速理解 GraphRAG:构建更可靠、更智能的 Chatbot
2024-09-18
大模型+RAG如何提高问答准确率?5家互联网大厂RAG落地实践
2024-07-18
2024-07-08
2024-07-09
2024-06-20
2024-05-05
2024-07-09
2024-06-13
2024-07-07
2024-07-07
2024-07-14
2024-09-20
2024-09-16
2024-09-12
2024-09-11
2024-09-10
2024-09-09
2024-09-07
2024-09-04