微信扫码
与创始人交个朋友
我要投稿
简而言之使用RAFT,当提出一个问题和一批检索到的文档时,该框架指示模型忽略那些不有助于回答问题的文档。这些被忽略的文档被称为干扰文档。
在最近的研究中,已经有一些努力来减少在推理时引入的噪声。这就是指检索到的信息与当前上下文无关。
此外,优化注入上下文的大小在令牌使用成本、超时和负载开销方面也很重要。
RAFT还结合了链式思维方法,这引导我进入下一个话题。RAG实现开始超越仅仅上下文注入,并开始结合提示方法。
训练数据的格式得到了广泛的关注,每个数据点包含一个问题(Q),一组文档(Dk)以及相应的链式思维风格的答案。
特定领域的实现当涉及到将LLMs适应特定领域时,有两个候选方案:
1、通过RAG利用上下文学习
2、有监督的微调
RAG允许模型在回答问题时参考文档,但它错过了从固定领域设置中学习和提前访问测试文档的机会。
另一方面,有监督的微调允许从文档中学习更广泛的模式,更好地与终端任务和用户偏好对齐。
然而,当前的微调方法要么在测试期间不利用文档,要么忽略了训练期间检索中的不完美之处。
因此,RAFT努力将微调与RAG结合起来。通过RAFT,在有监督的情况下,可以为微调收集最佳结果。
以数据为中心RAFT专注于准备数据...
在RAFT中,训练数据的准备工作是以这样的方式执行的:每个数据点包含一个问题(Q),一组文档(Dk)以及相应的链式思维风格的答案。
本文研究了以下问题 - 如何将预训练的LLMs适应特定领域的检索增强生成(RAG)?
考虑到上面的图像,微调方法可以比作是通过记忆输入文档或者在不参考材料的情况下练习问题来为考试学习。
另一方面,上下文检索方法错过了从固定领域中学习的机会,类似于在没有任何预先学习的情况下参加开卷考试。
RAFT通过在模拟的不完美检索场景中参考文档,结合了带有问题-答案对的微调。这种方法有效地为模型准备了开卷考试。
参考上图,RAFT方法是一种适应LLMs的方法,用于从正面和负面文档集合中阅读解决方案。
这与标准的RAG设置形成对比,在标准的RAG设置中,模型是使用检索器输出进行训练的,包括记忆和阅读。
结论 研究发现,与通用LLM对手相比,较小的微调模型能够在特定领域的问答任务中表现得同样好。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-08-18
当产品经理谈到用LLM Agent构建新一代智能体的时候,他们在说什么?
2024-08-15
对话AI教育从业者们:AI如何解决因材施教的难题?
2024-08-03
工业应用中的向量数据库与知识向量化存储方案
2024-07-25
两大深度学习框架TensorFlow与PyTorch对比
2024-07-17
让生成式 AI 触手可及:NVIDIA NIM on VKE 部署实践
2024-07-16
中文大模型基准测评2024上半年报告
2024-07-16
一文看懂人工智能的起源、发展、三次浪潮与未来趋势
2024-07-14
"自拍" 秒变 "证件照" 看Coze如何实现
2024-05-14
2024-04-26
2024-05-22
2024-04-12
2024-07-18
2024-03-30
2024-05-10
2024-08-13
2024-04-25
2024-04-26
2024-09-23
2024-09-22
2024-09-22
2024-09-22
2024-09-21
2024-09-21
2024-09-20
2024-09-20