微信扫码
添加专属顾问
我要投稿
RankRAG微调框架
第一阶段的SFT数据:用于维持指令跟随能力
上下文丰富的QA数据:涵盖了DROP、NarrativeQA、Quoref、ROPES、NewsQA、TAT-QA等数据集,每条数据包含问题、黄金上下文(golden context)和答案
会话QA数据集:如Synthetic Conversation和HumanAnnotatedConvQA,同时包括对话内容以及一份背景文档
检索增强的QA数据:不仅包括SQuAD和WebQuestions中的问题和答案,还用BM25将黄金上下文和检索到的top结果组合起来,确保每条数据都有5个上下文,其中有些上下文可能不包括问题答案,甚至是hard-negative,这是为了重点提高LLM对不相关上下文的鲁棒性
上下文排名数据:使用流行的MS Marco语义相关性数据集,将其中的黄金样本视为相关的查询-段落对 (?,?+),BM25挖掘的hard negtive (?,?−)则被视为不相关,让LLM对这些样本的相关性进行二元分类(True或False)
检索增强的排名数据:同样使用QA数据集SQuAD和WebQuestions,以及BM25检索到的上下文,训练LLM的对相关性进行排名的能力
实验
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-04-28
一文彻底搞懂智能体Agent基于ReAct的工具调用
2025-04-28
DeepWiki:AI深度搜索3万个代码库
2025-04-28
解决 AI 代码幻觉!用 Context7 获取最新文档,支持 MCP 调用
2025-04-28
从RAG到KAG,认识知识增强生成技术的演进(上)
2025-04-28
MCP的四种攻击方法:MCE,RAC,CT,RADE
2025-04-27
RAG技术:优化知识库,解决AI答非所问
2025-04-27
AI 写代码总是翻车?Upstash 创始人怒推 Context7:给 LLM 喂上最新鲜的官方文档。
2025-04-26
葵花宝典之「知识库」调优秘籍!RAG优化指南!
2024-10-27
2024-09-04
2024-07-18
2024-05-05
2024-06-20
2024-06-13
2024-07-09
2024-07-09
2024-05-19
2024-07-07
2025-04-26
2025-04-25
2025-04-22
2025-04-22
2025-04-20
2025-04-19
2025-04-18
2025-04-16