我要投稿

清华开源LongCite，如何提高大模型的溯源能力？

发布日期：2024-09-07 10:03:27 浏览次数： 2366 作者：NLP前沿

溯源/引用，工业界应用老板们最喜欢加的一个东西。总的来说，这个文章也没啥。做了一个评测基准，开源了一个用于溯源sft的45k数据集，开源了2个模型，介绍了他们的数据生成pipeline。

hf-dataset:https://huggingface.co/datasets/THUDM/LongCite-45k
model 1:https://huggingface.co/THUDM/LongCite-glm4-9b
model 2:https://huggingface.co/THUDM/LongCite-llama3.1-8b
github: https://github.com/THUDM/LongCite

主要看看数据生成的pipeline把，如下图：3步+1步过滤（为啥不一步到位了，说是这样更干净，先出答案，在生成引用）

QA数据生成：LLM生成与给定长文本相关的查询和答案。
块级引用生成：给chunk标上引用，结合问题，答案，生成带引用的chunk级别qa数据
句子级引用提取：从每个chunk引用中提取出支持每个陈述的相关句子，生成细粒度引用。
过滤，丢弃引用数量不足的样本。

数据比例，中文占比比较多。可以比较好的利用私有场景~

整体就是效果更好

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-04-09

Second Me：打造属于你的AI自我，重塑数字身份的未来

2025-04-09

智能数据提取工具——MinerU详解及使用

2025-04-09

28.5K star！你的全栈AI大脑来了！支持私有化部署，文档问答/自动研究/多端接入全搞定！

2025-04-08

dify独家揭秘：mcp_sse+Zapier_MCP如何打造轻量级MCPserver达成万物互联

2025-04-08

MCP详解：10分钟快速入门MCP开发

2025-04-08

当 MCP 遇上 Serverless，AI 时代的最佳搭档

2025-04-08

AGI｜AutoGen入门食用手册，搭建你的智能体流水线

2025-04-07

发布一周6K star！Second Me 重磅升级：全平台Docker支持

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

我把最近爆火的 DeepSeek-V3 接到了 Cursor！

2025-01-01

Ollama 本地运行大模型(LLM)完全指南

2024-07-25

万字详解DeepSeek-R1，引爆AI圈的又一力作，大模型爆发势不可挡！

2025-01-21

太强了！10大开源大模型！

2024-05-06

QWEN2.5开源上新，14B/32B回归实测：这就是最强单卡本地模型！

2024-09-20

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

2024-07-20

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

2024-06-12

如何免费使用 Claude AI？Claude使用指南！

2024-07-11

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

DeepSeek-V3 正式发布

2024-12-26

大家都在问

实测Llama 4，究竟是王者归来，还是廉颇老矣？

2025-04-07

4天开发，1700万美元融资：开源的Browser Use为啥这么火？

2025-04-03

为什么大模型本地部署后“没了下文”？

2025-04-03

阿里搞了个大新闻！这AI能听会看还会实时唠嗑，科幻片都不敢这么拍？

2025-04-03

Agent框架大比拼：谁将引领智能应用的未来？

2025-04-01

OWL团队万字分享：复现Manus最好的团队，如何看待Agentic AI的落地现状？

2025-03-31

字节的开源 Manus — Agent Tars，我们离真正的复杂工作流还有多远？

2025-03-25

DeepSeek-V3-0324 就这么悄咪咪的更新了？

2025-03-25

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB