我要投稿

LangChain团队最新技术报告：Is RAG Really Dead ？

发布日期：2024-04-20 11:49:03 浏览次数： 2546 来源：PaperAgent

随着大模型上下文窗口扩大到100K-200K Token（开源）或者200万-1000万字（商业），不少人开始质疑检索增强生成（RAG）是否已经过时？

企业机构	模型名称	上下文长度	开/闭源	是否中文
360	360Zhinao-7B-Chat-360K	360K	开源	是
猎户星空	Orion-14B-LongChat	200K-320K	开源	是
元象XVERS	XVERSE-Long-256K	256K	开源	是
上海AI Lab	InternLM2-Chat-7B/20B	200K	开源	是
零一万物	Yi-6B-200K	200K	开源	是
百川智能	Baichuan2-192K	192K	开源	是
NousResearch	Yarn-Mistral-7b-128k	128K	开源	否
Anima	Anima-7B-100K	100K	开源	否,中文需要申请
Anthropic	Claude 2.1	200K	闭源	是
智谱AI	GLM4	128K	闭源	是
OpenAI	ChatGPT-Turbo	128K	闭源	是
月之暗面	Kimi Chat	20万字	闭源	是
月之暗面	Kimi Chat Longer	200万字	闭源	是
通义千问	qwen	1000万字	开/闭源	是

LangChain团队（Lance Martin 软件工程师）结合几个最新研究项目成果来探讨、分析这个问题。通过多针“大海捞针”方法，深入分析了长上下文大模型在事实推理和检索（reasoning & retrieval in long context LLMs）方面的局限性，接着分析了长上下文给RAG带来的新变化，如以文档为中心的索引技术（RAPTOR+Long embeddings）和RAG的流程变化（Self-RAG、CRAG）。

多针“大海捞针” ：https://blog.langchain.dev/multi-needle-in-a-haystackChallenge may be recency bias in LLMs：https://arxiv.org/pdf/2310.01427.pdfRAG from scratch：https://github.com/langchain-ai/rag-from-scratchRAG新突破RAPTOR：  https://github.com/parthsarthi03/raptorDense X Retrieval:   https://arxiv.org/pdf/2312.06648.pdfTogether Embeddings：https://www.together.ai/blog/embeddings-endpoint-releaseSelf-RAG：https://arxiv.org/abs/2310.11511CRAG：Corrective Retrieval Augmented Generation  https://arxiv.org/abs/2401.15884

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

RAG框架，都在这了!

2024-06-20

一文彻底搞懂大模型 - RAG（检索、增强、生成）

2024-09-04

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

2024-05-19

微软开源的GraphRAG解读

2024-07-09

深入解析 Graph RAG：提升语言模型问答能力的创新策略

2024-07-09

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

2024-07-07

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

2024-07-08

大家都在问

构建行业RAG应用系统：金融、财务、保险、医疗等行业该怎么做？

2024-12-21

为什么分块在RAG技术中很重要？但又很没有存在感？

2024-12-14

比GraphRAG还好的LightRAG到底是何方神圣？

2024-12-01

企业级RAG应用的5大技术发展趋势，你准备好了吗？

2024-11-27

RAG搭建中，如何选择最合适的向量索引？

2024-11-25

RAG vs ICL：AI大模型的记忆术和临场发挥，谁才是最强辅助？

2024-11-06

企业如何从0到1构建RAG系统？