AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


LangChain团队最新技术报告:Is RAG Really Dead ?
发布日期:2024-04-20 11:49:03 浏览次数: 2459 来源:PaperAgent


随着大模型上下文窗口扩大到100K-200K Token(开源)或者200万-1000万字(商业),不少人开始质疑检索增强生成(RAG)是否已经过时?

企业机构模型名称上下文长度开/闭源是否中文
360360Zhinao-7B-Chat-360K360K开源
猎户星空Orion-14B-LongChat200K-320K开源
元象XVERSXVERSE-Long-256K256K开源
上海AI LabInternLM2-Chat-7B/20B200K开源
零一万物Yi-6B-200K200K开源
百川智能Baichuan2-192K192K开源
NousResearchYarn-Mistral-7b-128k128K开源
AnimaAnima-7B-100K100K开源否,中文需要申请
AnthropicClaude 2.1200K闭源
智谱AIGLM4128K闭源
OpenAIChatGPT-Turbo128K闭源
月之暗面Kimi Chat20万字闭源
月之暗面Kimi Chat Longer200万字闭源
通义千问qwen1000万字开/闭源

LangChain团队(Lance Martin 软件工程师)结合几个最新研究项目成果来探讨、分析这个问题。通过多针“大海捞针”方法,深入分析了长上下文大模型在事实推理和检索(reasoning & retrieval in long context LLMs)方面的局限性,接着分析了长上下文给RAG带来的新变化,如以文档为中心的索引技术(RAPTOR+Long embeddings)和RAG的流程变化(Self-RAG、CRAG)。

多针“大海捞针” :https://blog.langchain.dev/multi-needle-in-a-haystackChallenge may be recency bias in LLMs:https://arxiv.org/pdf/2310.01427.pdfRAG from scratch:https://github.com/langchain-ai/rag-from-scratchRAG新突破RAPTOR:  https://github.com/parthsarthi03/raptorDense X Retrieval:   https://arxiv.org/pdf/2312.06648.pdfTogether Embeddings:https://www.together.ai/blog/embeddings-endpoint-releaseSelf-RAG:https://arxiv.org/abs/2310.11511CRAG:Corrective Retrieval Augmented Generation  https://arxiv.org/abs/2401.15884





53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询