AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


构建RAG检索增强生成系统 ,一系列文章资料,用于开发生产就绪的RAG应用程序
发布日期:2024-04-19 07:36:08 浏览次数: 1816 来源:python 编程小乐园



在谈论Retrieval-Augmented Generation(RAG)这个话题时,我们首先需要了解其不同的范式和框架。自从ChatGPT发布以来,RAG这个概念引起了广泛的关注,特别是在Lewis等人于2020年发表了相关论文之后。

1. RAG的范式

Naive-RAG 是向LLM提供来自外部知识源的额外上下文,用于注入知识和减少幻觉的概念。它包括两个阶段:摄取阶段和推理阶段。在摄取阶段,外部知识源被准备好;在推理阶段,该知识源被用于为用户查询提供额外的上下文,并用于生成答案。



文章参考汇总

https://towardsdatascience.com/retrieval-augmented-generation-rag-from-theory-to-langchain-implementation-4e9bd5f6a4f2

https://towardsdatascience.com/a-guide-on-12-tuning-strategies-for-production-ready-rag-applications-7ca646833439

https://towardsdatascience.com/retrieval-augmented-generation-rag-from-theory-to-langchain-implementation-4e9bd5f6a4f2?source=post_page-----be587f42aedb--------------------------------

Advanced RAG(高级RAG)

由于Naive RAG存在一些局限性,高级RAG作为一种新的范式出现。它在预摄取、摄取和后摄取阶段引入了新的技术,以改善RAG管道的性能。

文章参考汇总

https://towardsdatascience.com/advanced-retrieval-augmented-generation-from-theory-to-llamaindex-implementation-4de1464a9930?source=post_page-----be587f42aedb--------------------------------

https://towardsdatascience.com/a-guide-on-12-tuning-strategies-for-production-ready-rag-applications-7ca646833439?source=post_page-----be587f42aedb--------------------------------

Modular RAG(模块化RAG)

此外,调查论文还提到了模块化RAG的范式,但在文中并未进一步详细阐述。

Orchestration Frameworks(编排框架)

自ChatGPT发布以来,涌现出了许多不同的框架,帮助开发人员构建基于LLM的应用程序。其中一些最受欢迎的框架包括

  • LangChain

  • LlamaIndex

  • DSPy

工具链接汇总:

LangChain

https://towardsdatascience.com/advanced-retrieval-augmented-generation-from-theory-to-llamaindex-implementation-4de1464a9930

https://towardsdatascience.com/intro-to-dspy-goodbye-prompting-hello-programming-4ca1c6ce3eb9

RAG Evaluation(RAG评估)

要构建生产就绪的RAG应用程序,您需要一些方法来评估它们。然而,评估RAG应用程序并不是一件容易的事情。目前,评估的方法正在迅速发展,但这是一个复杂的领域。

总结

Retrieval-Augmented Generation是一个令人兴奋的领域,它融合了自然语言生成和知识检索的概念。通过了解不同的范式和框架,我们可以更好地理解如何构建和评估RAG应用程序,从而推动这一领域的发展。


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询