我要投稿

大模型RAG实战｜对接Streamlit实现类似ChatGPT的流式输出

发布日期：2024-08-17 06:54:14 浏览次数： 1907 来源：大卫THINK

ThinkRAG大模型RAG实战系列文章，带你深入探索使用LlamaIndex框架，构建本地大模型知识库问答系统。本系列涵盖知识库管理、检索优化、模型本地部署等主题，通过代码与实例，讲解如何打造生产级系统，实现本地知识库的快速检索与智能问答。

前文讨论了实现混合检索的方法。当我们把检索到的内容，发送给大模型生成回答时，希望能够快速得到响应。

类似ChatGPT的流式（streaming）输出可以提升用户的体验。

特别是当我们要求大模型输出长文本时，例如：生成一篇2000字文章，用户无需等待生成完毕，即可开始阅读生成的内容。

现在的大语言模型（LLM）基本都支持流式输出。在LlamaIndex中实现方式很简单：我们在构建问答引擎（Query Engine）时，只需要明确设置参数streaming=True即可。

代码实例如下：

from llama_index.core.query_engine import RetrieverQueryEnginequery_engine = RetrieverQueryEngine.from_args(retriever=retriever,text_qa_template=text_qa_template,refine_template=refine_template,node_postprocessors=node_postprocessors,        response_mode="simple_summarize",verbose=True,streaming=True,)

这时，我们通过query_engine的query方法向大模型提问：“流程有哪三个特征”，该方法会返回一个response对象。

prompt = "流程有哪三个特征？"response = query_engine.query(prompt)
response_text = st.write_stream(response.response_gen)

我们将response对象的reponse_gen方法，对接到Streamlit的write_stream方法，就可以接收大模型生成的流式输出，并同步在前端显示了。

该方法的返回值response_text，则是此次流式输出的全文，可以进一步处理或保存到对话记录中。

目前，ThinkRAG已采用流式输出。如果你运行ThinkRAG进行提问，可以看到系统的响应速度非常快，软件记录的时间为0.05秒。

效果如下：

如果，你的LlamaIndex应用不是通过Streamlit输出，而是在终端（console）输出，那么我们直接调用print_response_stream方法即可。

response.print_response_stream()

如果你自行开发软件前端，需要对流式输出进行手动处理，那么可以参考以下方法实现。

for text in response.response_gen:# do something with text as they arrive.pass

文中代码实例，可参考开源项目ThinkRAG。

https://github.com/wzdavid/ThinkRAG

ThinkRAG是基于LlamaIndex框架，前端使用Streamlit开发的大模型本地知识库RAG系统，可在笔记本电脑上部署和离线运行。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

微软开源的GraphRAG解读

2024-07-09

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

深入解析 Graph RAG：提升语言模型问答能力的创新策略

2024-07-09

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

2024-05-19

RAG框架，都在这了!

2024-06-20

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

2024-07-07

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

2024-07-08

【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路

2024-07-09

大家都在问

RAG vs ICL：AI大模型的记忆术和临场发挥，谁才是最强辅助？

2024-11-06

企业如何从0到1构建RAG系统？

2024-11-06

RAG 系统的分块难题：小型语言模型如何找到最佳断点？

2024-11-05

实操｜如何优雅的实现RAG与GraphRAG应用中的知识文档增量更新？

2024-11-04

全网最全国内Agent平台深度测评：扣子、Dify、FastGPT，谁是你的Agent开发首选？

2024-10-27

微软研究院新突破：如何让AI在专业领域更靠谱？

2024-10-25

语义分块真的有效吗？

2024-10-21

突破传统RAG局限：GraphRAG如何提升大模型问答能力？

2024-10-21

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

微软开源的GraphRAG解读

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

深入解析 Graph RAG：提升语言模型问答能力的创新策略

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

RAG框架，都在这了!

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路

大家都在问

RAG vs ICL：AI大模型的记忆术和临场发挥，谁才是最强辅助？

企业如何从0到1构建RAG系统？

RAG 系统的分块难题：小型语言模型如何找到最佳断点？

实操｜如何优雅的实现RAG与GraphRAG应用中的知识文档增量更新？

全网最全国内Agent平台深度测评：扣子、Dify、FastGPT，谁是你的Agent开发首选？

微软研究院新突破：如何让AI在专业领域更靠谱？

语义分块真的有效吗？

突破传统RAG局限：GraphRAG如何提升大模型问答能力？

热门标签