我要投稿

RAT：利用检索增强思维（CoT+RAG）提高大模型在长文任务中的推理和生成能力！

发布日期：2024-03-27 18:19:43 浏览次数： 2279

检索增强思维（Retrieval Augmented Thoughts, RAT）通过迭代修订思维链来显著提高大型语言模型（LLMs）在长期生成任务（代码生成、数学推理、创意写作和具身任务规划等）中的推理和生成能力，同时大幅减轻幻觉现象。RAT方法通过检索与任务查询、当前和过去思维步骤相关的信息来逐个修订每个思维步骤，从而在初始零次CoT（链式思维）生成后进行修订。

检索增强思维（RAT）流程。给定一个任务提示（图中表示为I），RAT从LLM生成的初始逐步思考（T1, T2, ..., Tn）开始进行zero-shot（“让我们一步步思考”）。一些思考步骤（如图中的T1）可能因幻觉而存在缺陷。RAT使用来自外部知识库（表示为图书馆）的RAG迭代修订每个思考步骤（T★1, T★2, ..., T★i-1, Ti）。

RAT的提示策略包括以下几个步骤：

生成初始CoT：首先，LLM根据任务提示进行零次射击处理，生成一系列逐步的思考（CoT），这些思考代表了解决问题的中间步骤。
查询生成：然后，将任务提示和已经生成的CoT作为查询，用于从外部知识库中检索相关信息。
信息检索：使用检索到的信息，LLM对每个CoT步骤进行修订，以纠正可能存在的错误或幻觉。
逐步修订：LLM按照CoT的顺序逐步生成响应，每一步都基于检索到的信息和之前修订过的思考步骤进行。
最终生成：在所有CoT步骤都经过修订后，LLM将这些修订后的思考步骤整合起来，生成最终的输出。

不同大型语言模型（LLM）在创意生成任务中的推理方法示例。红色文本表示LLM生成文本中的错误或幻觉，而绿色文本代表正确的生成。没有使用RAG的方法通常会产生带有幻觉的错误信息，传统的RAG与检索到的内容高度相关但结构松散，而RAT生成的文本在准确性和完整性方面表现最佳。

将RAT应用于GPT-3.5、GPT-4和CodeLLaMA-7b等模型，在代码生成、数学推理、创意写作和具身任务规划等各种长期生成任务上显著提高了性能。例如，在代码生成任务中，RAT相对于直接方法（DIRECT）的平均评分提高了13.63%，在数学推理任务中提高了16.96%，在创意写作任务中提高了19.2%，在具身任务规划中提高了42.78%。

不同LLM推理方法在复杂具身规划、数学推理、代码生成和创意生成任务上的定量性能比较。RAT在所有任务上都超越了所有基线方法。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

2024-05-14

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

2024-04-26

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

2024-05-22

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

2024-04-12

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-05-10

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

更改ollama模型存储路径

2024-04-25

全面对比dify、coze、streamlit、chainlit

2024-04-26

大家都在问

【AI赋能】揭秘大模型微调：如何让机器智能跃升一个台阶？

2024-09-19

从案例分析到客户沟通：AI提示词如何优化律师工作流程？

2024-09-19

o1 能带我们走进 AGI 吗？

2024-09-19

如何微调（Fine-tuning）大语言模型？

2024-09-18

AI软件必须用GPU么？

2024-09-18

ChatGPT有三个快捷指令和三个模式，你知道吗？

2024-09-17

为什么4090比A100更有性价比？

2024-09-17

o1新模型数据乐观，现实却打脸？

2024-09-16

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

万字长文解析：大模型需要怎样的硬件算力

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

开源项目Composio：突破 AI 智能体开发的边界

更改ollama模型存储路径

全面对比dify、coze、streamlit、chainlit

大家都在问

【AI赋能】揭秘大模型微调：如何让机器智能跃升一个台阶？

从案例分析到客户沟通：AI提示词如何优化律师工作流程？

o1 能带我们走进 AGI 吗？

如何微调（Fine-tuning）大语言模型？

AI软件必须用GPU么？

ChatGPT有三个快捷指令和三个模式，你知道吗？

为什么4090比A100更有性价比？

o1新模型数据乐观，现实却打脸？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

OLLama详细的 api 介绍 不完全指南 python 直接调用 OLLama api 翻译助手演示

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

万字长文解析：大模型需要怎样的硬件算力

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

开源项目Composio：突破 AI 智能体开发的边界

更改ollama模型存储路径

全面对比dify、coze、streamlit、chainlit

大家都在问

【AI赋能】揭秘大模型微调：如何让机器智能跃升一个台阶？

从案例分析到客户沟通：AI提示词如何优化律师工作流程？

o1 能带我们走进 AGI 吗？

如何微调（Fine-tuning）大语言模型？

AI软件必须用GPU么？

ChatGPT有三个快捷指令和三个模式，你知道吗？

为什么4090比A100更有性价比？

o1新模型数据乐观，现实却打脸？

热门标签

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示