我要投稿

Alibaba发布：可编辑CoT，超越ReAct20%

发布日期：2024-12-17 12:33:09 浏览次数： 1607 来源：CourseAI

本期介绍的是一个Cot思维连框架Verify-and-Edit (VE)。该框架通过根据外部知识对推理链进行后期编辑来提高预测的事实性。

Cot思维连的作用

思维链 (CoT) 能够改善需要复杂推理的任务的性能，例如数学文字题、常识推理和符号操作。同时，它能够生成可解释的推理链。

为什么要编辑CoT思维连

提高 CoT 的质量可以有利于提高可解释性和最终任务的性能。
人类认为好的解释通常意味着更准确的预测。因此，更好的 CoT 提示集可以提供更好的基础和逻辑一致的思维过程，从而导致更准确的预测。
为了缓解LLM的幻觉问题，提高生成质量，一个重要的方面是保证事实正确性
Verify-and-Edit (VE) 框架通过对后期编辑推理链以获得更符合事实的预测

Verify-and-Edit (VE)是如何编辑Cot思维连

一共五个步骤：

chain-of-thought:将一致性低于平均水平的预测传递到下一阶段，同时保持高度一致的预测不变；
verify:生成验证问题；
External knowledge Retrieval:检索外部知识；
Edit Rationales:使用有根据的答案编辑理由；
new prediction: 生成新的预测。

用例子解释一下：

句子John Nyskohus 为挪威足球队 Odd Greenland 效力。
在编辑时，首先生成一个问题来验证此细节，例如John Nyskohus 为哪个球队效力？
然后，为了回答这个问题，通过开放域检索系统引入外部知识。例如，事实John Nyskohus … 为阿德莱德城效力……在此实例中被检索到。
然后，通过在提示中提供检索到的事实作为记忆，对基本原理进行编辑。
因此，可以根据检索到的事实更新编辑。
给定编辑后的基本原理，会生成新的预测，该预测考虑了更多与事实一致的推理轨迹。

Verify-and-Edit (VE)推理的伪代码如下：

Verify-and-Edit VS ReAct

Verify-and-Edit 比 ReAct精准度提高了20%

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

RAG框架，都在这了!

2024-06-20

一文彻底搞懂大模型 - RAG（检索、增强、生成）

2024-09-04

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

2024-05-19

微软开源的GraphRAG解读

2024-07-09

深入解析 Graph RAG：提升语言模型问答能力的创新策略

2024-07-09

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

RAG 高效应用指南：Embedding 模型的选择和微调

2024-06-13

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

2024-07-07

大家都在问

在推荐、RAG等业务中，如何完成亿级向量的快速检索？

2024-12-26

除了混合搜索，RAG 还需要哪些基础设施能力？

2024-12-24

构建行业RAG应用系统：金融、财务、保险、医疗等行业该怎么做？

2024-12-21

为什么分块在RAG技术中很重要？但又很没有存在感？

2024-12-14

比GraphRAG还好的LightRAG到底是何方神圣？

2024-12-01

企业级RAG应用的5大技术发展趋势，你准备好了吗？

2024-11-27

RAG搭建中，如何选择最合适的向量索引？

2024-11-25

RAG vs ICL：AI大模型的记忆术和临场发挥，谁才是最强辅助？

2024-11-06

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制