我要投稿

OpenAI：Multi-Agent博弈，大模型可读性更高！

发布日期：2024-07-18 17:04:11 浏览次数： 1716

OpenAI发布了其关于提升大模型可读性的最新研究成果：用大型模型作为”证明者（Prover）“来编写解决方案，用小型模型作为”验证者（Verifier）“来检查它们，最终大模型输出可读性更高。

使用多智能体（multi-agent）博弈训练，其中一个诚实的证明者和一个狡猾的证明者编写解决方案，由一个小型模型进行检查。诚实的证明者希望说服小模型接受正确的解决方案，而狡猾的证明者则试图用有缺陷的解决方案欺骗它。

训练设置

为了激励强模型（证明者）生成人类可读的文本，使用了一种训练方案，要求强模型生成解决方案，而弱得多的模型（验证者）可以轻松验证。具体来说，使用GPT-4系列中的大型和小型模型，它们的预训练计算量相差约3个数量级，这些模型对人类编写的数学推导进行了少量监督训练。

首先，从证明模型中生成多个数学问题的解决方案，其中一些解决方案由于证明模型中自然发生的错误而不正确。然后在两个阶段之间交替进行多轮交替：

验证者训练。训练弱验证者模型来预测证明者生成的解决方案的正确性。
证明者训练，指导强证明者模型扮演“诚实”或“狡猾”的角色。

在诚实角色中，会根据验证者的观点奖励得分高的正确解决方案。
在狡猾的角色中，反而会奖励根据验证者得分高的错误解决方案。

最初，狡猾的证明者很容易就能给出让验证者信服的不正确解决方案。但是，由于将这些不正确的解决方案添加到验证者训练的下一阶段，因此相同的漏洞在下一轮中不再具有说服力，并且证明者被迫在每一轮中探索不同的策略。一旦狡猾的证明者无法再给出让验证者信服的不正确解决方案，训练就会结束。

仅针对正确性优化的模型具有高准确性但可读性差，而仅经过监督微调的模型具有高可读性但准确性差。证明者-验证者游戏方法平衡了两者，实现了高可读性与适度准确性。

训练效果

虽然训练损失在概念上不是很清晰，但效果很好。在训练的早期和晚期检查诚实证明者的解决方案；它们变得更加详细，推理也更加仔细：

将其与训练初期和后期狡猾证明者的解决方案进行比较；缺陷变得更加微妙：

令人惊讶的是，这种易读性是可以转移的：经过更多轮训练，人类在检查解决方案时会变得更快、更准确。（这些都是相当简单的小学数学问题，因此人类的时间限制为 45 秒。）

相比之下，常规的正确性强化学习会使解决方案变得不那么清晰：人类在检查解决方案时会变得更慢，准确性更低：

https://openai.com/index/prover-verifier-games-improve-legibility/https://cdn.openai.com/prover-verifier-games-improve-legibility-of-llm-outputs/legibility.pdf

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

全面对比dify、coze、streamlit、chainlit

2024-04-26

“大数据+”医疗

2024-04-11

太强了！10大开源大模型！

2024-05-06

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

2024-06-12

【深度】AI搜索产品深度分析-搜索原理和商业模式分析

2024-07-09

大模型训练及推理【硬件选型指南】及 GPU 通识

2024-05-09

HealthGPT：华工数字孪生人实验室发布主动健康大模型基座

2023-07-01

Ollama 本地运行大模型(LLM)完全指南

2024-07-25

大家都在问

OpenAI携手T-Mobile，AI客户体验新时代到来了

2024-09-20

37手游在 AI 智能分析的探索

2024-09-20

用 Cursor AI 30分钟内打造汉字临摹模板生成器

2024-09-20

一文带您解锁鸿翼OpenContent 智能文档云V8的六大AI应用场景

2024-09-20

智能对决：提示词攻防中的AI安全博弈

2024-09-20

斯坦福重磅，突破小规模语料瓶颈，EntiGraph合成数据增强算法让LLM更聪明

2024-09-20

HippoRAG:模拟大脑记忆思索机制的 RAG

2024-09-20

Vectorlite v0.2.0：在SQLite驱动下实现极速向量检索

2024-09-20

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

万字长文解析：大模型需要怎样的硬件算力

全面对比dify、coze、streamlit、chainlit

“大数据+”医疗

太强了！10大开源大模型！

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

【深度】AI搜索产品深度分析-搜索原理和商业模式分析

大模型训练及推理【硬件选型指南】及 GPU 通识

HealthGPT：华工数字孪生人实验室发布主动健康大模型基座

Ollama 本地运行大模型(LLM)完全指南

大家都在问

OpenAI携手T-Mobile，AI客户体验新时代到来了

37手游在 AI 智能分析的探索

用 Cursor AI 30分钟内打造汉字临摹模板生成器

一文带您解锁鸿翼OpenContent 智能文档云V8的六大AI应用场景

智能对决：提示词攻防中的AI安全博弈

斯坦福重磅，突破小规模语料瓶颈，EntiGraph合成数据增强算法让LLM更聪明

HippoRAG:模拟大脑记忆思索机制的 RAG

Vectorlite v0.2.0：在SQLite驱动下实现极速向量检索

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

万字长文解析：大模型需要怎样的硬件算力

全面对比dify、coze、streamlit、chainlit

“大数据+”医疗

太强了！10​大开源大模型！

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

【深度】AI搜索产品深度分析-搜索原理和商业模式分析

大模型训练及推理【硬件选型指南】及 GPU 通识

HealthGPT：华工数字孪生人实验室发布主动健康大模型基座

Ollama 本地运行大模型(LLM)完全指南

大家都在问

OpenAI携手T-Mobile，AI客户体验新时代到来了

37手游在 AI 智能分析的探索

用 Cursor AI 30分钟内打造汉字临摹模板生成器

一文带您解锁鸿翼OpenContent 智能文档云V8的六大AI应用场景

智能对决：提示词攻防中的AI安全博弈

斯坦福重磅，突破小规模语料瓶颈，EntiGraph合成数据增强算法让LLM更聪明

HippoRAG:模拟大脑记忆思索机制的 RAG

Vectorlite v0.2.0：在SQLite驱动下实现极速向量检索

热门标签

太强了！10大开源大模型！