我要投稿

RLHF 是如何工作的？

发布日期：2024-06-10 14:55:07 浏览次数： 1748

基于人类反馈的强化学习（RLHF）是一种机器学习（ML）技术，它利用人类反馈来优化 ML 模型，从而更有效地进行自我学习。强化学习技术可训练软件做出可最大限度地提高回报的决策，使其结果更加准确。RLHF 将人类反馈纳入奖励功能，因此 ML 模型可以执行更符合人类目标、愿望和需求的任务。RLHF 广泛应用于生成式人工智能（生成式 AI）应用程序，包括大型语言模型（LLM）。

RLHF 是如何工作的？

1. 给定

奖励模型 (RM) , 大型语言模型 (LLM)，两组 (提示，下一个词) 。

训练奖励模型 (RM)

目标：学习为赢家提供更高的奖励

2. 偏好

审查这两组词并挑选 "赢家"；(文档是，他) < (文档是，他们) 因为前者有性别歧视。

3-6 计算词组 1 (输家) 的奖励

3. 词嵌入

将词转换为词嵌入作为奖励模型 (RM) 的输入

4. 线性层

将输入向量与奖励模型的权重和偏差 (4x4 矩阵) 相乘

输出：特征向量

5. 平均池

将特征与列向量 [1/3, 1/3, 1/3] 相乘，达到跨三个位置对特征进行平均的效果

输出：句子嵌入向量

6. 输出层

将句子嵌入向量与权重和偏差 (1x5 矩阵) 相乘

输出：奖励 = 3

7. 词组 2 (赢家) 的奖励

重复步骤 [3]-[6]

输出：奖励 = 5

8. 赢家 vs. 输家奖励

计算赢家和输家奖励的差值

奖励模型希望这个差距尽可能大且为正数

5 - 3 = 2

9. 损失梯度

将奖励差距映射为概率值作为预测: σ(2) ≈ 0.9

通过预测 - 目标计算损失梯度: 0.9 - 1 = -0.1

目标是 1，因为我们想要最大化奖励差距。

运行反向传播和梯度下降来更新奖励模型的权重和偏差 (紫色边框)

调整 LLM

目标：更新权重以最大化奖励

10. 提示 -> 词嵌入

这个提示从未直接接收过人类反馈

[S] 是特殊的开始符号

11. Transformer

注意力机制 (黄色)

前馈网络 (4x2 权重和偏差矩阵)

输出：3 个 "转换后" 的特征向量，每个位置一个

12. 输出概率

对每个转换后的特征向量应用线性层将其映射到词汇表上的概率分布。

13. 采样

应用贪婪算法，即选择分数最高的词

对于输出 1 和 2，模型准确地预测了下一个词

对于第三个输出位置，模型预测了 "him"

14. 奖励模型

将新词组 (CEO 是, him) 输入到奖励模型

过程与步骤 [3]-[6] 相同

输出：奖励 = 3

15. 损失梯度

我们将损失设置为奖励的负值。

损失梯度只是一个常数 -1。

运行反向传播和梯度下降来更新 LLM 的权重和偏差 (红色边框)

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

全面对比dify、coze、streamlit、chainlit

2024-04-26

“大数据+”医疗

2024-04-11

太强了！10大开源大模型！

2024-05-06

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

2024-06-12

大模型训练及推理【硬件选型指南】及 GPU 通识

2024-05-09

【深度】AI搜索产品深度分析-搜索原理和商业模式分析

2024-07-09

HealthGPT：华工数字孪生人实验室发布主动健康大模型基座

2023-07-01

Ollama 本地运行大模型(LLM)完全指南

2024-07-25

大家都在问

LlamaIndex报告：未来Agentic App，不仅是RAG

2024-09-19

从案例分析到客户沟通：AI提示词如何优化律师工作流程？

2024-09-19

o1 能带我们走进 AGI 吗？

2024-09-19

端到端的 NL2SQL 引擎: Super-Analysis 震撼来袭，一个不同于市面已有产品的存在

2024-09-19

Golden-Retriever：提升工业知识库检索准确性

2024-09-18

再见了，LangChain！

2024-09-18

LLMFarm功能汇总：揭秘您可能错过的亮点功能！

2024-09-18

LLM Agent在商业中的应用：探索自主智能的新前沿

2024-09-18

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

万字长文解析：大模型需要怎样的硬件算力

全面对比dify、coze、streamlit、chainlit

“大数据+”医疗

太强了！10大开源大模型！

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

大模型训练及推理【硬件选型指南】及 GPU 通识

【深度】AI搜索产品深度分析-搜索原理和商业模式分析

HealthGPT：华工数字孪生人实验室发布主动健康大模型基座

Ollama 本地运行大模型(LLM)完全指南

大家都在问

LlamaIndex报告：未来Agentic App，不仅是RAG

从案例分析到客户沟通：AI提示词如何优化律师工作流程？

o1 能带我们走进 AGI 吗？

端到端的 NL2SQL 引擎: Super-Analysis 震撼来袭，一个不同于市面已有产品的存在

Golden-Retriever：提升工业知识库检索准确性

再见了，LangChain！

LLMFarm功能汇总：揭秘您可能错过的亮点功能！

LLM Agent在商业中的应用：探索自主智能的新前沿

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

万字长文解析：大模型需要怎样的硬件算力

全面对比dify、coze、streamlit、chainlit

“大数据+”医疗

太强了！10​大开源大模型！

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

大模型训练及推理【硬件选型指南】及 GPU 通识

【深度】AI搜索产品深度分析-搜索原理和商业模式分析

HealthGPT：华工数字孪生人实验室发布主动健康大模型基座

Ollama 本地运行大模型(LLM)完全指南

大家都在问

LlamaIndex报告：未来Agentic App，不仅是RAG

从案例分析到客户沟通：AI提示词如何优化律师工作流程？

o1 能带我们走进 AGI 吗？

端到端的 NL2SQL 引擎: Super-Analysis 震撼来袭，一个不同于市面已有产品的存在

Golden-Retriever：提升工业知识库检索准确性

再见了，LangChain！

LLMFarm功能汇总：揭秘您可能错过的亮点功能！

LLM Agent在商业中的应用：探索自主智能的新前沿

热门标签

太强了！10大开源大模型！