好久没更新了，小一个月了吧，这次不找理由了，没错，就是懒

然后你这条数据（再强调一次本文不考虑你FT的数据质量，像偏微分一样，我们只考虑一个维度，default认为你数据质量和数据分布没问题）进入到了模型中形成了某些权重（别管是Lora还是full FT）

而这部分的损失函数，甚至都写成了RL的方法，一眼看上去跟policy-based 状态转移函数RL似的，直接为后面做准备了

 

 

EXTRACT：这里是指在生成的链式推理路径 e，也就是这玩意  中提取出答案。如果答案正确，赋予奖励 1；如果部分正确，赋予部分奖励比如0.1；否则无奖励。

假设我们有一个数学问题：

小明有 5 个苹果，小红给了他 3 个苹果。小明现在有多少个苹果？

模型可能生成以下几种 P-CoT（程序型思维链）：

情况 1： 正确的 CoT，答案可提取且为正确值

def solution():"""小明有 5 个苹果，小红给了他 3 个苹果。小明现在有多少个苹果？"""initial_apples = 5given_apples = 3total_apples = initial_apples + given_applesresult = total_applesreturn result

在这个例子中，答案8可以通过执行return result语句轻松提取，并且是一个数值。 因此，该 CoT 符合 "答案为正确并且可提取" 的条件，可以获得完整的奖励（奖励值为 1）。

情况 2： 错误的 CoT，答案可提取但非正确值

def solution():"""小明有 5 个苹果，小红给了他 3 个苹果。小明现在有多少个苹果？"""initial_apples = 5given_apples = 3total_apples = initial_apples + given_applesresult = "小明现在有" + str(total_apples) + "个苹果"return result

在这个例子中，虽然答案"小明现在有8个苹果"可以被提取，但它是一个字符串，而不是数值。 因此，该 CoT 不符合 "答案为正确" 的条件，只能获得部分奖励（奖励值为 0.1）。

情况 3： 错误的 CoT，答案不可提取

def solution():"""小明有 5 个苹果，小红给了他 3 个苹果。小明现在有多少个苹果？"""initial_apples = 5given_apples = 3total_apples = initial_apples + given_applesprint("小明现在有" + str(total_apples) + "个苹果")

在这个例子中，答案8虽然存在于代码中，但它并没有被return语句返回，因此无法被提取。 该 CoT 不符合 "答案可提取" 的条件，无法获得任何奖励（奖励值为 0）。

总结：

"答案为数值并且可提取" 意味着模型生成的 CoT 必须能够清晰地表达答案，并且答案必须对。 只有满足这两个条件，ReFT 算法才能根据答案的正确性来计算奖励，从而有效地训练模型。

1.当提取的答案(EXTRACT(st+1))与 ground-truth 答案(y)相同时，奖励为 1。

2.当提取的答案不为空(EXTRACT(st+1) ̸= null)并且与 ground-truth 答案不同(̸= y)时，奖励为 0.1 (部分奖励)。

3.当提取的答案为空(EXTRACT(st+1) = null)时，奖励为 0。

其实这是个很好的问题，因为它触及了强化学习中奖励机制设计的核心。在 ReFT（强化微调）中，部分正确奖励机制的引入主要出于以下几个原因：

1. 应对稀疏奖励问题:

●在数学问题解答等任务中，模型生成的答案往往只有完全正确才能获得奖励，而稍微偏差一点就会被判定为错误，从而得不到任何奖励。 这种奖励信号过于稀疏，会导致模型难以学习。（当然连续就更麻烦了，又不是电信号或者热力学，很难连续）

●部分正确奖励机制可以缓解这个问题，因为它允许模型在答案接近正确时获得部分奖励，从而鼓励模型朝着正确的方向探索。

2. 鼓励模型探索更多样的推理路径:

●如果只给予完全正确或完全错误的奖励，模型可能会倾向于保守地模仿训练数据中的 CoT，而不敢探索其他可能更有效的推理路径。（给一定的探索空间，别老用贪婪）

●部分正确奖励机制可以鼓励模型尝试不同的推理方法，即使它们不能立即得到完美的答案，只要答案朝着正确的方向发展，就能获得部分奖励，从而促进模型的创新能力。（泛化了吧）

3.稳定性:

●完全正确或完全错误的二元奖励信号会导致奖励函数的梯度变化剧烈，不利于模型的稳定训练。

●部分正确奖励机制可以平滑奖励信号，使其更加连续，从而提高训练的稳定性和效率

牛逼版：不是见得ReFT，当然ReFT肯定得做，毕竟O1也一样要PPO，ORM的RL，这都是其中的一环，但是O1内部可以把你输入的领域知识（前提是带COT步骤的，当然ReFT也得带，不然RL什么呢？）给拆成若干个step，然后O1自己去做数据增强，按着PRM玩一把ReFT，咱不玩token级别的action 和reward了，直接上step级别的，那就猛了，所谓的纯血O1！但是我估计这成本也不好cover，毕竟多少个模型要一起为推理增强的RL来买单... 这可都是钱啊