自适应Prompt：让LLM更懂你的意图

为什么我们需要更好的提示策略

传统的提示方法往往依赖于固定的示例集，这限制了模型的潜力发挥。最近，德克萨斯大学达拉斯分校等机构的研究团队提出了一种突破性的自适应提示方法（Adaptive-Prompt），该方法通过动态选择最具信息量的示例来显著提升模型的推理能力。这项研究不仅在理论上具有创新性，更在实践中展现出显著的性能优势，很值得看一看。

传统方法的局限性

在深入理解这项创新之前，我们需要认识到当前提示方法面临的主要挑战。传统的链式思维（Chain-of-Thought，CoT）提示方法虽然在提升模型推理能力方面取得了显著成果，但其效果很大程度上依赖于人工精心设计的示例。这种方法存在两个主要问题：首先，手工设计示例需要大量专业知识和时间投入；其次，固定的示例集可能无法适应不同类型的问题，导致模型在某些场景下表现欠佳。

自适应提示方法的核心原理

在图的左侧区域，展示了未标注问题集（Unlabeled Questions）的示例。这些问题涵盖了不同领域的查询，如物理课程统计（"在物理课上，75%的学生..."）、商务会议记录等实际场景。这些未标注问题构成了系统的原始输入池。

图的中央区域描绘了核心处理流程，包含三个关键组件：

1. 提示模板（Prompt，位于顶部）：用于组织当前已标注的示例集

2. 大语言模型（LLM，位于中心）：作为核心推理引擎

3. 问题填充区域（位于左侧到中心的箭头处）：展示了如何将未标注问题与现有示例结合

在图的右侧区域，研究者展示了不确定性评估和示例选择的机制。这部分特别标注了三个问题示例及其对应的不确定性分数：

• 第一个问题的不确定性得分为1.9（最高）

• 第二个问题的不确定性得分为0.8（中等）

• 第三个问题的不确定性得分为0.1（最低）

图中的箭头流向揭示了整个工作流程：

1. 从左侧的未标注问题池开始

2. 通过中心的LLM进行多次推理

3. 在右侧进行不确定性评估

4. 最后选择最不确定的问题（如图中得分1.9的问题）进行标注

特别值得注意的是图的右上角，展示了将选中问题（Q27）添加到示例集的过程。整个工作流程通过可视化设计清晰呈现了系统如何识别和选择最有价值的示例，包括问题选择、标注添加、示例集更新和重新评估等关键步骤。

方法原理与步骤

研究团队提出的Adaptive-Prompt方法的核心在于其自适应性和迭代性。与传统方法不同，该方法不是一次性选择所有示例，而是通过迭代的方式，根据已选择示例的效果来动态确定下一个最优示例。这种方法的工作原理可以分为以下几个关键步骤：

1. 初始化：首先建立一个空的示例集。

2. 不确定性评估：对训练集中的每个问题，结合当前示例集进行多次查询，计算模型回答的不确定性得分。

3. 示例选择：选择不确定性最高的问题进行人工标注，并将其添加到示例集中。

4. 迭代优化：重复步骤2和3，直到达到预设的示例数量。

研究团队将这个过程形式化为一个算法：

为了更好地理解这个算法的工作方式，让我们通过一个实际的应用场景来说明。假设你是一个客服系统的开发者，需要构建一个能够自动回答用户问题的AI助手。你手上有1000个未标注的客服问题（这就是算法中的Q），但由于资源限制，你只能选择8个问题（这就是k）进行人工标注来作为示例。

这个算法就像一个精明的助教，它会这样工作：

1. 首先，它手里没有任何示例（E=空集）

2. 对于每个客服问题，它会让AI（也就是算法中的模型M）尝试回答10次（l times）。就像你问同一个问题10次，看看AI给出的答案是否一致。

3. 通过这10次回答，算法计算出每个问题的"不确定性得分"。比如：

• 如果10次回答都不一样，说明AI对这个问题很不确定

• 如果10次回答都一样，说明AI对这个问题很有把握

• 选择得分最高（最不确定）的问题，请人工专家编写标准答案和推理过程

• 把这个问题和专家的答案加入到示例集E中

• 重复这个过程，直到选出8个示例

这样，最终选出的8个示例会是：

• AI最不确定的问题

• 彼此之间知识重叠最少的问题

• 最能提升AI回答能力的问题

这种方法的独特之处在于它的自适应性：每选择一个新的示例，都会考虑已有示例的影响，从而确保示例集的多样性和有效性。这就像是在组建一个最优的教学团队，每个成员都能带来独特的知识和经验。

如何实现自适应选择

研究者在实现自适应选择过程中采用了两种不确定性度量方法：分歧度（Disagreement）和熵（Entropy）。对于每个候选问题，模型会生成多次回答，通过这些回答的一致性来评估模型的确定性。具体来说：

• 分歧度衡量：计算不同回答的比例，即unique(answers)/total_answers

• 熵基衡量：计算回答分布的信息熵，反映答案分布的不确定性

这种双重度量方法确保了选择的示例能够最大程度地提升模型的学习效果。

性能提升的确切证据

研究团队在多个标准数据集上进行了广泛的实验，包括：

1. 算术推理任务：GSM8K、SVAMP和AQuA

2. 常识推理任务：StrategyQA和CSQA

3. 符号推理任务：字母连接（Letter Concat）



研究团队在两个主流大语言模型上进行了全面的性能评估，实验结果如表1和表2所示。表1展示了在GPT-3.5 Turbo上的测试结果，表2展示了在更强大的GPT-4o mini模型上的表现。这些实验结果揭示了几个重要的发现：

1. 在GPT-3.5 Turbo上的表现：

• Adaptive-Prompt (E)方法在GSM8K数据集上达到了82.7%的准确率，比基线方法提升了0.8%

• 在SVAMP数据集上，Adaptive-Prompt (D)取得了82.5%的准确率，优于所有对比方法

• 在常识推理任务StrategyQA上，该方法达到76.6%的准确率，比Zero-Shot CoT提升了6.1个百分点

• 平均而言，Adaptive-Prompt在所有任务上的平均准确率达到76.0%，显著优于其他方法

• 在GPT-4o mini上的表现：

• 模型整体性能有显著提升，所有方法的准确率都有明显提高

• Adaptive-Prompt (E)在GSM8K上达到了94.2%的准确率

• 在CSQA任务上，该方法取得了83.6%的准确率，比基线方法提升了3.1个百分点

• 在所有任务上的平均准确率达到86.9%，保持了方法的优势

• 方法间的比较：

• 相比于传统的CoT方法，自适应方法在几乎所有任务上都表现更好

• 与Active-Prompt相比，新方法在处理复杂推理任务时显示出明显优势

• Zero-Shot CoT在某些简单任务上表现不错，但在复杂任务上效果欠佳

这些实验结果不仅验证了Adaptive-Prompt方法的有效性，也展示了其在不同类型任务和不同模型上的适应能力。特别是在处理复杂推理任务时，该方法表现出了显著的优势。

为什么自适应提示更有效

研究结果揭示了几个重要发现：

1. 冗余消除：相比于传统的一次性选择方法，自适应选择能够有效避免示例之间的知识冗余。例如，当两个问题本质上考察相同知识点时，系统会倾向于只选择其中一个作为示例。

2. 示例数量的影响：实验表明，示例数量（k）的选择对性能有显著影响。研究团队通过一系列精心设计的对照实验，深入研究了示例数量与模型性能之间的关系。



研究者在三个具有代表性的数据集（GSM8K、StrategyQA和CSQA）上进行了详细的对比实验。表3的数据显示，在控制变量相同的情况下，Adaptive-Prompt (E)在所有任务上都取得了最好的表现：在GSM8K上达到82.5%的准确率，在StrategyQA上达到76.7%，在CSQA上达到77.3%。

更引人注目的是Fig2和Fig3所展示的性能变化趋势。这两张图揭示了示例数量（k）如何影响模型性能：

• GSM8K数据集上的表现：

• 当k值从2增加到12时，性能总体呈上升趋势

• 在k=12左右达到峰值

• k值继续增加时，性能开始略有下降

• Adaptive-Prompt始终保持领先优势

• CSQA数据集上的表现：

• 性能提升曲线更加平滑

• 最佳性能出现在k=10附近

• 与基线方法的差距在k值较大时更加明显

• Random-Prompt的性能在k值增加时提升有限

这些实验数据支持了一个重要结论：示例数量存在一个最优区间（通常在8-12之间），在此区间内，自适应方法能够最大程度发挥其优势。这个发现对于实际应用具有重要的指导意义：既不能选择过少的示例而限制了方法的效果，也不要过多以致增加了计算开销而收益有限。

1. 模型能力的影响：实验结果显示，自适应提示方法在相对较弱的模型（如GPT-3.5 Turbo）上获得了更显著的性能提升，而在更强大的模型（如GPT-4）上，提升幅度相对较小。

Prompt工程师如何应用这一方法

基于研究结果，我们可以总结出以下实践建议：

1. 示例选择策略：

• 不要一次性选择所有示例

• 通过多次查询评估候选示例的不确定性

• 优先选择能带来新知识点的示例

• 示例数量优化：

• 根据任务复杂度调整示例数量

• 通常保持在8-12个示例之间

• 定期评估示例集的效果

• 应用场景选择：

• 对于复杂推理任务，优先考虑使用自适应提示

• 在资源受限的场景下，可以使用较小的候选池

• 针对不同强度的模型采用不同的策略

结论：重新思考提示工程的范式

Adaptive-Prompt的成功表明，提示工程正在从静态范式向动态范式转变。这种转变不仅提升了模型性能，更重要的是提供了一种新的思维方式：通过动态适应和持续优化来提升AI系统的能力。对于Prompt工程师而言，这意味着需要重新思考提示设计的方法，从固定模式转向更灵活、更智能的自适应方案。这不仅能提升模型性能，也能降低提示工程的人工成本，推动AI应用向更高效、更智能的方向发展。