提示工程师的“末日”？北大发布PAS系统，自动增强提示，解放你的手册！

引言：

“技术的终极承诺是让我们通过按一个按钮就能指挥世界成为它的主人。”——沃尔克·格拉斯穆克

自大型语言模型（LLM）诞生以来，及时工程，即通过不断调整给予大模型的指令以优化大模型生成结果，成为了模型调参之外的又一大“炼丹”事业。随之而来的，是“提示工程师”这一功能角色的崛起。

然而，正如充满玄学与不确定性色彩的“炼丹”，目前最熟练的“提示工程师”也很难保证调试出最优化的提示，而这限制了大模型实际落地的效果。为了解决这个痛点，来自北京大学的团队提出了一套“即插即用”的提示自动增强系统——PAS，它不仅实现了超过6个层次的效果提升，更重要的是，它真正实现了“全自动化”的效果，将“提示工程师”从繁琐的调试工作中解放出来，为大模型的应用打开了新的篇章。

提示工程的困境：

提示工程，作为提升LLM性能的关键技术之一，其目标是通过自动化的方式增强提示，以改善LLM在特定任务的性能，并减少人工干预和时间成本。

然而，现有的提示工程方法，包括链式思考（Chain of Thought）和思维树（Tree of Thought）等策略，虽然在编程上提高了逻辑的一致性和准确性，但缺乏可扩展性。此外，近期的一些其他提示工程研究，包括从优化器视角自动寻找提示的方法，以及将演化算法引入到特定领域的离散提示优化中，虽然表现出了一定的潜力，但在实际应用中面临着明显的挑战，如评估每个提示的适应度需要大量资源，而探索多组提示的适应度会带来巨大的负担。

PAS系统：

为了克服现有提示工程方法的局限性，北大团队提出了PAS系统，一个基于“即插即用”理念的提示自动增强系统。PAS系统的核心思想是通过自动生成高质量的补充提示，另外其与原始提示符进行拼接，从而增强输入提示，充分利用支持LLM的优势，最终提升模型的性能。

PAS系统的实现：

PAS系统的实现主要包括以下几个步骤：

1. 数据集：从LMSYS-1M数据集和WildChat数据集中选择高质量的提示，并进行去重、质量筛选和分类，最终构建了一个包含9000个高质量的（提示、补充提示）的数据集。

2. 自动补充提示数据生成：设计了一个基于少样本学习的自动化数据生成管道，利用精选的黄金数据对每个类别中的提示进行少样本学习，生成相应的补充提示。

3. 即插即用系统：利用生成的数据集定制的LLM，赋予其自动生成补充提示的能力，从而得到PAS模型。

PAS系统的优势：

PAS系统具有以下几个显着优势：

1. 显着提升性能： PAS系统在多个基准测试中都取得了显着的性能提升，平均超过了6个百分点，甚至在某些情况下超过了10个百分点。

2. 数据效率高： PAS系统只使用了9000个数据，而其他方法则需要使用数万甚至填补万个数据，这体现了PAS系统在数据效率方面的优势。

3. 灵活性强： PAS系统是一个“即插即用”的系统，可以轻松地集成到任何可用的LLM中，进行广泛的重新训练或修改。

4. 成本效益高： PAS系统能够有效地利用计算资源，迅速降低了工程的成本。

实验结果：

为了评估PAS系统的性能，研究人员进行了大量的实验，包括：

1. 与核心模型和BPO模型进行比较：实验结果表明，PAS系统在所有指标上都显着着支撑核心模型，并且在大多数情况下也支撑BPO模型。

2. 在不同规模的LLM上进行测试：实验结果表明，PAS系统在不同规模的LLM上都能够有效地提升性能。

3. 进行人工评估：人工评估结果表明，PAS系统在多个场景中都支撑轴线模型，尤其是在提供准确、相关和全面的回答方面。

结论与展望：

PAS系统的出现，为Prompt工程领域带来了新的突破，它不仅能够显着提升LLM的性能，而且能够有效地降低Prompt工程的成本和时间，为大模型的应用打开了新的篇章。

未来，PAS系统还有很大的发展空间，例如：

1. 探索更强大的数据生成方法：可以尝试使用更先进的少样本学习方法，或者使用其他数据增强技术，来生成更高质量的补充提示。

2. 开发更灵活的集成方式：可以开发更灵活的集成方式，使PAS系统能够更方便地集成到不同的LLM和平台中。

3. 研究更广泛的应用场景：可以将PAS系统应用到更广泛的应用场景中，例如自然语言理解、机器翻译、代码生成等。

PAS系统的出现，伴随着提示工程领域正在发生着深刻的变革，将为大模型的应用带来新的机遇，也为人工智能的发展带来新的动力。