AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


Prompt迭代,你应该了解DeepMind自主进化的提示系统
发布日期:2024-04-19 06:34:36 浏览次数: 1824


图片来自DALL.E

目前,即便是最强大的大语言模型,其表现也往往受制于人类设计的提示(prompt)。提示是一种为AI系统"指明道路"的方法,但它往往需要人工精心设计和调整,这给AI自主发展带来了瓶颈。

歌的DeepMind团队去年9月发布了一项名为"PROMPTBREEDER"的新技术,可以让AI系统不再被动地执行人类设计的提示,而是能够自主进化出更优秀的提示策略,从而大幅提升自身的推理能力和问题解决能力。

题目:PROMPTBREEDER:通过快速进化实现自我参照的自我改进

网址:https://arxiv.org/pdf/2309.16797.pdf

自我进化的提示系统

PROMPTBREEDER

PART 01



PROMPTBREEDER的核心思想非常简单,就是利用语言模型的自身特性,让它能够自主生成和改进提示策略。具体来说,PROMPTBREEDER包含两个关键要素:


1. 任务提示(task-prompt)


任务提示是用于指导语言模型完成特定任务的文本指令。比如对于解决数学word problem这个任务,一个典型的任务提示可能是"请分步解答这个数学问题,并给出阿拉伯数字形式的最终答案"。


2. 变异提示(mutation-prompt)


变异提示是用来引导语言模型改变任务提示的文本指令。比如"用另一种方式重述这个指令,不要使用原指令中的任何词语"。这有点像小学生写出下列词语的同义词。


PROMPTBREEDER通过进化算法,让语言模型自主地改进这两种提示,实现了自我进化的闭环。下图概述了PROMPTBREEDER系统的工作原理,具体过程如下:


1. 初始化:首先,PROMPTBREEDER会根据问题描述,生成一组初始的任务提示和变异提示。这些提示是通过随机组合一些"思维模式"(如"逐步思考"、"以有趣的方式表述")和问题描述而得到的。


2. 评估与选择:接下来,PROMPTBREEDER会将这些提示输入到语言模型中,让模型based on这些提示生成答案,并根据答案的正确性来评估提示的优劣。表现良好的提示组合会被保留下来。


3. 自我进化:在保留的提示组合的基础上,PROMPTBREEDER会利用变异提示,让语言模型自主生成新的任务提示。同时,它也会改进变异提示本身,即"变异提示的变异"。这样,PROMPTBREEDER就实现了提示策略的自我进化。


4. 迭代优化:经过多轮进化,PROMPTBREEDER最终会产生出针对特定问题领域高度优化的提示策略,大幅提升语言模型的推理能力。



值得一提的是,PROMPTBREEDER在进化过程中利用了多种变异操作符,包括直接变异、估计分布变异、超变异(变异提示的变异)、拉马克式变异(从正确解推导提示)等,充分发挥了语言模型的潜力。同时,它还采用了交叉重组、上下文打乱等手段,进一步增加了进化的多样性。


超越人类设计的提示

Super Prompt

PART 02



PROMPTBREEDER的自我进化能力,使它能够超越人类设计的固定提示策略,生成出针对性更强、效果更佳的提示。


在一系列广泛使用的推理基准测试中,PROMPTBREEDER都取得了显著的成绩。在数学word problem解题方面,它的表现远超目前最先进的"思维链"(Chain-of-Thought)和"计划求解"(Plan-and-Solve)提示策略。在常识推理任务上,PROMPTBREEDER也大幅领先于人工设计的提示。更为突出的是,PROMPTBREEDER还能自主进化出复杂的提示策略,在特殊检测任务中取得89%的准确率,远超人工设计的80%。


这些结果充分证明,PROMPTBREEDER所实现的自我进化机制,能够让AI系统自主发现更优秀的提示策略,从而大幅提升自身的问题解决能力。相比之下,人工设计的固定提示策略显得过于僵化和局限。

PROMPTBREEDER的自我进化能力,不仅体现在改进提示本身,还体现在对"改进提示的提示"(变异提示)的自主优化。这种自我参照式的自我进化,使PROMPTBREEDER能够持续优化自身,突破人类设计的局限。


这技术究竟有什么用

Tone

PART 03


PROMPTBREEDER这种自我进化的提示系统,对人工智能的未来发展具有重要的现实意义,主要体现在以下几个方面:


1. 提升AI系统的问题解决能力


PROMPTBREEDER通过自主优化提示策略,能够让AI系统在各种复杂任务中表现出色,包括数学推理、常识推理、语言理解等。这对于实现AI在实际应用中的突破非常关键。比如,在金融、医疗等领域,PROMPTBREEDER优化后的AI系统可以提供更准确的分析和决策支持。


2. 缩短AI系统开发周期


传统上,开发高性能的AI系统需要大量的人工设计和调试工作,耗时耗力。而PROMPTBREEDER通过自我进化,能够大幅减少这一过程,加快AI系统从设计到部署的周期。这对于追求快速迭代的产品开发非常有利。


3. 增强AI系统的适应性


人工设计的提示往往局限于特定的问题领域,难以应对复杂多变的实际场景。PROMPTBREEDER自我进化的提示策略,可以更好地适应不同的任务需求,提升AI系统的通用性和鲁棒性。这对于构建通用型AI系统至关重要。


4. 探索人工智能的发展方向


PROMPTBREEDER所探索的自我进化机制,不仅有助于提升当前AI系统的能力,还为人工智能的未来发展指明了方向。通过让AI系统拥有自主改进自身的能力,我们或许能够最终实现真正意义上的"自主学习"和"自我进化"。这将是生成式人工智能(Generative Artificial Intelligence)迈向通用智能(Artificial General Intelligence的关键一步。


举个具体的例子,在医疗领域,PROMPTBREEDER优化后的AI诊断系统,可以根据不同患者的病情特点,自主生成针对性更强的诊断流程,提高诊断的准确性和效率。这将大大提升医疗服务的质量,惠及广大患者。

PROMPTBREEDER的出现,开启了AI系统自主进化的新纪元。与过去单纯依赖人类设计的提示策略不同,PROMPTBREEDER让AI系统能够自主探索和改进提示,从而在各种复杂任务中发挥出惊人的潜能。


这种基于语言的自我进化方法,避免了直接修改AI模型参数所带来的局限性。随着语言模型规模的不断增大,PROMPTBREEDER将能够在更广泛的领域发挥作用,让AI系统真正成为"自主学习、自我进化"的智能体。


当然,PROMPTBREEDER目前还存在一些局限性。它只能改变提示本身,而无法自主改变提示的结构和算法。更进一步的自我进化,需要让AI系统能够自主地调整自身的"思维模式"和推理过程。这需要未来的研究工作不断深入探索。


但毫无疑问,PROMPTBREEDER所展现的自我进化能力,为AI系统突破人类局限性,实现真正的智能化,做出了一个良好的示范。DeepMind最近又发了一个类似的技术,我将在后续的文章里为大家介绍。下文是本文提到的一些有意义的推理,篇幅原因其余部分请到群中自取:



Think Style 

推理模块


1 我怎样才能设计一个实验来帮助解决这个问题?

2 列出解决问题的想法清单,并逐一应用到问题中,看看能否取得进展。

3 如何衡量这个问题的进展情况?

4 如何简化问题,使其更容易解决?

5 这个问题的关键假设是什么?

6 每种解决方案的潜在风险和缺点是什么?

7 对这个问题有哪些其他的观点或看法?

8 这个问题及其解决方案的长期影响是什么?

9 如何将问题分解成更小、更容易处理的部分?

10 批判性思维:这种方式包括从不同角度分析问题,质疑假设,评估现有证据或信息。它侧重于逻辑推理、基于证据的决策,以及识别思维中潜在的偏见或缺陷。

11 尝试创造性思维,产生创新和突破常规的想法来解决问题。探索非常规的解决方案、超越传统思维,鼓励想象力和独创性。

12 寻求他人的意见和合作来解决问题。强调团队合作、开放式沟通,以及利用强调团队合作、开放式沟通,利用小组的不同观点和专业知识,提出有效的解决方案。

13 运用系统思维:将问题视为更大系统的一部分,理解各种要素之间的相互联系。重点是找出影响问题的根本原因、反馈回路和相互依存关系,并制定针对整个系统的整体解决方案。

14 使用风险分析:评估潜在风险、不确定性以及与解决问题的不同方案或方法相关的权衡。问题的不同解决方案或方法相关的潜在风险、不确定性和权衡。强调评估成功或失败的潜在后果和可能性,并在平衡分析风险和效益的基础上做出明智的决策。在平衡分析风险和收益的基础上做出明智的决策。

15 运用反思性思维:从问题中退后一步,花时间进行反省和自我反思。检查个人偏见、检查可能影响问题解决的个人偏见、假设和心智模式,并虚心学习过去的经 验,以改进未来的方法。

16 需要解决的核心问题是什么?







53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询