AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


PromptWizard:微软推出自家APE框架,主打“任务感知”,性能不错成本还低
发布日期:2024-12-19 19:49:28 浏览次数: 1672 来源:AI工程化


近期,微软研究院也推出了一款能够自我迭代Prompt的项目——PromptWizard,在此之前我们介绍过几款APE领域的框架,比如Dspy,Ape等。如:

Weavel Ape超过DSPy,或将成为最好用的提示(prompt)优化工具

DSPy(声明式自改进语言程序),面向大模型编程的新方法,克服当前LLM应用开发的诸多缺点

PromptWizard 的优化思路与它们类似,都是通过收集反馈样本,进而自动优化Prompt,然而不同的是,PromptWizard具有独特的"反馈驱动"机制,它能够让 AI 模型在感知不同的任务的情况下,自主生成、评估和改进Prompt,这样可以大大提升模型在不同任务中的性能,也正是如此他们称自己的框架为“Task-Aware Prompt Optimization Framework”。在时间和空间维度上都能保证性能,是策略优化的挑战。毕竟,人工撰写的提示词很难针对不同任务精心雕琢,也不可能随着时间不断迭代。这和AI 1.0时代,推荐、风控模型的发展的逻辑是一样的。显然,PromptWizard恰好同时满足。

我们来具体看看它的"自进化"机制,分为三步:

第一步,反馈驱动的迭代优化:AI 模型能够持续生成并评估不同版本的提示词,不断完善指令和示例。

第二步,联合优化指令和样例:通过合成多样且任务相关的样例,同时优化指令和上下文示例。

第三步,自生成推理步骤:引入自主生成的思考链(Chain of Thought),增强问题解决能力。

更牛的是,PromptWizard 仅需极少量训练数据(5个示例)就能取得出色性能。在多个数据集上,它的平均准确率达到 81.9%,最高可达 95.4%。

更重要的是,传统的自动优化方案,都会带来大量的模型调用,从而产生巨额成本,但它却表现惊艳,API 调用仅需 69 次,远低于其他方案的数千次调用,token 数量不到其他方案的 5%。

这项技术不仅简化了提示词优化流程,还为大模型的自适应学习开辟了新途径。无论是解数学题、生成创意内容,还是处理专业文档,PromptWizard 都能够自适应。

随着这类自我迭代的框架不断发展,Prompt工程范式将会发生变革。Prompt工程师的发展趋势,显著与当年的策略专家趋同,随着精细化和实时性的要求,这类具体的Prompt的优化将会被机器所替代,提示工程师也将从具体的Prompt撰写向应用场景开发和架构设计转变。


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询