微信扫码
与创始人交个朋友
我要投稿
近期,微软研究院也推出了一款能够自我迭代Prompt的项目——PromptWizard,在此之前我们介绍过几款APE领域的框架,比如Dspy,Ape等。如:
Weavel Ape超过DSPy,或将成为最好用的提示(prompt)优化工具
DSPy(声明式自改进语言程序),面向大模型编程的新方法,克服当前LLM应用开发的诸多缺点
PromptWizard 的优化思路与它们类似,都是通过收集反馈样本,进而自动优化Prompt,然而不同的是,PromptWizard具有独特的"反馈驱动"机制,它能够让 AI 模型在感知不同的任务的情况下,自主生成、评估和改进Prompt,这样可以大大提升模型在不同任务中的性能,也正是如此他们称自己的框架为“Task-Aware Prompt Optimization Framework”。在时间和空间维度上都能保证性能,是策略优化的挑战。毕竟,人工撰写的提示词很难针对不同任务精心雕琢,也不可能随着时间不断迭代。这和AI 1.0时代,推荐、风控模型的发展的逻辑是一样的。显然,PromptWizard恰好同时满足。
我们来具体看看它的"自进化"机制,分为三步:
第一步,反馈驱动的迭代优化:AI 模型能够持续生成并评估不同版本的提示词,不断完善指令和示例。
第二步,联合优化指令和样例:通过合成多样且任务相关的样例,同时优化指令和上下文示例。
第三步,自生成推理步骤:引入自主生成的思考链(Chain of Thought),增强问题解决能力。
更牛的是,PromptWizard 仅需极少量训练数据(5个示例)就能取得出色性能。在多个数据集上,它的平均准确率达到 81.9%,最高可达 95.4%。
更重要的是,传统的自动优化方案,都会带来大量的模型调用,从而产生巨额成本,但它却表现惊艳,API 调用仅需 69 次,远低于其他方案的数千次调用,token 数量不到其他方案的 5%。
这项技术不仅简化了提示词优化流程,还为大模型的自适应学习开辟了新途径。无论是解数学题、生成创意内容,还是处理专业文档,PromptWizard 都能够自适应。
随着这类自我迭代的框架不断发展,Prompt工程范式将会发生变革。Prompt工程师的发展趋势,显著与当年的策略专家趋同,随着精细化和实时性的要求,这类具体的Prompt的优化将会被机器所替代,提示工程师也将从具体的Prompt撰写向应用场景开发和架构设计转变。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-12-27
2025,Agent开发者跨入深水区:用评估驱动产品迭代
2024-12-25
Claude 专家:提示词是释放AI潜能的关键
2024-12-24
怎么说大模型才会听 :零样本提示(Zero-Shot Prompting)
2024-12-22
MJ提示:希望
2024-12-22
剧本文字分镜的提示词
2024-12-20
写提示词要丢掉框架?跟"Prompt 之神"李继刚学习:AI 小白的 5 个进阶指南
2024-12-20
【全方位解析】企业如何通过提示词工程优化AI输出,提升市场竞争力—慢慢学AI045
2024-12-20
AI大厂Claude 官方深度解析:提示词工程的最佳实践
2024-06-29
2024-08-20
2023-06-08
2024-06-27
2024-06-14
2024-07-09
2024-09-17
2024-07-12
2024-06-26
2024-09-06