我要投稿

微软开源PromptWizard，摔碎了提示工程师的饭碗~

发布日期：2025-01-09 06:11:47 浏览次数： 1564 来源：PaperAgent

PromptWizard (PW) 旨在自动化和简化提示优化。它将 LLM 的迭代反馈与高效的探索和改进技术相结合，在几分钟内创建高效的prompts。

PW的核心是其自我进化和自适应机制，LLM 会同时迭代生成、评论和改进提示和示例。此过程通过反馈和综合确保持续改进，实现针对特定任务的整体优化。

PromptWizard 经过 45 多项任务的严格评估，涵盖了一般挑战和特定领域挑战。与最先进的技术（包括 Instinct、InstructZero、APE、PromptBreeder、EvoPrompt、DSPy、APO 和 PromptAgent）对比，PW 在准确性、效率和适应性方面始终优于竞争对手。

PromptWizard三个关键组件

PromptWizard 概述

反馈驱动改进： PW 的核心是利用迭代反馈循环，LLM 在其中生成、批评和改进自己的提示和示例。这种持续改进机制确保每次迭代都比上一次更好，从而产生高效的提示和示例。
多种示例的联合优化与合成： PW 生成的合成示例不仅稳健多样，而且具有任务感知能力。通过同时优化提示和示例，确保它们协同工作，有效满足特定任务要求。
自生成思维链 (CoT) 步骤：结合 CoT 推理可提高模型的解决问题能力。通过使用选定的少量样本，PW 为每个示例生成详细的推理链，从而促进细致入微、循序渐进的问题解决方法。

PromptWizard 的工作原理

PromptWizard 从用户输入开始：问题描述、初始提示指令和一些作为当前任务基础的训练示例。

它的输出是一套经过精炼、优化的提示指令，并搭配精心挑选的上下文小样本示例。这些输出包含详细的推理链、任务意图和专家资料，将类人推理与人工智能的响应联系起来。

第一阶段：完善提示指令

第一阶段侧重于完善提示的任务说明。PromptWizard 生成多个候选说明，使用 LLM 的反馈对其进行评估，并迭代地综合改进版本。此过程平衡了探索（尝试各种想法）和利用（完善最有希望的想法）。

例如，如果初始指令产生的结果不是最优的，PW 会结合反馈来识别其缺点并生成改进版本。经过三到五次迭代，此迭代周期可确保指令收敛到最优状态。

提示指令的细化

第二阶段：指令与示例的联合优化

将第一阶段得到的精炼提示与精心挑选的示例相结合，共同优化。通过批判与综合机制，PromptWizard 确保提示与示例保持一致，同时综合新示例以提升任务表现。

这种结构化方法使 PromptWizard 具有高度的通用性，可以适应从解决数学问题到生成创意内容等各种任务。

指令与示例的联合优化

https://github.com/microsoft/PromptWizardhttps://www.microsoft.com/en-us/research/blog/promptwizard-the-future-of-prompt-optimization-through-feedback-driven-self-evolving-prompts/

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

太强了！10大开源大模型！

2024-05-06

Ollama 本地运行大模型(LLM)完全指南

2024-07-25

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

2024-06-12

如何免费使用 Claude AI？Claude使用指南！

2024-07-11

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

2024-07-20

中医大模型，开源！

2024-06-16

QWEN2.5开源上新，14B/32B回归实测：这就是最强单卡本地模型！

2024-09-20

不同开源大模型对比及领域落地选型考虑 Qwen2 LLaMa3 GLM4等

2024-06-10

开源医疗大模型Llama3-Aloe-8B-Alpha，性能超越 MedAlpaca 和 PMC-LLaMA

2024-06-15

大家都在问

大模型的泡沫什么时候破灭？

2024-12-24

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

2024-12-20

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

2024-12-19

不可思议！AirLLM 如何让 70B 大模型在 4GB GPU 上顺利推理？

2024-11-22

从浏览器自动化到个人助手，Skyvern又悄悄占据了AI市场的一席之地？

2024-11-19

这家小公司的700 亿参数模型竟然比Open o1还强？

2024-11-13

Ollama 更新！本地跑 LLama3.2，轻量级+视觉能力，能媲美GPT-4o？

2024-11-13

NotebookLM+AI播客到底是什么神仙组合？

2024-10-07

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

PromptWizard 的工作原理

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

太强了！10大开源大模型！

Ollama 本地运行大模型(LLM)完全指南

开源项目Composio：突破 AI 智能体开发的边界

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

如何免费使用 Claude AI？Claude使用指南！

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

中医大模型，开源！

QWEN2.5开源上新，14B/32B回归实测：这就是最强单卡本地模型！

不同开源大模型对比及领域落地选型考虑 Qwen2 LLaMa3 GLM4等

开源医疗大模型Llama3-Aloe-8B-Alpha，性能超越 MedAlpaca 和 PMC-LLaMA

大家都在问

大模型的泡沫什么时候破灭？

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

不可思议！AirLLM 如何让 70B 大模型在 4GB GPU 上顺利推理？

从浏览器自动化到个人助手，Skyvern又悄悄占据了AI市场的一席之地？

这家小公司的700 亿参数模型竟然比Open o1还强？

Ollama 更新！本地跑 LLama3.2，轻量级+视觉能力，能媲美GPT-4o？

NotebookLM+AI播客到底是什么神仙组合？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

PromptWizard 的工作原理

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

太强了！10​大开源大模型！

Ollama 本地运行大模型(LLM)完全指南

开源项目Composio：突破 AI 智能体开发的边界

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

如何免费使用 Claude AI？Claude使用指南！

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

中医大模型 ，开源！

QWEN2.5开源上新，14B/32B回归实测：这就是最强单卡本地模型！

不同开源大模型对比及领域落地选型考虑 Qwen2 LLaMa3 GLM4等

开源医疗大模型Llama3-Aloe-8B-Alpha，性能超越 MedAlpaca 和 PMC-LLaMA

大家都在问

大模型的泡沫什么时候破灭？

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

不可思议！AirLLM 如何让 70B 大模型在 4GB GPU 上顺利推理？

从浏览器自动化到个人助手，Skyvern又悄悄占据了AI市场的一席之地？

这家小公司的700 亿参数模型竟然比Open o1还强？

Ollama 更新！本地跑 LLama3.2，轻量级+视觉能力，能媲美GPT-4o？

NotebookLM+AI播客到底是什么神仙组合？

热门标签

太强了！10大开源大模型！

中医大模型，开源！