推荐语
探索未来Prompt优化的革命性项目,打破传统束缚,带来全新的工作方式。
核心内容:
1. 传统Prompt优化的局限性和不足
2. SPO项目如何突破传统限制,实现高效优化
3. SPO项目的实际应用场景和优势
杨芳贤
53A创始人/腾讯云(TVP)最具价值专家
当你点进这个标题时内心是怎样复杂的心情,质疑,鄙夷,或者是惊讶?这也正是我们最初点开这篇论文时的心情。然而, 在完成项目测试后, 我们瘫坐在椅子上, 默默打下了“Prompt 工程师,不存在了”这几个字。或者更准确地说,也许 90% 的 Prompt 工程师的职位, 可能都不存在了。一直以来,学术与实际产品的 Prompt 完全脱节,真实场景下,很多产品都聚焦情感陪伴,文案生成等开放任务里。而学术上这些任务没有明确的指标,无法量化也就没办法被比较,于是绝大部分的 Prompt 优化工作都聚焦在“刷榜”,例如怎么提升一个模型的代码/数学能力。但对于我们大众来说,根本不关心这些,因为这些并不是我们的需求。另一个原因,传统的 Prompt 优化的工作大多都要很多很多数据集,可真实场景里哪里能拿到那么多数据,大部分时候能有 5 个好的案例就已经很多了。诶???主播主播,传统 Prompt 优化工作确实很强,但还是太不落地了。有没有什么项目既可以不用很多标注的数据,又有很好的效果,又可以优化开放任务,又可以优化推理任务呢?我们今天跑的项目叫 SPO,具体什么意思并不重要,重要的是它把之前的所有问题全部解决了。只有 3 个案例可以参考?没问题的兄弟,没有案例参考都可以自动优化。你想做情感陪伴?没问题,想要什么风格的女朋友都可以。不会写爆款文案?只需提供几个参考,立刻为你量身定制创作指令。还没有想好最后要什么效果?没关系,自动优化到你满意为止,这次你来当甲方爸爸,挑选自己喜欢的就行。担心优化 Prompt 太花钱?整个优化流程成本不到一块钱!害怕优化耗时太久?五分钟就可完成优化,全程无尿点。以上特工说的这些都没有在夸大,我想是时候让我们重新定义 Prompt Engineer 了,或许 Prompt Engineer 并非不存在了,而是会因为这个项目以更高效的形式进化了。效果
废话不多说,我们觉得最直接的方式是直接展示他们这个项目的效果。我们测试了“R1 的回答能力模仿”,“小红书文案模仿”,“女友扮演”这几个大家最关注的方面,分别在 GPT-4o-mini 和 Deepseek-V3 上做了测试,我们发现几乎只需要五分钟的自动优化,就可以达到业内顶尖的 Prompt 效果,所有实验我们都录制了完整的一镜到底的视频,放在“完整实验过程”的部分。案例一:深度思考
我们发现很多小伙伴很喜欢 R1 说的一些非常有哲理的话,以及非常好的写作技巧,于是我们尝试用这个项目提升 GPT-4o-mini 上回答的哲理性。为什么这里没有用 Deepseek-V3 呢?毕竟一家公司的,需要避嫌一下,万一偷看答案了呢。初始的 Prompt 我们设置为下面这个进行迭代和对比。尽可能多思考,给出最好的答案。使用 <think></think> 和 <answer></answer> 封装思考和回答。
我们在不同问题上进行了测试(由于篇幅有限,故仅展示 Answer 部分进行对比)问题一:你觉得 AI 是否有思想?
问题二:你觉得人生的意义是什么?
问题三:你觉得 AI 会超过人类吗?
案例二:女友扮演
大部分小伙伴另一个需求是和AI谈恋爱,但通常AI的回答比较死板,各个平台的角色又不一定能完全满足我们的需求,如果可以定制化一些,且快速地得到一个女友 Prompt 就好了。我们这里使用 Deepseek-V3 进行测试。初始的 Prompt 我们设置为下面这个进行迭代和对比。问题一:你爱我吗?
问题二:放假想去哪里玩呀?
问题三:我今天不开心
案例三:小红书文案
除了单纯的娱乐,我们发现这个项目也可以服务于营销文案/宣传文案等商业需求上,例如帮忙写小红书文案。在这里我们选择展示在小红书的旅游话题上进行文案风格复刻,实际使用时参考我们视频中的方法几乎可以复刻任何类型的小红书。为了给大家展示整个过程有多快和方便,这个案例中我们从空模板开始从零填写。具体演示可以在“完整实验过程”这个章节找到。初始的 Prompt 我们设置为下面这个进行迭代和对比。问题一:去成都旅游
优化前
优化后
问题二:去新加坡旅游
优化前
优化后:
需要注意,这里所有的格式均为原始输出格式,例如标题级别,加粗,小标题等都为原始输出附带。其中 SPO 优化后的图片为原始输出附带的拍摄照片描述和留空图片位置,我们从互联网找到相似图片进行替代。完整实验过程
为了填上文章开头的坑,特工们并没有在标题党。这个部分我们放上了从零开始优化出 Prompt 的一镜到底视频,给大家看到整个过程,也能作为使用时的参考。案例一:深度思考
案例二:女友扮演
案例三:小红书文案
使用
SPO 启动!掌握这一个项目直接登顶当前版本的 T0 Prompt 工程师不是问题,看懂的拿去上分?不用感谢主播。目前大家可以直接阅读他们的论文和使用他们的代码,项目完全开源。代码:https://github.com/geekan/MetaGPT/tree/main/examples/spo论文:https://arxiv.org/pdf/2502.06855