AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


提示词最佳实践(二):Prompt迭代优化策略
发布日期:2024-07-09 08:19:34 浏览次数: 3054 来源:AIGC新知



前段时间学习了智谱AI对外分享的prompt最佳实践,感触良多,顺便记录一下自己的学习总结。

本系列将分为三部分:prompt框架、prompt迭代优化和prompt评测与产品构建。

本篇是第二篇,主要介绍prompt迭代优化

Prompt迭代技巧

Prompt engineering, or "提示词工程",是一个在人工智能领域,尤其是在自然语言处理(NLP)中使用生成模型时,优化输入指令以获得最佳输出结果的过程。

获得一个优越的提示词,要包括如下步骤:

  • 迭代:没有人直接写出100分的指令

  • 评测:像训练算法模型一样优化指令

01


内容上迭代指令


角色迭代尝试不同的角色,让大模型提供最佳的上下文语境。

大模型在任务执行过程中会具有保险业务专家的语境。

任务迭代:对于指令的关键动作,尝试不同的近义词或其他相近的描述来提升准确性。

【动词和名词、业务场景的名词】

执行步骤迭代--正向引导:避免负指令,谈股票更换概念等方式,尽量告诉模型应该输出什么。

执行步骤迭代--逻辑完备:将完备的思考逻辑给大模型,避免在“无”的时候,大模型自由发挥,乱造信息。

执行步骤迭代--避免规则:指令的作用在于引导大模型输出正确的答案,硬规则更加适合于靠规则程序来完成。

Few shot迭代:要么每个类别都均匀添加做示例,要么都不加;样例较多时,引入向量数据库做动态few shot。【好的训练集、评测集】

02


结构上迭代指令


分隔符作用:

  • 避免模型指令收到其他内容的干扰;

  • 将文本上下文、不同的知识模块做分隔;

  • 避免用户注入无关指令。

分条目作用:

  • 有助于大模型理解每个独立的任务,引导大模型按照指令进行思考;

  • 有助于开发者顺利任务的逻辑顺序,便于逐条编写测试以及迭代维护。

顺序作用:先输出的内容会影响后输出的内容,可以尝试不同的顺序,避免提取项的干扰,找到最佳的提取效果。

嵌套:平铺直叙,避免多层的逻辑嵌套。

位置:指令的首部和尾部指令遵循效果较好,根据不同的输入文档长度和指令难度尝试不同的段落组织方式。

指令工程实战

01


用户情绪识别


  • 需求描述:

  • 迭代指令:prompt v1->prompt v2

    • 增加COT,输出步骤中如何判断情绪

  • 迭代指令:prompt v2->prompt v2.1

    • 清晰明确的表达

  • 迭代指令:prompt v2.1->prompt v3

    • 从结构上进行优化

  • 迭代指令:prompt v3->prompt v3.1

    • 在每一个分类中增加few shot

  • 迭代指令:prompt v3.1->prompt v3.2

    • 格式强约束

02


内容提取


  • 需求:

  • 最初版v1

  • 定义修辞手法、输出KV格式

  • 拆分prompt、赋予角色

  • 添加修辞关键特征、分析原因

  • 任务描述:动词

  • 加示例、引号强调

  • 加反面示例

  • COT:分步骤推理分析

  • 输出引导

  • 示例顺序调整





53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询