Prompt Engineering 是一门在与大型语言模型（LLMs）交互过程中经常使用的技术。随着大型语言模型（例如 GPT-3、GPT-4 等）的迅猛发展，Prompt Engineering 逐渐成为了数据科学家、开发者、研究人员，甚至是普通用户在与 AI 交互时必备的一项技能。这篇文章总结自 ChatGPT Prompt Engineering for Developers 视频课程，将深入探讨 Prompt Engineering 的基础概念、应用策略，以及如何有效地设计 prompt，从而最大化地发挥语言模型的潜力。无论你是刚刚开始探索这一领域，还是已经有一些使用经验，相信你都能从本文中获得有价值的知识。

什么是 Prompt Engineering？

Prompt Engineering 是通过设计输入文本（prompt）来引导语言模型产生特定类型输出的过程。它的核心在于如何向模型提问或下达指令，以确保生成的内容符合期望。Prompt 可以是一个问题、一组指令或者是一个待补全的句子，通过这种方式与模型交互，用户可以控制模型的输出方向。

在与大型语言模型交互时，一个良好的 prompt 能够引导模型生成准确、相关且符合用户意图的回答。而相反，一个不明确或模糊的 prompt 则可能导致生成的内容偏离主题，甚至产生幻觉现象。

两种大型语言模型

大型语言模型（LLMs）大致可分为两种：基础型 LLM 和指令调优型 LLM。

基础型 Base LLM

基础型 LLM 是通过对大量的通用文本数据进行训练，旨在生成连贯的自然语言。这些模型的主要目标是预测给定上下文中最有可能出现的下一个词，从而确保输出的连贯性和流畅性。这类模型在生成文本时依赖于对大量语料库的统计特性，但它们不一定具备任务导向的理解能力。

• 示例：
• "Once upon a time, there was a unicorn that lived in a magical forest with all her unicorn friends."
• 应用场景：
• 文本生成：基础型 LLM 非常适合用于生成长文本、补全句子和创作故事。由于其对语言模式的深度学习，它们可以生成连贯而富有创造性的内容。
• 开放性回答：基础型 LLM 可以回答一些通用的事实性问题。例如，用户可以问：“What is the capital of France?”，模型可能会生成一个正确的预测回答，如“Paris”。也可能生成不正确的预测回答，如：“What is the capital of China?”

基础型 LLM 的优点在于其生成文本的流畅性和自然性，适用于需要创造性表达的任务。然而，由于这类模型没有针对具体任务进行优化，它们在处理需要明确逻辑推理或复杂任务执行时可能表现得不够理想。例如，当需要模型执行具有具体指令的任务（如精确的逻辑推理、特定格式的输出）时，基础型 LLM 的表现可能不如经过专门调优的模型。

指令调优型 Instruction Tuned LLM

指令调优型 LLM 则是在基础型模型的基础上，进一步通过指令数据进行微调，使其能够更好地理解用户的命令和任务需求。这种类型的模型通常通过大量的指令-响应对进行训练，以确保其在处理指令时表现出色。

• 示例：
• 用户输入：“What is the capital of France?”，模型会明确回答：“The capital of France is Paris.”
• 应用场景：
• 指令调优型 LLM 擅长执行明确任务，例如回答问题、翻译、总结、文本分析等。它们的表现更符合用户的指令，且可以更精确地控制输出。

指令调优模型的显著优势在于它们的任务导向性。通过对指令的理解，模型可以生成更符合任务需求的输出，例如执行算术运算、推理问题或者生成具有特定结构的文本。

人工反馈的强化学习（RLHF）

在对模型进行调优的过程中，常常会用到一种叫做人工反馈的强化学习（Reinforcement Learning with Human Feedback, RLHF）的方法。这种方法通过让人类评估模型的输出来提供反馈，从而对模型进行进一步的训练。RLHF 的目的是使模型的输出更加有帮助、诚实且无害（即所谓的“3H”原则：Helpful, Honest, Harmless）。

通过 RLHF，模型能够更好地理解人类的意图并对其做出响应。这种训练方式显著提升了模型在处理复杂任务时的能力，尤其是在那些需要模型生成安全、准确和合规的内容的场景中表现突出。

Prompt 指导原则

Prompt 的设计至关重要，直接决定了模型输出的质量。下面我们将深入探讨几项重要的 Prompt 编写原则和设计策略，以帮助用户更好地与模型进行互动。

原则 1：编写清晰且具体的指令

编写清晰且具体的指令是提升模型性能的基础方法。模糊的请求可能会导致模糊的回答，而具体明确的指令能够帮助模型更好地理解任务。

技巧 1：使用分隔符

在复杂任务中，使用分隔符可以帮助模型更好地理解不同部分的内容，减少歧义。分隔符的使用能够有效地划分上下文、指令和期望的输出格式。

• 使用三引号："""
• 使用三反引号：```
• 使用三横线：---
• 使用尖括号：< >
• 使用 XML 标签：<tag> </tag>

这些分隔符在多段文本输入或需要模型处理不同任务的情况下非常有用。例如在请求模型总结一段文本时，将文本用三引号括起来，可以减少模型误解上下文的风险。

技巧 2：要求结构化输出

当需要模型提供特定格式的输出时，可以明确要求结构化的响应，例如 JSON 或 HTML 格式。这种结构化输出的请求适用于那些需要进一步处理或系统化分析的任务。

• 示例：
• “请将以下信息以 JSON 格式返回：”
• “请使用 HTML 列表显示以下内容：”

这种要求可以帮助模型生成更符合预期的输出，并且便于程序自动解析。

技巧 3：检查条件是否满足

在编写 prompt 时，用户可以通过提示来检查完成任务所需的条件是否满足。例如，在要求模型执行某个操作之前，先明确指出前提条件，以确保模型的行为符合预期。

• 示例：
• “请确保所有变量都已定义，然后继续执行计算。”

通过这种方式，用户可以避免模型在信息不完全的情况下生成错误的回答。

技巧 4：Few-shot 提示

Few-shot 提示是指在 prompt 中提供一些示例，以帮助模型理解任务的上下文和期望的输出。这对于模型处理未知或复杂任务特别有用。通过提供一些示例，模型能够更好地捕捉用户的意图。

• 示例：
• “请根据以下示例回答问题：”
• 示例 1：“苹果是一种水果。”
• 示例 2：“香蕉是一种水果。”
• “请说明‘西瓜’是什么。”

这种方式可以让模型快速了解任务的模式和期望的输出形式。

原则 2：给模型思考的时间

复杂任务需要模型有足够的思考时间来得出正确的答案。给模型思考的时间意味着在 prompt 中明确提示模型逐步进行推理，而不是直接给出答案。

技巧 1：指定完成任务的步骤

对于需要多步骤解决的问题，可以明确列出每一步骤。这使得模型可以逐步推理，降低出错的可能性。

• 示例：
• 第一步：分析输入数据
• 第二步：提取关键信息
• 第三步：生成输出

通过引导模型逐步完成任务，用户可以获得更为精确的回答，同时避免模型跳过关键步骤。

技巧 2：让模型在得出结论前先自行推导

鼓励模型在回答之前进行推理，确保其输出是经过深思熟虑的。例如，在要求模型给出建议或解决方案时，可以先让模型列出所有可能的选项并进行分析。

• 示例：
• “在回答问题之前，请先列出你认为需要考虑的因素。”
• “请描述解决这个问题的不同方案，并说明每个方案的优缺点。”

这种提示方式可以帮助模型生成更符合逻辑的回答，并减少错误的发生。

模型的局限性

幻觉现象

大型语言模型有时会生成听起来合理但并不真实的回答，这被称为幻觉现象。这是因为模型是基于其训练数据进行预测的，它无法像人类一样真正理解信息的准确性。

减少幻觉的方法

• 找到相关信息：在要求模型回答问题之前，明确提示它先查找相关信息，确保其回答有据可依。
• 结构化提示：通过将任务分解为多个小步骤，逐步引导模型生成输出，减少幻觉发生的概率。
• 人类反馈：结合人类的评估结果，训练模型减少生成错误信息的几率。

通过这些方法，用户可以更好地控制模型的输出质量，减少幻觉现象的发生。

Temperature 温度参数的作用

温度参数用于控制模型输出的随机性和多样性。温度的设置对于模型的创意性输出至关重要。

• 温度 = 0：适用于需要可靠、可预测的任务。
• “my favorite food is pizza”
• “my favorite food is pizza”
• “my favorite food is pizza”
• 示例：
• 在温度为 0 的情况下，模型会选择最有可能的词语，确保输出一致性，适合需要确定性答案的任务，如数学计算或事实查询。
• 温度 = 0.3：适用于需要一定多样性的任务。
• “my favorite food is pizza”
• “my favorite food is sushi”
• “my favorite food is pizza”
• 示例：
• 这种设置下，输出会有一些变化，但总体保持相对稳定，适用于需要既有创造性又需要一定稳定性的场景。
• 温度 = 0.7：输出具有较高的多样性。
• “my favorite food is tacos”
• “my favorite food is sushi”
• “my favorite food is pizza”
• 示例：
• 高温度值使得模型更加随机，适合需要创造性和多样性的任务，如创意写作或头脑风暴。

温度参数的调整是控制模型行为的重要手段。用户可以根据具体任务需求调整温度，以获得理想的输出。

迭代式 Prompt 开发

迭代式开发是提升 prompt 质量和模型表现的有效方法。通过不断调整和改进 prompt，用户可以逐渐找到最适合的交互方式，从而获得更高质量的输出。

Prompt 指导原则

• 保持清晰和具体：明确指令可以减少模型的误解。
• 分析为何结果不符合预期：当模型的输出不符合预期时，用户需要分析原因，找出 prompt 中可能存在的问题。
• 重新定义想法和 prompt：根据分析结果，对 prompt 进行优化和调整。
• 重复上述过程：持续进行优化，直到得到满意的结果。

迭代过程

1. 尝试某个 prompt：初次编写的 prompt 通常不是最优的。
2. 分析结果为何不符合预期：检查模型输出，找出不符合预期的原因。
3. 进一步明确指令，给予更多思考时间：优化 prompt，增加细节或分步骤提示。
4. 使用一组示例来优化 prompt：提供更多示例，帮助模型更好地理解任务。

迭代式开发的核心是不断尝试、分析和改进，直到模型输出符合期望。这种方法不仅可以帮助用户找到最佳的 prompt 形式，还可以加深对模型行为和能力的理解。

LLM 实际应用场景

Prompt Engineering 在很多实际场景中都能发挥重要作用，包括但不限于以下几种：

构建聊天机器人

通过编写精确的 prompt，可以构建功能强大的聊天机器人，帮助用户回答各种问题，提供技术支持或者进行客户服务。一个精心设计的 prompt 可以使聊天机器人表现得更加智能和互动性强，进而提升用户体验。

内容创作

Prompt Engineering 可以用于自动化内容创作，例如生成博客文章、新闻报道、广告文案等。通过适当的 prompt，用户可以引导模型生成符合风格和主题的高质量内容。例如，在广告文案中，用户可以提供关于产品的描述，并要求模型以吸引人的方式撰写广告语。

数据分析与报告

在数据分析领域，用户可以利用 prompt 来引导模型对复杂数据进行分析和解释。例如，可以使用 prompt 来生成数据的总结报告、预测分析或者解释数据的趋势。通过将数据和任务描述结合在 prompt 中，模型可以帮助自动生成易于理解的分析结论。

辅助编程

通过设计合适的 prompt，用户可以引导模型生成代码片段、修复代码错误，甚至为特定编程任务提供建议和最佳实践。例如，用户可以输入“请帮我写一个 Python 程序，用于计算两个数的最大公约数”，模型会生成相应的代码片段，并解释其逻辑。

教育和培训

在教育领域，Prompt Engineering 可以用于生成个性化的学习材料、自动化测验或者提供即时的学习帮助。模型可以回答学生的问题，解释复杂的概念，或者提供学习建议。通过设计适当的 prompt，教师可以用模型来辅助教学，生成练习题或测试题，甚至为学生提供具体的学习计划。

总结

Prompt Engineering 是一种与大型语言模型交互的重要技术，通过精心设计的 prompt，用户可以引导模型生成符合预期的输出。在本文中，我们探讨了大型语言模型的基本类型、Prompt 编写的原则与技巧、如何避免 prompt 注入攻击、模型的局限性、温度参数的作用，以及迭代式开发 prompt 的方法。

掌握 Prompt Engineering 不仅可以帮助用户更好地利用现有的语言模型，还可以在实际应用中创造更多的可能性。无论是构建聊天机器人、内容创作、数据分析、编程辅助，还是教育培训，Prompt Engineering 都能为这些场景提供强有力的支持。

希望这篇入门指南能够帮助你理解 Prompt Engineering 的基础知识，并为你在与大型语言模型的交互中提供有效的工具和策略。通过不断的练习和优化，你一定能在这一领域取得更大的进展。