大语言模型（LMs）如GPT-4已经彻底改变了我们与机器学习系统互动的方式，解决了从代码生成到创建详细旅行计划等任务。然而，这些模型经常面临诸如不可靠性、短期记忆跨度、幻觉以及更新知识的困难等挑战。传统上，为复杂任务优化这些模型涉及手动、易错的过程，需要调整提示和微调权重，这是一个繁琐且昂贵的过程。

引入DSPy，这是一个设计用于系统化和增强我们在流水线内使用语言模型的划时代框架。DSPy不仅简化了优化过程，还通过根据期望的度量标准算法调整提示和权重，显著提高了LM的效率和可靠性。

在开始DSPy之前，我们需要先说一下提示词工程，这也是DSPy出现的源头。

提示工程（Prompt Engineering）是一门较新的学科，关注提示词开发和优化，帮助用户将大语言模型（Large Language Model, LLM）用于各场景和研究领域。掌握了提示工程相关技能将有助于用户更好地了解大型语言模型的能力和局限性。

研究人员可利用提示工程来提升大语言模型处理复杂任务场景的能力，如问答和算术推理能力。开发人员可通过提示工程设计、研发强大的工程技术，实现和大语言模型或其他生态工具的高效接轨。

提示工程不仅仅是关于设计和研发提示词。它包含了与大语言模型交互和研发的各种技能和技术。提示工程在实现和大语言模型交互、对接，以及理解大语言模型能力方面都起着重要作用。用户可以通过提示工程来提高大语言模型的安全性，也可以赋能大语言模型，比如借助专业领域知识和外部工具来增强大语言模型能力。

但是传统的提示词工程（Prompt Engineering）主要依赖于人对知识进行处理和输出，在大规模和持续迭代上一直存在着一些困难。

DSPy（"Declarative Self-improving Language Programs（in Python）"）是斯坦福大学NLP的研究人员开发的“使用基础模型（foundation model，即大模型）编程”的框架。它强调编程而非prompt，并将构建基于LM的管道从操作prompt转移到更贴近编程。因此，它的目标是解决构建基于LM应用的脆弱性问题。

DSPy还通过将程序的信息流与每个步骤的参数（prompt和LM权重）分离，为构建基于LM的应用提供了一种更系统的方法。然后，DSPy将执行程序，针对特定任务自动优化如何提示（或微调）LM。

为此，DSPy引入了以下一组概念：

• 将手写的prompt和微调抽象出来，并由签名(**signature)**代替

• 提示技术，如思维链或ReAct，被抽象出来并用模块(**module)**代替

• 手动提示工程通过优化器（teleprompter）和DSPy编译器实现自动化

使用DSPy构建基于LM的应用的工作流程如下所示，与训练神经网络的工作流程类似：

用DSPy构建基于LLM的应用的工作流程

1. 收集数据集：收集一些程序输入和输出的示例（例如，问答对），这些示例将用于优化pipeline。

2. 编写DSPy程序：用签名(signature)和模块(module)以及组件之间的信息流定义程序的逻辑，以解决你的任务。

3. 定义验证逻辑：使用验证度量和优化器（teleprompter）定义优化程序的逻辑。

4. 编译DSPy程序：DSPy编译器考虑训练数据、编写程序、优化器和验证度量，以优化程序（例如，提示或微调）。

5. 迭代：通过改进数据、编写程序或验证来重复该过程，直到对pipeline的性能感到满意为止。

数据驱动和意图驱动的系统

DSPy将语言模型应用视为数据驱动和意图驱动的系统。这种方法类似于编程语言的演变——从低级、易错的二进制代码到像Python这样高级、以人为中心的语言。在DSPy中，重点是清晰表达意图，让系统通过结构化和可组合的模块优化自身。

模块和优化器

在其核心，DSPy提供：

• 模块：这些是应用程序的构建块，结构化地封装了特定功能，如输入处理或数据检索。

• 优化器：DSPy引入了使用语言模型进行提示和权重微调的先进优化器。这些优化器可以适应代码、数据和性能指标的变化，确保您的应用程序在没有持续手动干预的情况下保持最佳状态。

优化器的示例包括BootstrapFewShotWithRandomSearch，通过随机选择和测试迭代改进提示的质量，以及MIPRO，它结合贝叶斯优化来缩小表现最佳的组合。

系统化编译

DSPy允许将程序“编译”为不同模型的优化指令。无论您使用像GPT-3.5这样强大的模型，还是像T5-base这样的本地模型，DSPy都可以为每种特定情况进行适应和优化。这使得手动提示减少，性能得分更高。

LangChain， LlamaIndex和DSPy都是帮助开发人员轻松构建基于lm的应用程序的框架。使用LangChain和LlamaIndex的典型pipelines通常使用prompts模板实现，这使得整个pipelines对组件更改非常敏感。相比之下，DSPy使构建基于LLM的pipelines远离操作prompts，更接近于编程。

DSPy中新引入的编译器在更改基于LLM的应用程序(如LLM或数据)中的部分时，消除了任何额外的prompt工程或fine-tuning。相反，开发人员可以简单地重新编译程序来优化pipelines以适应新添加的更改。因此，DSPy可以帮助开发人员以比LangChain或LlamaIndex更少的努力获得pipelines的性能。

虽然LangChain和LlamaIndex已经在开发者社区中被广泛采用，但DSPy作为一种新的替代方案已经在同一社区中引起了相当大的兴趣。

如果你有数据科学的背景，当开始使用DSPy时会很快注意到与PyTorch的语法相似。DSPy论文的作者明确指出PyTorch是灵感的来源。

在PyTorch中通用层可以在任何模型体系结构中组成。与PyTorch类似，在DSPy中通用模块可以在任何基于LM的应用中组成。此外，编译DSPy程序，其中DSPy模块中的参数被自动优化，类似于在PyTorch中训练神经网络，其使用优化器训练模型权重。

下表总结了PyTorch和DSPy之间的相似之处：

可以直接通过PIP来安装：

pip install dspy-ai

要安装最新版本，请执行以下操作main：

pip install git+https://github.com/stanfordnlp/dspy.git

或者在 Google Colab 中打开我们的介绍笔记本：

默认情况下，DSPy 会从 pip 安装最新版本openai。但是，如果您在 OpenAI 更改其 API 之前安装了旧版本openai~=0.28.1，则该库将可以正常使用该版本。两者都受支持。

对于可选的（按字母顺序排序）Chromadb、Qdrant、Marqo、 Pinecone 、Snowflake Weaviate或Milvus检索集成，请包含以下额外内容：

pip install dspy-ai[chromadb]# or [qdrant] or [marqo] or [mongodb] or [pinecone] or [snowflake] or [weaviate] or [milvus]

DSPy代表了我们为复杂任务开发和优化语言模型的模式转变。通过提供对LM优化的结构化和系统化方法，DSPy不仅节省了时间和资源，还增强了LM在各种应用中可靠执行的能力。随着我们不断突破语言模型可以实现的界限，DSPy在机器学习技术演进中显得至关重要。