怎么用大模型？从易到难有四种方式。

这四种方式都可以改变模型行为，以便模型输出更符合我们想要的结果。每种方式各有优缺点。

这四种方式是可以搭配使用的。

提示工程（Prompt Engineering）

请介绍下中国古代史

我是一名小学生，请介绍下中国古代史

这里“我是一名小学生”，就相当于一个提示，模型会理解你的意图，以小学生能听懂的语言进行介绍。

可以通过精心设计提示词，获得符合你预期的结果。

精心设计的提示词不可能一蹴而就，需要迭代更新，逐步逼近你的结果。可以用版本的方式管理每次迭代的结果，所以叫提示工程。

写好提示词，也需要掌握一些技巧。可以参考《编写高质量Prompt的9个原则》

提示工程这种方式，会打字就可以做。

检索增强（Retrieval Augmented Generation，简称RAG）

RAG是一种通过知识库外挂的形式，让问题回复更精准。

当模型需要回答问题时，它首先从知识库中查找并收集相关信息，然后根据该信息回答问题，以确保它能给你最好的答案。

这种方式出现的原因是因为大模型只具有通用信息，而你有一些行业知识或特定问题，比如公司会有自己独有的资料库或者档案。借助RAG，可以把你独有的信息存储到向量数据库，模型回答问题时，调用这个数据库里的信息，给出更符合你的场景和要求的答案。

大模型的训练数据是有截止时间的，不是实时更新，比如GPT-4训练数据目前截止时间是2023年12月。

意味着GPT-4模型不知道这个时间以后发生的事情，利用RAG技术可以实时抓取最新数据，比如进行新闻搜索，以根据最新信息提供答案。

RAG这种方式，需要了解一些开发技术。

以上两种方式对模型本身不做任何改变。

微调（Fine-tuning）

微调指的是在预训练的大模型基础上，通过进一步的训练来适应特定的任务或数据集的过程。

当预训练模型需要应用于具体的、特定的任务（如特定领域的文本分类、情感分析等），但这些任务的训练数据量较小，直接使用预训练模型无法达到最佳效果。微调就是通过在特定任务的数据上继续训练模型，使模型更好地适应这些数据的特征。

微调需要新的信息、时间、算力来进行训练，如果你需要模型更好的理解某些特定主题，微调会很划算。就像是教模型成为新的领域专家。经过微调后，模型可以为你提供更准确、更接近你所需内容的答案。

微调这种方式，改变了大模型的某些参数。

预训练（Pre-training）

预训练是语言模型学习的初始阶段。预训练时，需要海量未标记的文本数据，比如GPT-3使用了45TB（万亿字节）的数据，以无监督学习的方法对模型进行初始训练。预训练目标是捕捉和学习语言、图像或其他类型数据的内在结构和特征。

预训练模型通常基于深度神经网络，如循环神经网络（RNN）、长短期记忆网络（LSTM）、Transformer等，这些架构能够处理序列数据并捕捉长距离依赖关系。

预训练的结果是一个通用的模型，它对语言有一个基本的理解，但还没有针对任何特定任务进行优化。

有报道称，OpenAI 的 GPT-4 和 Google 的 Gemini Ultra 的训练成本预计分别约为 7800 万美元和 1.91 亿美元。

预训练这种方式，是极少数公司在做的，绝大多数公司可以基于开源模型做微调。

各种方式对比如下图：