AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


搞懂大模型中的提示工程、RAG和微调
发布日期:2024-07-02 08:11:49 浏览次数: 2116 来源:知识哨



我们都知道大模型非常火,很多人想必也都用过不少AI产品,比如百度的文心一言、字节的豆包、阿里巴巴的通义千问、腾讯的元宝、月之暗面的Kimi智能助手等等。

那么对于提示工程、RAG(检索增强)和微调,在工程当中,我们应该怎么去选择呢?

我们先要搞清楚,大模型是怎么训练出来的?

首先需要有海量的数据,然后通过训练,来构造一个大模型。

训练好的大模型,具备了很多的能力,因为在我们训练的过程中,使用到的数据是非常多样化的,包括各个行业、各个领域的数据。

从另外一个角度,我们可以把大模型比作是智能化的大脑,比如说是人的大脑。

假如这个大脑就是我,它具备了金融领域的能力、教育领域的能力、管理的能力等等。

下面通过一个具体的例子,来理解一下提示工程、RAG和微调之间的区别和联系。

假如你有一个问题想要问我,然后你问了我一个问题,但是我没有给出你想要的答案。

那么接下来,我们来分析一下,我没有给出你一个正确答案的原因。

1、提示工程

第一种情况,可能你没有问清楚,也就是你没有让我明白,你想要做什么。

这个时候呢,你就要换一种更准确的表述方式,让我听明白你想要做什么,这样我才有可能帮到你。

那这个过程,本质上就对应到了提示工程。

接下来我们通过提示工程,就能解决你没有问清楚的问题。

到这里就结束了。

2、RAG

如果用了上述提示工程,还是没有解决得不到想要的答案的问题。

那么,我们就要考虑第二种情况。

第二种情况,有可能是我欠缺相关领域的知识。

比如,你问了我一个关于光伏发电方面的问题,由于我对光伏发电这个行业不了解,欠缺该领域的知识,所以目前我是帮不到你的。

这个时候,该怎么办呢?

一个比较好的解决方案就是,你可以围绕问题,把光伏发电行业相关的一些背景知识给我讲清楚,让我至少能了解问题的背景、问题的场景以及要解决的问题的本身。

有了这些相关的知识,也可以理解为上下文之后,我就有可能可以帮到你。

那这个过程呢,本质上就对应到了RAG,检索增强。

接下来我们通过RAG,就能解决我欠缺相关领域知识的问题。

到这里就结束了。

3、微调

如果用了上述提示工程和RAG,还是没有解决得不到想要的答案的问题。

那么,我们就要考虑第三种情况。

第三种情况,有可能是我自身能力不足。

也就是说,我的提供解决方案的能力以及方法论有待提高。

所以这个时候,我可能需要反过来去提升自己。

因为基于现在的能力,即便你给我提供了很详细的相关知识,让我弄清楚了这个问题的本身,我可能也没有办法帮到你。

所以等我提高我自己之后,我再反过来帮你,有可能会给你一个满意的答复。

那这个过程呢,本质上就对应到了模型的微调。

就是不要去抱怨各种外部的环境,而是先重点提升自己。

微调本身,也是对大模型本身的一个改造。

但是提示工程和RAG,对大模型是没有做任何的改造的。

综上所述呢,在工程当中,我们应该从提示工程开始,然后到RAG,最后到模型的微调。

不要一开始就要做模型微调。

—END—



53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询