微信扫码
与创始人交个朋友
我要投稿
我们都知道大模型非常火,很多人想必也都用过不少AI产品,比如百度的文心一言、字节的豆包、阿里巴巴的通义千问、腾讯的元宝、月之暗面的Kimi智能助手等等。
那么对于提示工程、RAG(检索增强)和微调,在工程当中,我们应该怎么去选择呢?
我们先要搞清楚,大模型是怎么训练出来的?
首先需要有海量的数据,然后通过训练,来构造一个大模型。
训练好的大模型,具备了很多的能力,因为在我们训练的过程中,使用到的数据是非常多样化的,包括各个行业、各个领域的数据。
从另外一个角度,我们可以把大模型比作是智能化的大脑,比如说是人的大脑。
假如这个大脑就是我,它具备了金融领域的能力、教育领域的能力、管理的能力等等。
下面通过一个具体的例子,来理解一下提示工程、RAG和微调之间的区别和联系。
假如你有一个问题想要问我,然后你问了我一个问题,但是我没有给出你想要的答案。
那么接下来,我们来分析一下,我没有给出你一个正确答案的原因。
1、提示工程
第一种情况,可能你没有问清楚,也就是你没有让我明白,你想要做什么。
这个时候呢,你就要换一种更准确的表述方式,让我听明白你想要做什么,这样我才有可能帮到你。
那这个过程,本质上就对应到了提示工程。
接下来我们通过提示工程,就能解决你没有问清楚的问题。
到这里就结束了。
2、RAG
如果用了上述提示工程,还是没有解决得不到想要的答案的问题。
那么,我们就要考虑第二种情况。
第二种情况,有可能是我欠缺相关领域的知识。
比如,你问了我一个关于光伏发电方面的问题,由于我对光伏发电这个行业不了解,欠缺该领域的知识,所以目前我是帮不到你的。
这个时候,该怎么办呢?
一个比较好的解决方案就是,你可以围绕问题,把光伏发电行业相关的一些背景知识给我讲清楚,让我至少能了解问题的背景、问题的场景以及要解决的问题的本身。
有了这些相关的知识,也可以理解为上下文之后,我就有可能可以帮到你。
那这个过程呢,本质上就对应到了RAG,检索增强。
接下来我们通过RAG,就能解决我欠缺相关领域知识的问题。
到这里就结束了。
3、微调
如果用了上述提示工程和RAG,还是没有解决得不到想要的答案的问题。
那么,我们就要考虑第三种情况。
第三种情况,有可能是我自身能力不足。
也就是说,我的提供解决方案的能力以及方法论有待提高。
所以这个时候,我可能需要反过来去提升自己。
因为基于现在的能力,即便你给我提供了很详细的相关知识,让我弄清楚了这个问题的本身,我可能也没有办法帮到你。
所以等我提高我自己之后,我再反过来帮你,有可能会给你一个满意的答复。
那这个过程呢,本质上就对应到了模型的微调。
就是不要去抱怨各种外部的环境,而是先重点提升自己。
微调本身,也是对大模型本身的一个改造。
但是提示工程和RAG,对大模型是没有做任何的改造的。
综上所述呢,在工程当中,我们应该从提示工程开始,然后到RAG,最后到模型的微调。
不要一开始就要做模型微调。
—END—
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-12-26
使用 Markdown 和 Gemini 为 RAG 解锁 PDF
2024-12-26
长文 | RAG的实战指南及探索之路
2024-12-26
2024年,百万上下文依然没有杀死RAG
2024-12-26
在推荐、RAG等业务中,如何完成亿级向量的快速检索?
2024-12-25
RAG 工程实践优化点及方法总结
2024-12-25
强化 RAG 应用:生成式 AI 返回准确率提升的高效策略与实践
2024-12-25
RAG开发中,如何用Milvus 2.5 BM25算法实现混合搜索
2024-12-25
构建生产级 RAG 系统前,必须搞懂的 7 个核心问题
2024-07-18
2024-05-05
2024-06-20
2024-09-04
2024-05-19
2024-07-09
2024-07-09
2024-07-07
2024-06-13
2024-07-07
2024-12-26
2024-12-24
2024-12-21
2024-12-14
2024-12-01
2024-11-27
2024-11-25
2024-11-06