粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
回归大模型的科普文，之前讲到了模型训练的第一步——预训练阶段，这一步用无监督学习的方式，让模型在大规模语料的学习中掌握世界通用知识，若需要回看，点击这里《大语言模型科普系列——预训练》
今天我们一起了解下预训练之后的第二步——微调阶段。微调是用有监督学习的方式，让模型学习小规模人工标注的语料，提升模型在特定领域的任务表现，让模型变得更“专业”。特定领域的任务有意图识别、文章摘要、论文撰写、text2sql等。
微调具体分为两种方法
PEFT参数高效调整
FFT全参数调整
一、PEFT参数高效调整
旨在通过调整模型结构(模型结构可回看大语言模型科普系列——模型基本概念)中的小部分参数，提高预训练模型在特定任务上的表现，这类方法能直接降低模型微调的成本，现在市面上普遍使用PEFT方法对模型微调。PEFT的方法很多，这篇文章主要介绍3个比较主流的方法
LoRA
以transformer为例，微调时，在模型的前馈层引入2个低秩矩阵，将矩阵和前馈层中原始权重进行相加，以这种方式微调模型的部分权重，进而改变模型的输出结果。
Adapter Tuning
通过在模型结构的不同层之间，加入一个小型神经网络层("适配器")，这个神经网络层只有少量参数。微调时，只修改这个小型神经网络的参数，不改变预训练模型的原始参数，通过这个额外的适配器来调整模型最终的输出结果。
Prefix Tuning
在模型结构的输入层加入特定任务的提示，这个提示可以是人为预设的，也可以是微调完成的，目的就是在任务开始时模型能根据提示来调整行为，输出结果。
二、FFT全参数调整
该方法就是微调预训练模型的所有参数，这样模型能在特定领域的任务上表现更好，但这个方法存在较多问题，所以不是目前的主流方法，仅供大家了解。
训练方法简单
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-03-30
2024-04-26
2024-05-10
2024-05-28
2024-04-12
2024-04-25
2024-05-14
2024-08-13
2024-07-18
2024-05-06
回到顶部