我要投稿

如何进行大模型训练和微调？（实战）

发布日期：2024-09-16 09:30:42 浏览次数： 1672 来源：金木编程

1、在项目中，如果prompt和function calling足够好，尽量不要微调，节约成本。

以下是针对function calling的slot，评估准确率（识别准确度）、召回率（全面率），F1值。

从中可以看出，训练微调并不能比function calling增强太多。

2、大模型训练和微调工具

https://huggingface.co/

分类器示例：https://huggingface.co/datasets/cornell-movie-review-data/rotten_tomatoes

3、模型训练数据，以开源数据库为例，包含酒店，景点，餐馆等信息。

https://github.com/thu-coai/CrossWOZ/

酒店数据库

https://github.com/thu-coai/CrossWOZ/blob/master/data/crosswoz/database/hotel_db.json

可以通过训练实现下面的对话机器人。

4.数据增强，可以用chatgpt对以上数据库改写，得到增强数据库，更加口语化。

5、模型训练环境

AutoDL的4090云GPU，显存大于20GB

https://www.autodl.com/home

6、训练、微调代码示例

https://github.com/agiclass/fine-tuning-lab/tree/v4

https://github.com/agiclass/fine-tuning-lab/blob/main/web_demo/web_demo.py

7、连接租用的容器后即可进行训练、微调。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

FP8 低精度训练：Transformer Engine 简析

2024-07-11

万字综述 10+ 种 LLM 投机采样推理加速方案

2024-07-11

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-07-09

太爽了！o1 现在可以天天享用了

2024-09-18

通义千问超越GPT4了？

2024-06-11

Qwen2大模型微调入门实战-命名实体识别（NER）任务

2024-07-23

基于 Qwen2 大模型微调技术详细教程（LoRA 参数高效微调和 SwanLab 可视化监控）

2024-07-20

DifySandbox 的构建背景和实现机制

2024-07-12

彻底理解系列之：FP32、FP16、TF32、BF16、混合精度

2024-07-26

大模型国产化适配10-快速迁移大模型到昇腾910B保姆级教程（Pytorch版）

2024-07-23

大家都在问

LLM实践系列-聊聊大模型STF的数据清洗过程有多繁琐？

2024-11-18

深入理解预训练与微调，为什么需要预训练，什么是微调？

2024-11-16

GenAI部署：成功率与ROI为何双下滑？

2024-11-16

Cursor：如何构建 AI Coding 最佳实践？

2024-10-31

百度如何打造AI原生研发新范式？

2024-10-31

多语言向量模型的语言鸿沟（Language Gap），对比学习能否带来突破？

2024-10-27

如何使用NotebookLM？

2024-10-26

OpenAI新发布的canvas和Claude的Artifacts，哪个更好？

2024-10-25

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯