微信扫码
与创始人交个朋友
我要投稿
ChatGPT 整体的训练过程复杂,虽然基于DeepSpeed 可以通过单机多卡、多机多卡、流水线并行等操作来训练和微调大语言模型,但是没有端到端的基于人类反馈机制的强化学习的规模化系统,仍然会造成训练类ChatGPT 系统非常困难。
DeepSpeed-Chat是微软于2023 年4月发布的基于DeepSpeed 用于训练类ChatGPT 模型的开发工具。 基于DeepSpeed-Chat 训练类ChatGPT 对话模型的步骤框架如图所示,包含以下三个步骤。 (1)有监督微调(SFT) (2)奖励模型微调 (3)RLHF 训练
DeepSpeed-Chat 具有以下三大核心功能。
DeepSpeed-Chat 代码仓库位于微软官方GitHub 仓库DeepSpeedExamples/applications/DeepSpeed-Chat 路径下。在进行实际应用前,需要先对官方代码有一个全局的了解。DeepSpeed-Chat 代码的结构如下所示:
当需要完整微调一个模型时(包含所有步骤),可以直接运行train.py 程序。训练中主要调整如下参数。 --step 训练步骤参数,表示运行哪个步骤,可选参数为1、2、3。本节介绍的内容只使用步骤一,有监督微调。 --deployment-type 表示分布式训练模型的参数,分别为单卡single_gpu、单机多卡single_node 和多机多卡multi_node。 --actor-model 表示要训练的模型,默认参数为训练OPT 的"1.3b"、"6.7b"、"13b"、"66b" 等各个参数量的模型。 --reward-model 表示要训练的奖励模型,默认参数为OPT 的"350m" 参数量的模型。 --actor-zero-stage 表示有监督微调的DeepSpeed 分布式训练配置。 --reward-zero-stage 表示训练奖励的DeepSpeed 分布式训练配置。 --output-dir 表示训练过程和结果的输出路径。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-09-29
OpenAI发布高级语音模式(AVM):ChatGPT更自然的对话体验
2024-09-29
OpenAI全新发布o1模型 - 幕后采访及一些原汁原味的解释
2024-09-27
大模型 “四小龙” 背后的 “清华系” 究竟有多牛?
2024-09-27
Ray Summit 2024 亮点抢先看!蚂蚁分布式 AI Agent 框架首次亮相!
2024-09-27
大模型直接预测下一个句子,更快、更准、更长!
2024-09-27
iPhone16 上手测试 ChatGPT、Claude,表现太逆天!
2024-09-27
HelpLook 一款简单易用易上手的企业知识库系统,个人与企业管理的好帮手
2024-09-27
使用Ollama部署本地LLM:构建AI REST API的简易指南
2024-03-30
2024-07-18
2024-04-26
2024-04-11
2024-05-06
2024-06-12
2024-07-09
2024-05-09
2024-07-25
2024-08-21
2024-09-27
2024-09-27
2024-09-27
2024-09-27
2024-09-27
2024-09-27
2024-09-27
2024-09-27