我要投稿

Branch-Train-MiX：让大模型拥有多个专业领域能力（编程、数学和世界知识）的高效训练方法

发布日期：2024-04-10 20:45:33 浏览次数： 1902 来源：PaperAgent

Branch-Train-MiX (BTX)旨在高效地训练大型语言模型（LLMs），使其在多个专业领域（如编程、数学推理和世界知识）具备能力。BTX方法从一个种子模型开始，将其分支出去，以并行且高效的方式训练专家模型，减少了通信成本。这些专家模型在训练后，其前馈参数被整合到混合专家（Mixture-of-Expert, MoE）层中，并进行平均参数的合并，接着通过MoE微调阶段学习token级别的路由。BTX方法综合了Branch-Train-Merge和Mixture-of-Experts两种特殊情况的优点，同时减少了它们的不足。与替代方法相比，BTX在准确性和效率之间取得了最佳平衡。

Branch-Train-MiX (BTX) 方法有三个步骤（分支、训练和混合：Branch, Train, and MiX）：1) 从一个预训练的种子LLM分支出来，通过制作多个副本；2) 在不同的数据子集上分别训练这些副本，以获得专家LLMs；3) 通过将这些专家LLMs合并到一个使用混合专家前馈（FF）层的单一LLM中，并微调整个统一的模型。

使用了Llama-2 7B模型作为种子模型，并在数学、编程和维基百科等不同数据子集上训练专家LLMs。通过将原始Llama-2 7B权重作为第四个专家加入，对合并后的MoE模型进行了相对较短的微调。实验结果表明：

与种子模型Llama-2 7B相比，BTX模型（无论是Sample Top-1还是Top-2，这取决于激活参数的数量）在所有专家领域，如数学、编程和世界知识方面都有所改进，而没有在其他任务，如常识推理上退步。
BTX使用Top-2专家（默认设置）也接近专门模型Llemma 7B和CodeLlama 7B在数学和编程领域的最高性能，同时在这些模型不擅长的领域，如世界知识和常识推理上，有大幅度提升。
与替代的持续预训练方法（如Dense和BTM）相比，BTX在平均性能上取得了更好的成绩，数学和编程领域的性能差距很小。BTX在平均性能上大幅超过了BTM，这表明通过MoE微调学习token级别的路由是有益的。
总的来说，结果表明BTX是一种更高效的持续预训练方法，能够抵御多任务学习的干扰。即使Llama-2 13B使用了显著更多的训练计算资源，并且拥有稍微更多的活跃参数，BTX在所有任务上也表现更好。

最后，还对BTX训练的不同路由方法进行了消融研究，并分析了路由决策。总结了BTX方法的优势，并讨论了未来的工作方向，包括探索在更多领域的训练、优化MoE的实现以及研究专家在MoE中的专业化问题。

Branch-Train-MiX:Mixing Expert LLMs into a Mixture-of-Experts LLMhttps://arxiv.org/pdf/2403.07816.pdf

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

2024-04-26

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-05-10

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

2024-04-12

一文带你了解大模型——智能体（Agent）

2024-05-28

更改ollama模型存储路径

2024-04-25

最强 GPT 免费使用！GPT4O 开启多模态新时代！

2024-05-14

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

全面对比dify、coze、streamlit、chainlit

2024-04-26

本地部署大模型？看这篇就够了，Ollama 部署和实战

2024-08-13

大家都在问

除了混合搜索，RAG 还需要哪些基础设施能力？

2024-12-24

大模型时代的软件工程教育，路在何方？

2024-12-24

AI大牛解析o3技术路线！大模型下一步技术路线已现端倪？

2024-12-24

如何从头建立一个通用AI智能体应用？

2024-12-22

构建行业RAG应用系统：金融、财务、保险、医疗等行业该怎么做？

2024-12-21

o3比o1强在哪里？

2024-12-21

OpenAI 铺垫了12天发布的 o3 到底咋样？

2024-12-21

Gemini 2.0重磅来袭！AI实力再进化，你准备好了吗？

2024-12-21

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

万字长文解析：大模型需要怎样的硬件算力

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

一文带你了解大模型——智能体（Agent）

更改ollama模型存储路径

最强 GPT 免费使用！GPT4O 开启多模态新时代！

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

全面对比dify、coze、streamlit、chainlit

本地部署大模型？看这篇就够了，Ollama 部署和实战

大家都在问

除了混合搜索，RAG 还需要哪些基础设施能力？

大模型时代的软件工程教育，路在何方？

AI大牛解析o3技术路线！大模型下一步技术路线已现端倪？

如何从头建立一个通用AI智能体应用？

构建行业RAG应用系统：金融、财务、保险、医疗等行业该怎么做？

o3比o1强在哪里？

OpenAI 铺垫了12天发布的 o3 到底咋样？

Gemini 2.0重磅来袭！AI实力再进化，你准备好了吗？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

万字长文解析：大模型需要怎样的硬件算力

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

OLLama详细的 api 介绍 不完全指南 python 直接调用 OLLama api 翻译助手演示

一文带你了解大模型——智能体（Agent）

更改ollama模型存储路径

最强 GPT 免费使用！GPT4O 开启多模态新时代！

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

全面对比dify、coze、streamlit、chainlit

本地部署大模型？看这篇就够了，Ollama 部署和实战

大家都在问

除了混合搜索，RAG 还需要哪些基础设施能力？

大模型时代的软件工程教育，路在何方？

AI大牛解析o3技术路线！大模型下一步技术路线已现端倪？

如何从头建立一个通用AI智能体应用？

构建行业RAG应用系统：金融、财务、保险、医疗等行业该怎么做？

o3比o1强在哪里？

OpenAI 铺垫了12天发布的 o3 到底咋样？

Gemini 2.0重磅来袭！AI实力再进化，你准备好了吗？

热门标签

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示