我要投稿

组合 FSDP 和 PEFT 方法微调 Meta Llama3覆盖单/多节点 GPU

发布日期：2024-05-01 06:29:40 浏览次数： 1781 来源：余生不设限

用于使用可组合 FSDP 和 PEFT 方法微调 Meta Llama3 以覆盖单/多节点 GPU 的脚本。支持摘要和问答等应用程序的默认和自定义数据集。支持HF TGI、VLLM等多种坦白推理解决方案，用于本地或云端部署。演示应用程序展示适用于 WhatsApp 和 Messenger 的 Meta Llama3。

“llama-recipes”存储库是Meta Llama 3模型的配套产品。该存储库的目标是提供一个可扩展的库，用于微调 Meta Llama 模型，以及一些示例脚本和笔记本，以便快速开始在各种用例中使用模型，包括域适应的微调和使用 Meta Llama 和 LLM 生态系统中的其他工具构建基于 LLM 的应用程序。这里的示例展示了如何在本地、云端和本地运行 Meta Llama。此存储库还支持Meta Llama 2 。由于Meta Llama 3的增强功能，我们强烈建议大家使用它。

github:‍‍https://github.com/meta-llama/llama-recipes

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

2024-05-14

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

2024-04-26

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

2024-04-12

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-05-10

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

2024-05-22

一文带你了解大模型——智能体（Agent）

2024-05-28

更改ollama模型存储路径

2024-04-25

全面对比dify、coze、streamlit、chainlit

2024-04-26

大家都在问

工业大模型落地加速，哪些场景将率先获益？

2024-11-14

这家小公司的700 亿参数模型竟然比Open o1还强？

2024-11-13

Ollama 更新！本地跑 LLama3.2，轻量级+视觉能力，能媲美GPT-4o？

2024-11-13

为什么你编写不出优秀的ChatGPT提示词?

2024-11-13

百亿豪赌混战，谁会赢在“AI手机时代”？

2024-11-12

又一国产AI眼镜即将诞生|巨头不断布局这个赛道想象空间到底有多大？

2024-11-11

AI 2.0时代，谁是未来的“掘金者”和“卖铲人”？

2024-11-08

如何泛化AI的深度推理能力？

2024-11-07

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

万字长文解析：大模型需要怎样的硬件算力

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

一文带你了解大模型——智能体（Agent）

更改ollama模型存储路径

全面对比dify、coze、streamlit、chainlit

大家都在问

工业大模型落地加速，哪些场景将率先获益？

这家小公司的700 亿参数模型竟然比Open o1还强？

Ollama 更新！本地跑 LLama3.2，轻量级+视觉能力，能媲美GPT-4o？

为什么你编写不出优秀的ChatGPT提示词?

百亿豪赌混战，谁会赢在“AI手机时代”？

又一国产AI眼镜即将诞生|巨头不断布局这个赛道想象空间到底有多大？

AI 2.0时代，谁是未来的“掘金者”和“卖铲人”？

如何泛化AI的深度推理能力？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

万字长文解析：大模型需要怎样的硬件算力

OLLama详细的 api 介绍 不完全指南 python 直接调用 OLLama api 翻译助手演示

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

一文带你了解大模型——智能体（Agent）

更改ollama模型存储路径

全面对比dify、coze、streamlit、chainlit

大家都在问

工业大模型落地加速，哪些场景将率先获益？

这家小公司的700 亿参数模型竟然比Open o1还强？

Ollama 更新！本地跑 LLama3.2，轻量级+视觉能力，能媲美GPT-4o？

为什么你编写不出优秀的ChatGPT提示词?

百亿豪赌混战，谁会赢在“AI手机时代”？

又一国产AI眼镜即将诞生|巨头不断布局这个赛道想象空间到底有多大？

AI 2.0时代，谁是未来的“掘金者”和“卖铲人”？

如何泛化AI的深度推理能力？

热门标签

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示