AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


Llama3-Chinese是以Meta-Llama-3-8B为底座,使用 DORA[1] + LORA+[2] 的训练方法
发布日期:2024-04-22 13:57:40 浏览次数: 1999 来源:AI算法之门




介绍

Llama3-Chinese以Meta-Llama-3-8B为底座,使用 DORA[1] + LORA+[2] 的训练方法,在50w高质量中文多轮SFT数据 + 10w英文多轮SFT数据 + 2000单轮自我认知数据训练而来的大模型。

Github:https://github.com/seanzhang-zhichen/llama3-chinese



模型下载

ModelDownload
Meta-Llama-3-8B? HuggingFace[3] ? ModelScope[4]
Llama3-Chinese-Lora? HuggingFace[5] ? ModelScope[6]
Llama3-Chinese (合并好的模型)? HuggingFace[7] ? ModelScope[8]

合并LORA模型(可跳过)

1、下载 Meta-Llama-3-8B[9]

git clone https://www.modelscope.cn/LLM-Research/Meta-Llama-3-8B.git

2、下载Llama3-Chinese-Lora[10]

From ModelScope

git lfs installgit clone https://www.modelscope.cn/seanzhang/Llama3-Chinese-Lora.git

From HuggingFace

git lfs installgit clone https://huggingface.co/zhichen/Llama3-Chinese-Lora

3、合并模型

python merge_lora.py \--base_model path/to/Meta-Llama-3-8B \--lora_model path/to/lora/Llama3-Chinese-Lora\--output_dir ./Llama3-Chinese

下载 Llama3-Chinese(合并好的模型)

From ModelScope

git lfs installgit clone https://www.modelscope.cn/seanzhang/Llama3-Chinese.git

From HuggingFace

git lfs installgit clone https://huggingface.co/zhichen/Llama3-Chinese

vllm web 推理

1、使用vllm[11]部署模型

python -m vllm.entrypoints.openai.api_server --served-model-name Llama3-Chinese --model ./Llama3-Chinese(换成你自己的合并后的模型路径)

2、在命令行执行

python vllm_web_demo.py --model Llama3-Chinese

训练数据集

匠数科技大模型sft数据集[12]

LICENSE

本项目仅可应用于研究目的,项目开发者不承担任何因使用本项目(包含但不限于数据、模型、代码等)导致的危害或损失。详细请参考免责声明[13]

Llama3-Chinese项目代码的授权协议为 The Apache License 2.0[14],代码可免费用做商业用途,模型权重和数据只能用于研究目的。请在产品说明中附加Llama3-Chinese的链接和授权协议。

Citation

如果你在研究中使用了Llama3-Chinese,请按如下格式引用:

@misc{Llama3-Chinese,title={Llama3-Chinese},author={Zhichen Zhang, Xin LU, Long Chen},year={2024},howpublished={\url{https://github.com/seanzhang-zhichen/llama3-chinese}},}




53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询