导读

1. 如何使用单4G GPU 运行 LLAMA3 70B
   

2. 为什么接下来半年自己训练大模型创业公司会死一大批

3. 数据对大模型的重要性

   
   

关注公众号，后台输入"Llma370B" 获取文档和代码

最强大的开源LLM模型Llama3已经发布，有人问：

AirLLM是否支持在本地用4GB的VRAM运行Llama3 70B？答案是肯定的。 

此外，Llama3的性能如何与GPT-4相比？Llama3变得如此强大的关键前沿技术是什么？

Llama3的突破是否意味着开源模型正式开始超越闭源模型？ 

今天我们也会给出解释。

如何在只有4GB内存的单个GPU上运行Llama3 70B

Llama3的模型架构没有改变，所以：

AirLLM实际上已经自然地支持完美地运行Llama3 70B！它甚至可以在MacBook上运行。

首先，安装AirLLM：

pip install airllm

然后，你只需要几行代码：

from airllm import AutoModel              MAX_LENGTH =128              model = AutoModel.from_pretrained("v2ray/Llama-3-70B")              input_text = [                        '中国的首都是哪个城市？'                  ]              input_tokens = model.tokenizer(input_text,                    return_tensors="pt",                     return_attention_mask=False,                     truncation=True,                     max_length=MAX_LENGTH,                     padding=False)              


generation_output = model.generate(                    input_tokens['input_ids'].cuda(),                     max_new_tokens=20,                    use_cache=True,                    return_dict_in_generate=True)              


output = model.tokenizer.decode(generation_output.sequences[0])              print(output)

请注意：它不适用于实时交互式场景，如聊天，更适用于数据处理和其他离线异步场景。

与GPT4相比效果如何？

根据官方评估数据和最新的lmsys排行榜，Llama3 70B非常接近GPT4和Claude3 Opus。

官方评估结果：    

lmsys排行榜结果：    

当然，将类似大小的400B模型与GPT4和Claude3 Opus进行比较会更加合理：

Llama3 400B已经非常接近最强版本的GPT4和Claude3，而且它仍在训练中。

Llama3 的核心改进是什么？

Llama3 的架构并没有改变；在训练方法上有一些技术改进，比如基于 DPO 的模型对齐训练。

DPO 已经成为所有排名靠前的大型模型在所有排行榜上的标准训练方法 - 它就是有效！

当然，Llama3 的主要秘密武器在于其训练数据的数量和质量的大幅增加。
从 Llama2 的 2T 增加到了 15T！AI 就是关于数据！

数据的改进不仅仅在于数量，还在于质量。
Meta 进行了大量的数据质量过滤、去重等工作。其中很多工作是基于使用像 Llama2 这样的大型模型来过滤和选择数据。

请注意：这个 15T 是经过严格过滤和清理之后的。在过滤之前，可能超过了 100T。

训练 AI 模型的核心是数据。

要训练一个好的 AI 模型，不是靠很多花哨的训练技巧，而是要扎实而细致地做基础工作。尤其是那些不起眼、肮脏、乏味的数据质量工作 - 这实际上非常重要。    

很多人一直高度评价 Meta AI 的能力。从使用Transformer进行区分性 AI 的早期，Meta AI 就以其扎实的数据处理基础而闻名，生产了许多长期领先SOTA的经典模型，比如 Roberta 和 Roberta XLM，这些模型长时间以来一直是我们的首选模型。

Llama3 的成功是否预示着开源模型的崛起？？

开源和闭源之间的战斗可能还远未结束。还有很多戏剧性的事情将要发生。

无论是开源还是闭源，训练大型模型已经成为了一场烧钱的游戏。15T 的数据和 400B 的模型并不是小公司可以承担得起的。

在接下来的六个月内，许多致力于大型模型的小公司将会消失。

当谈到烧钱竞争时，真正重要的是长期能力和效率如何将投资变现。 

事实上，到目前为止，AI LLMs 的真正商业应用仍然很少。很难说谁能维持他们的投资，以及以何种方式。

从纯技术角度来看，我们一直认为开放的文化对于 AI 是至关重要的。近年来 AI 的快速发展离不开 AI 社区的开放和共享文化。

即使在公司内部也是如此。一个公司能否保持开放和共享的环境，并不断进行透明和开放的思想交流，这对于其 AI 的发展至关重要。

一个对外部世界非常封闭的公司很可能在内部也不够开放和透明，这迟早会阻碍其 AI 技术的快速发展，并阻止其真正建立一流的团队。   

 关注公众号
后台发送"AI应用"，"RAG"，"大模型" 获取更多相关文章