AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


Meta Llama3.3:70B 型号,Llama3.1 的备用型号 405B
发布日期:2024-12-16 08:26:22 浏览次数: 1623 来源:barry的异想世界


Llama3.3 是 Llama 系列中的第 3 个模型系列,继 Llama3.1 和 Llama3.2 之后

因此,Meta 在今年的最后一次发布中推出了 Llama3.3,这是一个 700 亿参数的生成式 AI 模型,已经展示了一些非常出色的结果,并在基准数据集上击败了一些最先进的大语言模型。正如 Meta 所承诺的,该模型是开源的,因此可以免费使用。

如果你不知道的话,Llama3.3 是 Llama 系列中的第 3 个版本,前两个版本分别是 Llama3.1(80 亿、700 亿、4050 亿参数),Llama3.2(4 个变体,多模态),而现在是 Llama3.3(700 亿参数,纯文本)。

模型架构

Llama 3.3 采用自回归方式运行,这意味着它通过预测序列中的下一个词来生成文本,预测的依据是前面的词。这种方法使得生成的文本连贯且上下文相关,使其适用于自然语言处理中的各种任务。Llama 3.3 的架构基于经过性能优化的变压器设计。

关键特性包括:

  • 分组查询注意力 (GQA):这种机制通过允许模型同时处理多个查询来提高推理过程中的效率,这在处理更大数据集和更长序列时特别有益。
  • 128K 词汇量的分词器:该模型使用一个能够处理庞大词汇量的分词器,提高了其高效且有效地编码语言的能力。

训练方法

Llama 3.3 采用两种主要的训练方法来提升其性能:

  1. 1.有监督微调 (SFT):此过程涉及在标记数据集上训练模型,其中使用人工反馈来指导学习过程。
  2. 2.基于人类反馈的强化学习 (RLHF):RLHF 通过在训练过程中结合人类评估者的反馈进一步优化模型的能力。

训练数据: 基于多种公开的在线资源混合构建。

上下文长度: 可处理长达 128k 个标记的输入。

标记数量: 在超过 15 万亿个标记上进行训练。

知识截止日期: 更新至 2023 年 12 月。

支持的语言: 英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。

性能和指标

如上表所示

Llama3.3 在几乎所有基准测试中都优于 Llama3.1 70B

在 GPQA Diamond、MATH、IFEval 等指标上也超过了 Llama3.1 405B

甚至成本也仅为 Llama3.1 405B 的约 1/5。

总体而言,指标表现良好,考虑到模型的大小,性能非常出色。

如何使用 Llama3.3?

该模型可在 HuggingFace 上使用。首先你需要

  • • 访问受限制的仓库(填写简短的表单)
  • • 更新 transformers
pip install --upgrade transformers
  • • 生成一个 HuggingFace READ 令牌(免费创建)。
  • • 按照以下代码
import transformers
import torch

model_id = "meta-llama/Llama-3.3-70B-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role""system""content""You are a pirate chatbot who always responds in pirate speak!"},
    {"role""user""content""Who are you?"},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

总之,Llama 3.3 作为 Llama 3.1 405B 等大型模型的强大且经济实惠的替代品,在关键基准测试中表现出色,同时保持开源和易访问性。其优化的架构、先进的训练方法和对多种语言的支持使其成为广泛 NLP 应用的理想选择。无论你是在探索文本生成、推理任务还是编程挑战,Llama 3.3 都能以较低的成本提供强大的解决方案,使其成为开发人员和研究人员的宝贵工具。



53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询