粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
Meta 推出了 Meta Llama 3，这是其开源大型语言模型系列中的最新产品，具有 8B 和 70B 参数模型。
新的分词器：与 Llama 2 相比，Llama 3 采用了具有 128K 个标记词汇表的分词器，可以更有效地对语言进行编码，并且生成的标记数最多可减少 15%。
分组查询专注力：在所有模型中实现，与 Llama 2 相比，较小的模型能力更强，Llama 2 仅在最大的模型中使用。
使用 15T 代币进行预训练，其中 95% 是英语。同时在 16K GPU 上进行训练，并开发了用于管理 GPU 正常运行时间的新工具。希望他们能够发布它，因为 GPU 利用率也是微调的最大挑战
Llama2 的有趣用途：它被用来清理数据集以进行调整，标志着法学硕士在数据质量领域的一个有趣的用例。
新的微调方法：将推理跟踪与指令集中的偏好排序相结合，旨在减少模型幻觉和错误率，类似于 OpenAI 尝试的逐步推理。
新库：TorchTune，一个 PyTorch 原生库，用于创作、微调和 LLM 实验，提供内存高效且可修改的培训方案。
责任：Meta 强调负责任的人工智能开发，提供信任和安全工具，例如 Llama Guard 2 和 Code Shield。
性能：Llama 3 树立了新的性能标准，拥有改进的推理能力和行业基准上最先进的性能。我看到的详细基准测试是与 Claude 相比，而不是 GPT4。
虽然它没有提供与 GPT4 的详细比较，也没有提供研究论文的链接；它暗示即将推出更多内容，可能是 400B 参数模型。这个 400B 参数模型的早期检查点结果看起来就像 GenAI 中的下一个地震波。
#llama最酷的一点仍然是它实际上是开放的，并且可以在#huggingface和#watsonx等开放平台上使用
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-05-14
2024-04-26
2024-03-30
2024-04-12
2024-05-10
2024-07-18
2024-05-22
2024-05-28
2024-04-25
2024-04-26
2024-11-14
2024-11-13
2024-11-13
2024-11-13
2024-11-12
2024-11-11
2024-11-08
2024-11-07
回到顶部