我要投稿

Llama-3 120B用过的都说好，Ollama+48G显存可跑！

发布日期：2024-05-14 16:16:56 浏览次数： 2599 来源：PaperAgent

Meta-Llama-3-120B-Instruct已经排进Huggingface热门排行Top10，它是一个由"Meta-Llama-3-70B-Instruct"自我合并而成的模型，使用MergeKit工具进行合并的。

来自网友的评价

Llama3-120B 在这些难题上确实展现了比GPT-4更高的智能

query：观察希格斯场会改变它的状态吗？

GPT-4 -> 不会
Llama3-120B -> 只有在我们质疑量子力学的哥本哈根解释时，让我来解释一下...

https://twitter.com/spectate_or/status/1787308316152242289

让Llama-3-120B解释下面的笑话（实际上是发生的）

它轻松地击败了im-also-a-good-gpt2-chatbot和im-a-good-gpt2-chatbot。

https://twitter.com/spectate_or/status/1788031383052374069

llama3-120B 在 bfloat16 格式下表现相当出色

它在数学和编码方面有些软肋，但这是我见过的首个能够可靠地在各种任务上与 Opus 和 GPT-4 竞争的开源模型（OSS model）。通过良好的微调（finetune）和一些额外的人类反馈强化学习（RLHF），它可能接近于匹敌。

https://twitter.com/_xjdr/status/1787666447612985456

有趣的话题：Meta-Llama3-120B原生的自我合并Llama3以击败GPT4

虽然并不倡导视频中的所有观点

https://twitter.com/GG_Ashbrook/status/1788365679860596957

Llama3-120B版本交流——这玩意儿太聪明了

它不再让我随意摆布。它有自己的主意。

https://twitter.com/erhartford/status/1787050962114207886

Ollama+Llama3-120b

通过ollma使用llama3-120b-Q4-K_M量化版本，48G显存、38G RAM就可以run起来

智能出现：数据+模型深度?

Llama3-120b与Llama3-70b唯一的区别是额外的层，甚至是复制的层。没有训练新信息。因此，这种智能水平确实是从模型的深度中涌现出来的。它不仅仅是训练数据的一个函数。它是数据和深度的结合。

这表明：智能的出现不仅仅是由于训练数据的量，而是数据和模型深度（即模型的复杂性或层数）的结合结果？？？

Llama3-120b配置信息

slices:- sources:- layer_range: [0, 20]model: meta-llama/Meta-Llama-3-70B-Instruct- sources:- layer_range: [10, 30]model: meta-llama/Meta-Llama-3-70B-Instruct- sources:- layer_range: [20, 40]model: meta-llama/Meta-Llama-3-70B-Instruct- sources:- layer_range: [30, 50]model: meta-llama/Meta-Llama-3-70B-Instruct- sources:- layer_range: [40, 60]model: meta-llama/Meta-Llama-3-70B-Instruct- sources:- layer_range: [50, 70]model: meta-llama/Meta-Llama-3-70B-Instruct- sources:- layer_range: [60, 80]model: meta-llama/Meta-Llama-3-70B-Instructmerge_method: passthroughdtype: float16

https://hf-mirror.com/mlabonne/Meta-Llama-3-120B-Instruct

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

2024-04-26

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-05-10

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

2024-04-12

一文带你了解大模型——智能体（Agent）

2024-05-28

最强 GPT 免费使用！GPT4O 开启多模态新时代！

2024-05-14

更改ollama模型存储路径

2024-04-25

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

全面对比dify、coze、streamlit、chainlit

2024-04-26

太强了！10大开源大模型！

2024-05-06

大家都在问

如何从头建立一个通用AI智能体应用？

2024-12-22

构建行业RAG应用系统：金融、财务、保险、医疗等行业该怎么做？

2024-12-21

o3比o1强在哪里？

2024-12-21

OpenAI 铺垫了12天发布的 o3 到底咋样？

2024-12-21

Gemini 2.0重磅来袭！AI实力再进化，你准备好了吗？

2024-12-21

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

2024-12-20

Nvidia 的 CUDA 护城河到底有多深？

2024-12-20

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

2024-12-19

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

Meta-Llama-3-120B-Instruct已经排进Huggingface热门排行Top10，它是一个由"Meta-Llama-3-70B-Instruct"自我合并而成的模型，使用MergeKit工具进行合并的。

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

万字长文解析：大模型需要怎样的硬件算力

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

一文带你了解大模型——智能体（Agent）

最强 GPT 免费使用！GPT4O 开启多模态新时代！

更改ollama模型存储路径

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

全面对比dify、coze、streamlit、chainlit

太强了！10大开源大模型！

大家都在问

如何从头建立一个通用AI智能体应用？

构建行业RAG应用系统：金融、财务、保险、医疗等行业该怎么做？

o3比o1强在哪里？

OpenAI 铺垫了12天发布的 o3 到底咋样？

Gemini 2.0重磅来袭！AI实力再进化，你准备好了吗？

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

Nvidia 的 CUDA 护城河到底有多深？

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

Meta-Llama-3-120B-Instruct已经排进Huggingface热门排行Top10，它是一个由"Meta-Llama-3-70B-Instruct"自我合并而成的模型，使用MergeKit工具进行合并的。

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

万字长文解析：大模型需要怎样的硬件算力

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

OLLama详细的 api 介绍 不完全指南 python 直接调用 OLLama api 翻译助手演示

一文带你了解大模型——智能体（Agent）

最强 GPT 免费使用！GPT4O 开启多模态新时代！

更改ollama模型存储路径

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

全面对比dify、coze、streamlit、chainlit

太强了！10​大开源大模型！

大家都在问

如何从头建立一个通用AI智能体应用？

构建行业RAG应用系统：金融、财务、保险、医疗等行业该怎么做？

o3比o1强在哪里？

OpenAI 铺垫了12天发布的 o3 到底咋样？

Gemini 2.0重磅来袭！AI实力再进化，你准备好了吗？

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

Nvidia 的 CUDA 护城河到底有多深？

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

热门标签

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

太强了！10大开源大模型！