粤ICP备17114055号
微信扫码
添加专属顾问
支持私有云部署
我要投稿
几天前Meta正式发布Llama 3.1，它有3个版本的规模，分别是8B、70B、405B，最大上下文提升到了128k。Meta Llama 3.1 多语言大语言模型 (LLM) 集合是预训练和指令调整的生成模型的集合。Llama 3.1 指令调整的纯文本模型（8B、70B、405B）针对多语言对话用例进行了优化，并且在常见行业基准上优于许多可用的开源和封闭式聊天模型。
Llama 3.1 是一种使用优化的 Transformer 架构的自回归语言模型。调整后的版本使用监督微调（SFT）和带有人类反馈的强化学习（RLHF）来符合人类对有用性和安全性的偏好。
Meta官方博客说：“时至今日，开源大语言模型性能落后于闭源模型仍是常态。但现在，我们正在迎来一个开源引领的新时代。我们公开发布Meta Llama 3.1 405B是世界上最大、功能最强大的开源基础模型。”
今天我们就来体验一下这个号称世界上最大、功能最强大的大模型，由于参数更大的模型，本机跑不了，所以我们选择8B。我们需要借助Ollama，Ollama 提供了运行和自定义多种大型语言模型的能力，支持 macOS、Linux 和 Windows（预览版）操作系统。我们在官网（Ollama）去下载软件。
下载完成之后，可以看到它有大概300M的大小。
然后双击安装这个exe，等待安装完成就行了。
验证一下安装的情况，打开CMD命令窗口（win+r），输入ollama，回车。得到如下图，表明Ollama就OK啦。
下面我们安装Llama3.1 8B模型：命令窗口输入
ollama run llama3.1:8b
等待命令跑结束，这个过程可能会有点长，可以看到他的大小是4.7GB。下载完成后，它会自动进入问答。
我们来测试一下：
没问题，我的机子配置不高，速度不是很快。
在命令界面输入/bye可以退出，输入/clear开始新的会话。使用命令行是不是不太方便，下一篇，我们整个web ui来辅助使用。
哦，对了，本次软件Ollama，如果下载太慢，私信Ollama获取网盘链接。
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-03-10
用MCP Server为你的大模型应用插上翅膀
2025-03-10
Markify：专为 LLM 优化的开源文档解析神器，轻松破解 PDF 难题！
2025-03-10
Manus太火爆MetaGPT又开源OpenManus-RL引入强化学习；多智能体协作框架OWL
2025-03-10
一键包：新开源TTS，零样本克隆声音，还能自主创建声音，只需要6G显存，文末一键包
2025-03-09
LLM运行框架对比：ollama与vllm浅析
2025-03-09
真·企业级方案！MindSQL开源：四种训练方式+私有数据+RAG+生产高并发
2025-03-09
智能体的互联网时代来临，相当于http协议的MCP协议让智能体与数据源无缝连接
2025-03-09
Manus背后的核心技术：如何通过MCP简化AI集成
2025-01-01
2024-07-25
2024-05-06
2025-01-21
2024-09-20
2024-07-20
2024-06-12
2024-08-13
2024-12-26
2024-07-11
2025-03-08
2025-03-03
2025-03-02
2025-03-01
2025-02-26
2025-02-23
2025-02-18
2025-02-15
回到顶部