微信扫码
添加专属顾问
我要投稿
Meta最近发布了Llama 3.1,这款模型在某些基准测试已经超越了最好的闭源语言模型,如GPT-4o、Gemma 2和Claude 3.5 Sonnet。
Llama 3.1系列支持法语、德语、印地语、意大利语、葡萄牙语、西班牙语和泰语的多语言模型,有80亿、700亿和4050亿参数规模的版本。七周年4050亿参数模型使用超过16,000个Nvidia H100 GPU进行训练,拥有高达128K的上下文窗口。
下面,我将分享五种免费体验Llama 3.1的方法,文末还有彩蛋喔~
1. Ollama
2. HuggingChat
3. Groq
4. Fireworks AI
5. Cloudflare Playground
让我们开始吧。
Ollama是一个先进的AI工具,允许用户轻松地在本地机器上设置和运行大模型。
先下载并安装Ollama。在终端运行ollama -v
,查看是否安装成功。
官网:https://ollama.com/
安装完成后,下载相应的Llama 3.1版本,安装的版本,根据你的电脑性能选择。运行4050亿参数模型需要的硬件成本很高,因此我建议先尝试80亿参数模型。
安装完成后,运行下面命令就可以开始使用了。
ollama run llama3.1:8b
已经学过你的AI生产力工作坊二期的同学已经很熟悉这个操作了,可以结合课程讲过的技巧,进行更多尝试,欢迎在群内分享。
HuggingChat是由Hugging Face开发的开源AI聊天机器人。Hugging Face是一个用户可以托管生成式AI模型的平台。
要开始使用,请访问Hugging Chat并创建账户。
网址:https://huggingface.co/chat/
在设置页面中激活meta-llama/Meta-Llama-3.1–405B-Instruct-FP8
模型。
关闭模式窗口后,就可以使用模型了。
HuggingChat还提供了增强其功能的附加工具,如网页搜索和解析PDF。
这意味着Llama 3.1正在调用连接到HuggingChat的外部工具来生成图像。启用了图像生成工具后,让其生成一张图片(如下)。
Groq因其专门设计用于加速AI推理工作负载的硬件和软件而闻名,Llama 3.1目前已经在Groq Playground上托管。
官网:https://console.groq.com/playground
目前在Playground上无法使用4050亿参数模型。你可以使用Groq Chat。速度相当可以!
Groq Chat官网:https://groq.com/
Groq的LPU(学习处理单元)可以实现领先的推理速度,例如在700亿参数模型上每秒250个token,在80亿参数模型上每秒超过1200个token。
Fireworks是一个构建和部署生成式AI API的平台。他们有一个页面可以免费试用Llama 3.1等语言模型。
页面:https://fireworks.ai/models/fireworks/llama-v3p1-405b-instruct
你可以在右边部分调整参数设置,并使用你的配置调用API。
上图右边是调用API示例。
请注意,你需要一个API密钥才可以,更多信息可以查看官网文档,这部分适合开发者。
与此列表中的其他平台不同,Fireworks AI支持Llama 3.1发布的所有模型。
Cloudflare是互联网上最大的网络平台之一。人们使用Cloudflare服务来提高其网站和服务的安全性和性能。
最近,他们推出了一个AI运用,允许用户探索不同的文本生成模型。你前往Cloudflare Playground,选择模型并开始聊天。
地址:https://playground.ai.cloudflare.com/
这个平台也是免费的,甚至不创建账户就可以使用。
Poe绝对是免费体验新Llama模型的最佳方式之一。只需访问官网并创建一个账户就可以使用。
但是Poe每天赠送3,000个免费积分,只能发送6条免费消息。
官网:https://poe.com
在官方机器人部分,找到Llama-3.1–405B-T机器人,打开它即可开始与Llama 3.1聊天。该机器人由Together.ai托管。
这个平台还可以下载到手机上或者MAC上使用,功能比较强大。上过AI线下工作坊的同学,也使用我们提供的平台试试~
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-04-01
手撕“开源版Manus”
2025-04-01
重磅!OpenAI 计划发布首个“开放”语言模型
2025-04-01
老显卡福音!美团开源首发INT8无损满血版DeepSeek R1
2025-04-01
MCP服务介绍及应用场景报告-来自Manus
2025-04-01
刚刚,OpenAI 罕见宣布将开源推理模型!DeepSeek 给逼的
2025-04-01
OpenAI官宣重磅开源!最强开源大模型要来了?奥特曼透露过去1小时新增100万用户
2025-04-01
小白入门:使用vLLM在本机MAC上部署大模型
2025-04-01
Agent框架大比拼:谁将引领智能应用的未来?
2025-01-01
2024-07-25
2025-01-21
2024-05-06
2024-09-20
2024-07-20
2024-06-12
2024-07-11
2024-08-13
2024-12-26
2025-04-01
2025-03-31
2025-03-25
2025-03-25
2025-03-24
2025-03-22
2025-03-19
2025-03-17