Meta最近发布了Llama 3.1，这款模型在某些基准测试已经超越了最好的闭源语言模型，如GPT-4o、Gemma 2和Claude 3.5 Sonnet。

Llama 3.1系列支持法语、德语、印地语、意大利语、葡萄牙语、西班牙语和泰语的多语言模型，有80亿、700亿和4050亿参数规模的版本。七周年4050亿参数模型使用超过16,000个Nvidia H100 GPU进行训练，拥有高达128K的上下文窗口。

下面，我将分享五种免费体验Llama 3.1的方法，文末还有彩蛋喔～

1. 1. Ollama

2. 2. HuggingChat

3. 3. Groq

4. 4. Fireworks AI

5. 5. Cloudflare Playground

6. 
   

7. 让我们开始吧。

Ollama

Ollama是一个先进的AI工具，允许用户轻松地在本地机器上设置和运行大模型。

先下载并安装Ollama。在终端运行ollama -v，查看是否安装成功。

官网：https://ollama.com/

安装完成后，下载相应的Llama 3.1版本，安装的版本，根据你的电脑性能选择。运行4050亿参数模型需要的硬件成本很高，因此我建议先尝试80亿参数模型。

安装完成后，运行下面命令就可以开始使用了。

ollama run llama3.1:8b

已经学过你的AI生产力工作坊二期的同学已经很熟悉这个操作了，可以结合课程讲过的技巧，进行更多尝试，欢迎在群内分享。

2. HuggingChat

HuggingChat是由Hugging Face开发的开源AI聊天机器人。Hugging Face是一个用户可以托管生成式AI模型的平台。

要开始使用，请访问Hugging Chat并创建账户。

网址：https://huggingface.co/chat/

在设置页面中激活meta-llama/Meta-Llama-3.1–405B-Instruct-FP8模型。

关闭模式窗口后，就可以使用模型了。

HuggingChat还提供了增强其功能的附加工具，如网页搜索和解析PDF。

这意味着Llama 3.1正在调用连接到HuggingChat的外部工具来生成图像。启用了图像生成工具后，让其生成一张图片（如下）。

3. Groq

Groq因其专门设计用于加速AI推理工作负载的硬件和软件而闻名，Llama 3.1目前已经在Groq Playground上托管。

官网：https://console.groq.com/playground

目前在Playground上无法使用4050亿参数模型。你可以使用Groq Chat。速度相当可以！

Groq Chat官网：https://groq.com/

Groq的LPU（学习处理单元）可以实现领先的推理速度，例如在700亿参数模型上每秒250个token，在80亿参数模型上每秒超过1200个token。

4. Fireworks AI

Fireworks是一个构建和部署生成式AI API的平台。他们有一个页面可以免费试用Llama 3.1等语言模型。

页面：https://fireworks.ai/models/fireworks/llama-v3p1-405b-instruct

你可以在右边部分调整参数设置，并使用你的配置调用API。

上图右边是调用API示例。

请注意，你需要一个API密钥才可以，更多信息可以查看官网文档，这部分适合开发者。

与此列表中的其他平台不同，Fireworks AI支持Llama 3.1发布的所有模型。

5. Cloudflare Playground

Cloudflare是互联网上最大的网络平台之一。人们使用Cloudflare服务来提高其网站和服务的安全性和性能。

最近，他们推出了一个AI运用，允许用户探索不同的文本生成模型。你前往Cloudflare Playground，选择模型并开始聊天。

地址：https://playground.ai.cloudflare.com/

这个平台也是免费的，甚至不创建账户就可以使用。

其他：Poe.com

Poe绝对是免费体验新Llama模型的最佳方式之一。只需访问官网并创建一个账户就可以使用。

但是Poe每天赠送3,000个免费积分，只能发送6条免费消息。

官网：https://poe.com

在官方机器人部分，找到Llama-3.1–405B-T机器人，打开它即可开始与Llama 3.1聊天。该机器人由Together.ai托管。

这个平台还可以下载到手机上或者MAC上使用，功能比较强大。上过AI线下工作坊的同学，也使用我们提供的平台试试～