微信扫码
添加专属顾问
我要投稿
介绍
Meta 的 Llama 3.1 是一个强大的大型语言模型(LLM),在文本生成、翻译和问答方面具有令人印象深刻的能力。然而,使用尖端的 LLM 通常需要云资源。本教程使您能够直接在本地计算机上运行 Meta Llama 3.1 的 8B 版本,让您对 AI 交互拥有更多的控制权和隐私。
先决条件:
Python 3.x(下载地址:https://www.python.org/downloads/)
PyTorch(安装说明:https://pytorch.org/get-started)
Transformers 库(pip install transformers
)
Hugging Face 账户(免费创建:https://huggingface.co/)
获取访问令牌
要访问 Hugging Face Hub 上的模型,您需要一个免费的访问令牌。请在 Hugging Face 上创建一个账户,并按照说明生成您的令牌:
登录 Hugging Face: 确保您拥有 Hugging Face 账户并登录到您的个人资料。
导航到设置: 点击右上角的个人资料图片,从下拉菜单中选择“设置”。
访问令牌选项卡: 在左侧边栏中找到并点击“访问令牌”选项卡。
创建新令牌: 点击“新令牌”按钮。
选择名称和范围: 为您的令牌提供一个描述性名称(例如,“Python 脚本访问”),并选择适当的范围。范围定义了授予令牌的权限。对于大多数用例,“读取”访问权限就足够了。
生成并复制: 点击“生成令牌”按钮。令牌将仅显示一次。请安全地复制它,因为您将无法再次查看。
代码解析
提供的 Python 代码 便于使用 Llama 3.1 3B 模型进行文本生成。让我们分解关键组件:
导入库:
transformers
:提供与预训练模型一起使用的工具。
torch
:Llama 3.1 使用的深度学习框架。
访问令牌和模型 ID:
将 ''
替换为您的 Hugging Face 访问令牌。
model_id
指定 Llama 3.1 的特定版本(meta-llama/Meta-Llama-3.1-8B-Instruct)。
加载模型和分词器:
Transformers 中的 AutoTokenizer
和 AutoModelForCausalLM
函数使用您的访问令牌从 Hugging Face Hub 加载模型和分词器。
GPU 加速(可选):
代码检查 GPU 可用性,并将模型移动到 GPU 以加快处理速度。
对话结束令牌:
这些令牌表示对话或句子的结束。
**generate_text**
函数:
此函数接受多个参数:
message
:用户提示以启动对话。
history
(可选):包含用户和助手消息的元组列表,以提供上下文。
temperature
(可选):控制生成的随机性(0 = 确定性,1 = 更随机)。
max_new_tokens
(可选):响应中生成的最大令牌数。
system
(可选):提供上下文的可选系统提示。
该函数构建对话历史,将其转换为模型兼容格式,并根据指定参数生成文本。
示例用法:
演示如何使用带有提示和示例历史的 generate_text
函数。
运行代码
将代码保存为 Python 脚本(例如,llama_local.py
)。
打开终端或命令提示符,导航到包含脚本的目录。
使用 python llama_local.py
运行脚本。
与 Llama 进行实验
运行脚本后,您可以与 Llama 进行交互!提供提示并观察生成的响应。尝试不同的 temperature
和 max_new_tokens
值,以调整响应的随机性和长度。
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-08-13
2024-06-13
2024-08-21
2024-09-23
2024-07-31
2024-05-28
2024-08-04
2024-04-26
2024-07-09
2024-09-17
2025-03-28
2025-03-27
2025-03-27
2025-03-27
2025-03-27
2025-03-26
2025-03-25
2025-03-23