我要投稿

如何高效利用 Transformers 库中的 Pipeline 进行大语言模型的应用

发布日期：2024-09-25 08:31:12 浏览次数： 1860 来源：智能体AI

在自然语言处理（NLP）领域，大语言模型（LLMs）近年来引起了广泛关注。Transformers 库中的 Pipeline 提供了一种简单而高效的方法来处理从原始文本到模型推理再到结果生成的完整流程。本篇文章将详细介绍如何利用 Pipeline 结合现代大语言模型，具体涵盖语言建模、Tokenizer 和 Model 的管理、以及模型的保存等方面。

一、使用 Pipeline 进行语言建模

语言建模的核心任务是预测文本序列中的下一个单词。这项技术在 NLP 中扮演着重要角色，特别是在预训练的语言模型中，它们可以用于多种下游任务的微调。我们将重点介绍如何使用 Pipeline 调用大语言模型，具体包括 GPT-2 的文本生成和 BERT-Base-Chinese 的中文补全。

1. 使用 GPT-2 实现文本生成

GPT-2 是一种自回归语言模型，其任务是根据给定的上下文生成下一段文本。使用 Pipeline 调用 GPT-2 可以轻松实现文本生成。

from transformers import pipeline
# 创建一个文本生成的 Pipelinegenerator = pipeline("text-generation", model="gpt-2")
# 生成文本result = generator("Hello, I am an AI model", max_length=50, num_return_sequences=3)print(result)

在这个示例中，我们创建了一个文本生成 Pipeline，并指定了生成文本的最大长度和返回结果的条数。GPT-2 根据输入文本生成多种可能的输出，帮助我们快速获取生成的文本内容。

2. 使用 BERT-Base-Chinese 实现中文补全

BERT-Base-Chinese 是一种自编码语言模型，其任务是理解上下文，并预测被掩盖的单词。使用 Pipeline 调用 BERT 可以实现中文文本的自动补全。

from transformers import pipeline
# 创建一个填充掩码的 Pipelinefill_mask = pipeline("fill-mask", model="bert-base-chinese")
# 执行中文补全result = fill_mask("今天是一个[MASK]的日子")print(result)

在这个示例中，[MASK] 代表需要补全的词汇。BERT-Base-Chinese 将根据上下文预测出最合适的词汇，从而完成文本的补全任务。

二、使用 AutoClass 高效管理 Tokenizer 和 Model

Transformers 库中的 AutoClass 提供了自动加载预训练模型和分词器的功能，简化了模型的使用过程。我们可以通过 from_pretrained() 方法快速加载所需的模型和分词器。

1. 使用 from_pretrained() 方法加载模型和分词器

from transformers import AutoTokenizer, AutoModel
# 加载 BERT-Base-Chinese 的 Tokenizer 和 Modeltokenizer = AutoTokenizer.from_pretrained("bert-base-chinese")model = AutoModel.from_pretrained("bert-base-chinese")

这段代码将自动下载并加载 BERT-Base-Chinese 模型及其分词器，使得我们能够直接使用这些预训练的资源进行后续的任务。

2. 使用 BERT Tokenizer 编码文本

Tokenization 是将文本转换为模型可以理解的格式的过程，包括分词和映射。我们可以使用 tokenizer.encode() 方法来进行编码：

# 编码文本inputs = tokenizer("你好，长沙！", return_tensors="pt")print(inputs)

这段代码将文本转换为模型所需的输入格式，返回一个包含 input_ids、token_type_ids 和 attention_mask 的字典。这些信息对于模型的推理至关重要。

3. 编解码多段文本

对于多个文本的处理，我们可以使用 tokenizer.__call__() 方法，该方法会自动处理文本的编码和特殊字符的补全：

# 编码多段文本texts = ["你好", "长沙"]inputs = tokenizer(texts, padding=True, truncation=True, return_tensors="pt")print(inputs)

这段代码处理多个文本，自动进行填充和截断，以适应模型的输入要求。

三、添加新 Token

在实际应用中，我们可能会遇到词汇表中不存在的新词汇。Transformers 库提供了添加新 Token 的方法，以适应这些新词汇的需求。

1. 添加常规 Token

如果我们需要添加常规的 Token，可以使用 add_tokens() 方法：

# 添加新 Tokennew_tokens = ["新词汇"]tokenizer.add_tokens(new_tokens)

‍

2. 添加特殊 Token

对于特殊用途的 Token，可以使用 add_special_tokens() 方法：

# 添加特殊 Tokenspecial_tokens_dict = {'additional_special_tokens': ["[NEW_TOKEN]"]}tokenizer.add_special_tokens(special_tokens_dict)

这两种方法可以扩展现有的词汇表，以包含新的词汇和特殊字符。

四、保存模型和分词器

在模型和分词器的使用过程中，可能需要保存修改后的模型和分词器以便后续使用。Transformers 库提供了便捷的保存方法。

1. 保存模型和分词器

# 保存 Tokenizer 和 Modeltokenizer.save_pretrained("./models/new-bert-base-chinese")model.save_pretrained("./models/new-bert-base-chinese")

保存模型时，会在指定路径下生成以下文件：

config.json：模型配置文件，包含模型结构参数。
pytorch_model.bin：模型权重文件，存储模型的权重数据。

保存分词器时，会生成以下文件：

tokenizer.json：分词器元数据文件。
special_tokens_map.json：特殊字符映射配置文件。
tokenizer_config.json：分词器基础配置文件。
vocab.txt：词表文件。
added_tokens.json：新增 Token 的配置文件。

五、总结

通过 Transformers 库中的 Pipeline 和 AutoClass，我们可以高效地进行大语言模型的应用。这些工具不仅简化了模型的加载和管理，还使得语言建模、Tokenization 和模型保存变得更加便捷。希望本文能为您在使用大语言模型时提供实用的指导，帮助您更好地完成各种 NLP 任务。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

太爽了！o1 现在可以天天享用了

2024-09-18

一文读懂DeepSeek-R1本地部署配置要求（建议收藏）

2025-02-04

FP8 低精度训练：Transformer Engine 简析

2024-07-11

万字综述 10+ 种 LLM 投机采样推理加速方案

2024-07-11

彻底理解系列之：FP32、FP16、TF32、BF16、混合精度

2024-07-26

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-07-09

DeepSeek R1 671B 完整版本地部署教程来了！！！

2025-02-04

谈谈DeepSeek-v3在算力约束下的出色工作

2024-12-29

通义千问超越GPT4了？

2024-06-11

ollama 部署 deepseek-r1 70B 模型完整指南

2025-01-27

大家都在问

别被Deepseek低成本冲昏头！本地化部署后续的“甜蜜陷阱”，你真能扛住吗？

2025-02-05

AI大模型那么强，它是吃什么长大的？

2025-01-24

怎么学习设计和训练一个大模型——也就是神经网络？

2025-01-22

如何本地部署AI模型？

2025-01-14

一文搞懂：大模型为什么要设计成预训练和微调两个阶段？

2025-01-12

大模型推理框架：Ollama和vLLM到底应该选哪个？

2025-01-06

AI模型训练到底在训练什么？

2024-12-26

微软变脸OpenAI，模型价值之争压不住了？

2024-12-25

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

场景解决方案

【智能问答】解决方案

【应用智改】解决方案

【智能工单】解决方案

一、使用 Pipeline 进行语言建模

1. 使用 GPT-2 实现文本生成

2. 使用 BERT-Base-Chinese 实现中文补全

二、使用 AutoClass 高效管理 Tokenizer 和 Model

1. 使用 from_pretrained() 方法加载模型和分词器

2. 使用 BERT Tokenizer 编码文本

3. 编解码多段文本

三、添加新 Token

1. 添加常规 Token

‍

2. 添加特殊 Token

四、保存模型和分词器

1. 保存模型和分词器

五、总结

相关资讯

160+中大型企业正在使用53AI

把握AI发展的机遇，共同探索、共同进步

如何打造基于GenAI的员工服务机器人

热点资讯

太爽了！o1 现在可以天天享用了

一文读懂DeepSeek-R1本地部署配置要求（建议收藏）

FP8 低精度训练：Transformer Engine 简析

万字综述 10+ 种 LLM 投机采样推理加速方案

彻底理解系列之：FP32、FP16、TF32、BF16、混合精度

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

DeepSeek R1 671B 完整版本地部署教程来了！！！

谈谈DeepSeek-v3在算力约束下的出色工作

通义千问超越GPT4了？

ollama 部署 deepseek-r1 70B 模型完整指南

大家都在问

别被Deepseek低成本冲昏头！本地化部署后续的“甜蜜陷阱”，你真能扛住吗？

AI大模型那么强，它是吃什么长大的？

怎么学习设计和训练一个大模型——也就是神经网络？

如何本地部署AI模型？

一文搞懂：大模型为什么要设计成预训练和微调两个阶段？

大模型推理框架：Ollama和vLLM到底应该选哪个？

AI模型训练到底在训练什么？

微软变脸OpenAI，模型价值之争压不住了？

热门标签