我要投稿

如何高效利用 Transformers 库中的 Pipeline 进行大语言模型的应用

发布日期：2024-09-25 08:31:12 浏览次数： 1752 来源：智能体AI

在自然语言处理（NLP）领域，大语言模型（LLMs）近年来引起了广泛关注。Transformers 库中的 Pipeline 提供了一种简单而高效的方法来处理从原始文本到模型推理再到结果生成的完整流程。本篇文章将详细介绍如何利用 Pipeline 结合现代大语言模型，具体涵盖语言建模、Tokenizer 和 Model 的管理、以及模型的保存等方面。

一、使用 Pipeline 进行语言建模

语言建模的核心任务是预测文本序列中的下一个单词。这项技术在 NLP 中扮演着重要角色，特别是在预训练的语言模型中，它们可以用于多种下游任务的微调。我们将重点介绍如何使用 Pipeline 调用大语言模型，具体包括 GPT-2 的文本生成和 BERT-Base-Chinese 的中文补全。

1. 使用 GPT-2 实现文本生成

GPT-2 是一种自回归语言模型，其任务是根据给定的上下文生成下一段文本。使用 Pipeline 调用 GPT-2 可以轻松实现文本生成。

from transformers import pipeline
# 创建一个文本生成的 Pipelinegenerator = pipeline("text-generation", model="gpt-2")
# 生成文本result = generator("Hello, I am an AI model", max_length=50, num_return_sequences=3)print(result)

在这个示例中，我们创建了一个文本生成 Pipeline，并指定了生成文本的最大长度和返回结果的条数。GPT-2 根据输入文本生成多种可能的输出，帮助我们快速获取生成的文本内容。

2. 使用 BERT-Base-Chinese 实现中文补全

BERT-Base-Chinese 是一种自编码语言模型，其任务是理解上下文，并预测被掩盖的单词。使用 Pipeline 调用 BERT 可以实现中文文本的自动补全。

from transformers import pipeline
# 创建一个填充掩码的 Pipelinefill_mask = pipeline("fill-mask", model="bert-base-chinese")
# 执行中文补全result = fill_mask("今天是一个[MASK]的日子")print(result)

在这个示例中，[MASK] 代表需要补全的词汇。BERT-Base-Chinese 将根据上下文预测出最合适的词汇，从而完成文本的补全任务。

二、使用 AutoClass 高效管理 Tokenizer 和 Model

Transformers 库中的 AutoClass 提供了自动加载预训练模型和分词器的功能，简化了模型的使用过程。我们可以通过 from_pretrained() 方法快速加载所需的模型和分词器。

1. 使用 from_pretrained() 方法加载模型和分词器

from transformers import AutoTokenizer, AutoModel
# 加载 BERT-Base-Chinese 的 Tokenizer 和 Modeltokenizer = AutoTokenizer.from_pretrained("bert-base-chinese")model = AutoModel.from_pretrained("bert-base-chinese")

这段代码将自动下载并加载 BERT-Base-Chinese 模型及其分词器，使得我们能够直接使用这些预训练的资源进行后续的任务。

2. 使用 BERT Tokenizer 编码文本

Tokenization 是将文本转换为模型可以理解的格式的过程，包括分词和映射。我们可以使用 tokenizer.encode() 方法来进行编码：

# 编码文本inputs = tokenizer("你好，长沙！", return_tensors="pt")print(inputs)

这段代码将文本转换为模型所需的输入格式，返回一个包含 input_ids、token_type_ids 和 attention_mask 的字典。这些信息对于模型的推理至关重要。

3. 编解码多段文本

对于多个文本的处理，我们可以使用 tokenizer.__call__() 方法，该方法会自动处理文本的编码和特殊字符的补全：

# 编码多段文本texts = ["你好", "长沙"]inputs = tokenizer(texts, padding=True, truncation=True, return_tensors="pt")print(inputs)

这段代码处理多个文本，自动进行填充和截断，以适应模型的输入要求。

三、添加新 Token

在实际应用中，我们可能会遇到词汇表中不存在的新词汇。Transformers 库提供了添加新 Token 的方法，以适应这些新词汇的需求。

1. 添加常规 Token

如果我们需要添加常规的 Token，可以使用 add_tokens() 方法：

# 添加新 Tokennew_tokens = ["新词汇"]tokenizer.add_tokens(new_tokens)

‍

2. 添加特殊 Token

对于特殊用途的 Token，可以使用 add_special_tokens() 方法：

# 添加特殊 Tokenspecial_tokens_dict = {'additional_special_tokens': ["[NEW_TOKEN]"]}tokenizer.add_special_tokens(special_tokens_dict)

这两种方法可以扩展现有的词汇表，以包含新的词汇和特殊字符。

四、保存模型和分词器

在模型和分词器的使用过程中，可能需要保存修改后的模型和分词器以便后续使用。Transformers 库提供了便捷的保存方法。

1. 保存模型和分词器

# 保存 Tokenizer 和 Modeltokenizer.save_pretrained("./models/new-bert-base-chinese")model.save_pretrained("./models/new-bert-base-chinese")

保存模型时，会在指定路径下生成以下文件：

config.json：模型配置文件，包含模型结构参数。
pytorch_model.bin：模型权重文件，存储模型的权重数据。

保存分词器时，会生成以下文件：

tokenizer.json：分词器元数据文件。
special_tokens_map.json：特殊字符映射配置文件。
tokenizer_config.json：分词器基础配置文件。
vocab.txt：词表文件。
added_tokens.json：新增 Token 的配置文件。

五、总结

通过 Transformers 库中的 Pipeline 和 AutoClass，我们可以高效地进行大语言模型的应用。这些工具不仅简化了模型的加载和管理，还使得语言建模、Tokenization 和模型保存变得更加便捷。希望本文能为您在使用大语言模型时提供实用的指导，帮助您更好地完成各种 NLP 任务。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

太爽了！o1 现在可以天天享用了

2024-09-18

FP8 低精度训练：Transformer Engine 简析

2024-07-11

万字综述 10+ 种 LLM 投机采样推理加速方案

2024-07-11

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-07-09

通义千问超越GPT4了？

2024-06-11

深度剖析：字节跳动大模型训练被实习生“投毒”事件

2024-10-20

Qwen2大模型微调入门实战-命名实体识别（NER）任务

2024-07-23

彻底理解系列之：FP32、FP16、TF32、BF16、混合精度

2024-07-26

基于 Qwen2 大模型微调技术详细教程（LoRA 参数高效微调和 SwanLab 可视化监控）

2024-07-20

DifySandbox 的构建背景和实现机制

2024-07-12

大家都在问

AI模型训练到底在训练什么？

2024-12-26

微软变脸OpenAI，模型价值之争压不住了？

2024-12-25

大模型时代的软件工程教育，路在何方？

2024-12-24

字节ReFT技术：OpenAI强化微调的幕后功臣？

2024-12-09

OpenAI最新推出的RFT是什么？

2024-12-07

LLM Quantization ：理解 LLM 中模型大小？

2024-12-06

企业部署生成式 AI，五个最大的挑战是什么？

2024-12-05

如何生成Function Calling微调数据？

2024-12-02

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制