微信扫码
添加专属顾问
我要投稿
from transformers import pipeline
# 创建一个文本生成的 Pipeline
generator = pipeline("text-generation", model="gpt-2")
# 生成文本
result = generator("Hello, I am an AI model", max_length=50, num_return_sequences=3)
print(result)
from transformers import pipeline
# 创建一个填充掩码的 Pipeline
fill_mask = pipeline("fill-mask", model="bert-base-chinese")
# 执行中文补全
result = fill_mask("今天是一个[MASK]的日子")
print(result)
from transformers import AutoTokenizer, AutoModel
# 加载 BERT-Base-Chinese 的 Tokenizer 和 Model
tokenizer = AutoTokenizer.from_pretrained("bert-base-chinese")
model = AutoModel.from_pretrained("bert-base-chinese")
# 编码文本inputs = tokenizer("你好,长沙!", return_tensors="pt")print(inputs)
# 编码多段文本texts = ["你好", "长沙"]inputs = tokenizer(texts, padding=True, truncation=True, return_tensors="pt")print(inputs)
# 添加新 Tokennew_tokens = ["新词汇"]tokenizer.add_tokens(new_tokens)
# 添加特殊 Tokenspecial_tokens_dict = {'additional_special_tokens': ["[NEW_TOKEN]"]}tokenizer.add_special_tokens(special_tokens_dict)
# 保存 Tokenizer 和 Modeltokenizer.save_pretrained("./models/new-bert-base-chinese")model.save_pretrained("./models/new-bert-base-chinese")
保存模型时,会在指定路径下生成以下文件:
config.json:模型配置文件,包含模型结构参数。
pytorch_model.bin:模型权重文件,存储模型的权重数据。
保存分词器时,会生成以下文件:
tokenizer.json:分词器元数据文件。
special_tokens_map.json:特殊字符映射配置文件。
tokenizer_config.json:分词器基础配置文件。
vocab.txt:词表文件。
added_tokens.json:新增 Token 的配置文件。
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-04-03
Ray 在 Bilibili 的场景探索与落地实践
2025-04-03
Spring AI+DeepSeek R1搭建企业私有化模型工具(直接使用)
2025-04-02
一文看懂预训练、微调和上下文学习
2025-04-02
将复杂HTML变成AI易读Markdown | MCP精选集
2025-04-02
我让DeepSeek设计了一个智能运维平台 -- 如何做数据准备和模型训练
2025-04-02
微调大模型!ModelScope 算力,实现Qwen2.5微调模型
2025-04-01
Cursor是越来越难用了!逼着我写mdc文档比代码还多
2025-04-01
Docker部署Dify+RAGFlow避坑指南
2025-02-04
2025-02-04
2024-09-18
2024-07-11
2024-07-09
2024-07-11
2024-07-26
2025-02-05
2025-01-27
2025-02-01
2025-04-01
2025-03-31
2025-03-20
2025-03-16
2025-03-16
2025-03-13
2025-03-13
2025-03-11