huggingface官网地址：https://huggingface.co/models 需科学上网

import torchfrom torch import nn# 神经网络结构 当作例子没有具体实现class MyModel(nn.Module):def __init__(self):super(MyModel, self).__init__()pass
def forward(self, x):return x
# 创建一个模型对象model = MyModel()
# 第一种保存模型的方式torch.save(model, "my_model.pth")
# 第二种保存模型的方式 使用dict字段保存参数torch.save(model.state_dict(), "dict_my_model.pth")

import torchfrom torch import nn# 神经网络结构 当作例子没有具体实现class MyModel(nn.Module):def __init__(self):super(MyModel, self).__init__()pass
def forward(self, x):return x
# 创建一个模型对象model = MyModel()
# 第一种保存模型的方式torch.save(model, "my_model.pth")
# 第二种保存模型的方式 使用dict字段保存参数torch.save(model.state_dict(), "dict_my_model.pth")
# 第一种加载模型的方式 有了这个之后就不需要使用 model = MyModule()创建模型了load_model = torch.load("my_model.pth")print(load_model)

# 第二种加载方式 这里只会加载模型的参数dict_load = torch.load("dict_my_model.pth")print(dict_load)
#因此，需要先创建模型，再从字典中加载参数dict_model = MyModel()dict_model.load_state_dict(torch.load("dict_my_model.pth"))print("------------------")print(dict_model)

from transformers import AutoTokenizer, AutoModelForCausalLM
# 大模型名词model_id = "shenzhi-wang/Llama3-8B-Chinese-Chat"
# 加载分词器 在自然语言处理中，需要对文字进行分词 并转换为神经网络能够识别的向量格式tokenizer = AutoTokenizer.from_pretrained(model_id)
# 加载大模型model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype="auto", device_map="auto")


"""
 用户使用，按照大模型提供的输入案例来操作"""messages = [{"role": "system", "content": "You are Llama3-8B-Chinese-Chat, which is finetuned on Llama3-8B-Instruct with Chinese-English mixed data by the ORPO alignment algorithm. You, Llama3-8B-Chinese-Chat, is developed by Shenzhi Wang (王慎执 in Chinese). You are a helpful assistant."},{"role": "user", "content": "介绍一下你自己"},]
# 数据预处理input_ids = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
# 大模型只能识别向量格式的数据，所以在开始之前需要对数据进行预处理outputs = model.generate(input_ids,max_new_tokens=1024,do_sample=True,temperature=0.6,top_p=0.9,)
# 获取结果response = outputs[0][input_ids.shape[-1]:]print(tokenizer.decode(response, skip_special_tokens=True))