%cd /content/%rm -rf LLaMA-Factory!git clone https://github.com/hiyouga/LLaMA-Factory.git%cd LLaMA-Factory%ls!pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"!pip install --no-deps xformers==0.0.25!pip install .[bitsandbytes]

import torchtry:assert torch.cuda.is_available() is Trueexcept AssertionError:  print("ERROR,需要 GPU 环境")

import json
%cd /content/LLaMA-Factory/
NAME = "Llama-Chinese"AUTHOR = "LLaMA Factory"
with open("data/identity.json", "r", encoding="utf-8") as f:dataset = json.load(f)
for sample in dataset:sample["output"] = sample["output"].replace("NAME", NAME).replace("AUTHOR", AUTHOR)
with open("data/identity.json", "w", encoding="utf-8") as f:json.dump(dataset, f, indent=2, ensure_ascii=False)

from llmtuner import run_expfrom llmtuner.extras.misc import torch_gc
%cd /content/LLaMA-Factory/
run_exp(dict(stage="sft",# 进行指令监督微调do_train=True,model_name_or_path="unsloth/llama-3-8b-Instruct-bnb-4bit", # 使用 4 比特量化版 Llama-3-8b-Instruct 模型dataset="identity,alpaca_gpt4_en,alpaca_gpt4_zh",# 使用 alpaca 和自我认知数据集template="llama3", # 使用 llama3 提示词模板finetuning_type="lora", # 使用 LoRA 适配器来节省显存lora_target="all", # 添加 LoRA 适配器至全部线性层output_dir="llama3_lora",# 保存 LoRA 适配器的路径per_device_train_batch_size=2, # 批处理大小gradient_accumulation_steps=4, # 梯度累积步数lr_scheduler_type="cosine", # 使用余弦学习率退火算法logging_steps=10,# 每 10 步输出一个记录warmup_ratio=0.1,# 使用预热学习率save_steps=1000,# 每 1000 步保存一个检查点learning_rate=5e-5, # 学习率大小num_train_epochs=3.0,# 训练轮数max_samples=300,# 使用每个数据集中的 300 条样本max_grad_norm=1.0, # 将梯度范数裁剪至 1.0quantization_bit=4, # 使用 4 比特 QLoRAloraplus_lr_ratio=16.0, # 使用 LoRA+ 算法并设置 lambda=16.0use_unsloth=True,# 使用 UnslothAI 的 LoRA 优化来加快一倍的训练速度fp16=True, # 使用 float16 混合精度训练))
torch_gc()

from llmtuner import ChatModelfrom llmtuner.extras.misc import torch_gc
%cd /content/LLaMA-Factory/
chat_model = ChatModel(dict(model_name_or_path="unsloth/llama-3-8b-Instruct-bnb-4bit", # 使用 4 比特量化版 Llama-3-8b-Instruct 模型adapter_name_or_path="llama3_lora",# 加载之前保存的 LoRA 适配器finetuning_type="lora",# 和训练保持一致template="llama3", # 和训练保持一致quantization_bit=4,# 加载 4 比特量化模型use_unsloth=True, # 使用 UnslothAI 的 LoRA 优化来加快一倍的推理速度))
messages = []while True:query = input("\nUser: ")if query.strip() == "exit":break
if query.strip() == "clear":messages = []torch_gc()print("History has been removed.")continue
messages.append({"role": "user", "content": query}) # 把提示词添加到消息中print("Assistant: ", end="", flush=True)response = ""for new_text in chat_model.stream_chat(messages):# 流式输出print(new_text, end="", flush=True)response += new_textprint()messages.append({"role": "assistant", "content": response}) # 把回答添加到消息中
torch_gc()