微信扫码
与创始人交个朋友
我要投稿
01。
概述
02。
03。
特性
04。
Qwen2.5规格与性能
05。
Qwen2.5的提升
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "Qwen/Qwen2.5-7B-Instruct"
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype="auto",
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
prompt = "Give me a short introduction to large language model."
messages = [
{"role": "system", "content": "You are Qwen, created by Alibaba Cloud. You are a helpful assistant."},
{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(
**model_inputs,
max_new_tokens=512
)
generated_ids = [
output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
06。
结语
参考:
https://github.com/QwenLM/Qwen2.5?tab=readme-ov-file
https://qwenlm.github.io/blog/qwen2.5/
*本文章内容借助AI进行翻译
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-09-21
Qwen-2.5 + ClaudeDev + Aider:这套免费的AI编程工具链,简直太棒了!
2024-09-21
炸裂!最强开源模型新王通义千问2.5 72B被我用4GB老显卡本地跑通了!
2024-09-21
不是吧?这么好用的开源标注工具,竟然还有人不知道…
2024-09-20
注意了,多次咨询OpenAI的o1的思维链问题时或者CoT问题时,可能会收到OpenAI的封号警告,并撤销o1访问权限
2024-09-20
1.1K star!基于Llama3几秒钟完成一本书,这个项目有点厉害!
2024-09-20
DataGemma RAG 27B - 第一款挑战幻觉的模型 - 本地安装
2024-09-20
【开源】企业级AI+微服务架构和服务能力开发平台,是采用领域驱动模型 (DDD) 设计思想、毫无保留给个人及企业免费使用
2024-09-20
Qwen2.5正式发布- 基础模型大派对
2024-08-13
2024-05-06
2024-06-12
2024-07-25
2023-07-01
2024-07-08
2024-07-11
2024-07-18
2024-07-25
2024-06-16