粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
炸裂！最强开源模型一夜之间易主。
阿里发布千问2.5模型，72B版本在MMLU、MATH、MBPP等大部分评测指标上都超过了Llama3 405B，甚至一些指标也超过了GPT4o。正式加冕最强开源模型新王！
今天要挑战用我的4GB老显卡不做量化、不做压缩，看看能不能跑起来这个72B模型。
X上边各个国家也都爆发了关于Qwen模型的讨论：
01
A100，H100暂时还没有购入，主要的原因是穷。
目前主力显卡是一个4GB的老显卡：
4GB显卡直接尝试运行时，是这个画风：
02
72B的千问用18T个token训练而成，有80层。加载这个模型大概需要37块我这样的4GB显卡。差得不多。还差36块。
因此需要想一个办法。
03
解决方案就是分层推理，每次只80层中的一层进显存：
04
代码全部开源到了开源项目AirLLM中，可以在github找到。
除了QWen2.5，AirLLM也支持Llama3 400B，Mixtral等模型。
叠个甲：4GB能跑但是速度肯定不会太快（4GB的卡还要啥自行车啊？）因此不适合chatbot等实时场景，仅适合异步数据处理等场景。
推理过程只需要几行代码：
from airllm import AutoModelMAX_LENGTH = 128model = AutoModel.from_pretrained("Qwen/Qwen2.5-72B-Instruct")input_text = [is the capital of United States?',]input_tokens = model.tokenizer(input_text,return_tensors="pt",return_attention_mask=False,truncation=True,max_length=MAX_LENGTH,padding=False)generation_output = model.generate(max_new_tokens=20,use_cache=True,return_dict_in_generate=True)output = model.tokenizer.decode(generation_output.sequences[0])print(output)
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-09-22
阿里巴巴发布Qwen2.5，对标GPT o1？
2024-09-21
Qwen-2.5 + ClaudeDev + Aider：这套免费的AI编程工具链，简直太棒了！
2024-09-21
不是吧？这么好用的开源标注工具，竟然还有人不知道…
2024-09-20
注意了，多次咨询OpenAI的o1的思维链问题时或者CoT问题时，可能会收到OpenAI的封号警告，并撤销o1访问权限
2024-09-20
1.1K star!基于Llama3几秒钟完成一本书，这个项目有点厉害！
2024-09-20
DataGemma RAG 27B - 第一款挑战幻觉的模型 - 本地安装
2024-09-20
【开源】企业级AI+微服务架构和服务能力开发平台，是采用领域驱动模型 (DDD) 设计思想、毫无保留给个人及企业免费使用
2024-09-20
Qwen2.5正式发布- 基础模型大派对
2024-08-13
2024-05-06
2024-06-12
2024-07-25
2023-07-01
2024-07-08
2024-07-11
2024-07-18
2024-07-25
2024-06-16
回到顶部