粤ICP备17114055号
微信扫码
添加专属顾问
支持私有化部署
我要投稿
炸裂！最强开源模型一夜之间易主。
阿里发布千问2.5模型，72B版本在MMLU、MATH、MBPP等大部分评测指标上都超过了Llama3 405B，甚至一些指标也超过了GPT4o。正式加冕最强开源模型新王！
今天要挑战用我的4GB老显卡不做量化、不做压缩，看看能不能跑起来这个72B模型。
X上边各个国家也都爆发了关于Qwen模型的讨论：
01
A100，H100暂时还没有购入，主要的原因是穷。
目前主力显卡是一个4GB的老显卡：
4GB显卡直接尝试运行时，是这个画风：
02
72B的千问用18T个token训练而成，有80层。加载这个模型大概需要37块我这样的4GB显卡。差得不多。还差36块。
因此需要想一个办法。
03
解决方案就是分层推理，每次只80层中的一层进显存：
04
代码全部开源到了开源项目AirLLM中，可以在github找到。
除了QWen2.5，AirLLM也支持Llama3 400B，Mixtral等模型。
叠个甲：4GB能跑但是速度肯定不会太快（4GB的卡还要啥自行车啊？）因此不适合chatbot等实时场景，仅适合异步数据处理等场景。
推理过程只需要几行代码：
from airllm import AutoModelMAX_LENGTH = 128model = AutoModel.from_pretrained("Qwen/Qwen2.5-72B-Instruct")input_text = [is the capital of United States?',]input_tokens = model.tokenizer(input_text,return_tensors="pt",return_attention_mask=False,truncation=True,max_length=MAX_LENGTH,padding=False)generation_output = model.generate(max_new_tokens=20,use_cache=True,return_dict_in_generate=True)output = model.tokenizer.decode(generation_output.sequences[0])print(output)
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-04-19
DeepSeek+Dify 构建本地知识库，真香！
2025-04-19
微软开源实时交互模型：提升Agent动态复杂处理能力
2025-04-19
微软最新 Playwright MCP 服务器强势来袭？
2025-04-18
OpenManus：开源版 Manus，无需邀请码，5 分钟极速体验！
2025-04-18
OpenAI开源34页Agents最佳实践白皮书~
2025-04-18
OpenAI推出终端编码智能体Codex CLI了
2025-04-18
“开源版coze”爆火，融资超 4.6 亿！如今 Docker 拉取量超 1 亿，斩获 77.5k star
2025-04-18
【开源看AI】GitDiagram：AI帮你理解任意代码库的架构
2025-01-01
2024-07-25
2025-01-21
2024-05-06
2024-09-20
2024-07-20
2024-06-12
2024-07-11
2024-08-13
2024-12-26
回到顶部