粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
炸裂！最强开源模型一夜之间易主。
阿里发布千问2.5模型，72B版本在MMLU、MATH、MBPP等大部分评测指标上都超过了Llama3 405B，甚至一些指标也超过了GPT4o。正式加冕最强开源模型新王！
今天要挑战用我的4GB老显卡不做量化、不做压缩，看看能不能跑起来这个72B模型。
X上边各个国家也都爆发了关于Qwen模型的讨论：
01
A100，H100暂时还没有购入，主要的原因是穷。
目前主力显卡是一个4GB的老显卡：
4GB显卡直接尝试运行时，是这个画风：
02
72B的千问用18T个token训练而成，有80层。加载这个模型大概需要37块我这样的4GB显卡。差得不多。还差36块。
因此需要想一个办法。
03
解决方案就是分层推理，每次只80层中的一层进显存：
04
代码全部开源到了开源项目AirLLM中，可以在github找到。
除了QWen2.5，AirLLM也支持Llama3 400B，Mixtral等模型。
叠个甲：4GB能跑但是速度肯定不会太快（4GB的卡还要啥自行车啊？）因此不适合chatbot等实时场景，仅适合异步数据处理等场景。
推理过程只需要几行代码：
from airllm import AutoModelMAX_LENGTH = 128model = AutoModel.from_pretrained("Qwen/Qwen2.5-72B-Instruct")input_text = [is the capital of United States?',]input_tokens = model.tokenizer(input_text,return_tensors="pt",return_attention_mask=False,truncation=True,max_length=MAX_LENGTH,padding=False)generation_output = model.generate(max_new_tokens=20,use_cache=True,return_dict_in_generate=True)output = model.tokenizer.decode(generation_output.sequences[0])print(output)
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-12-22
花60元，DIY了一个AI机器人，能聊天，会认人……
2024-12-21
基于AI智能助理的软件开源组件安全检查
2024-12-21
Llama2024年度要点总结
2024-12-21
重磅！ Github Copilot 免费了
2024-12-20
万字长文帮你搞定AI Agent选型
2024-12-20
微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？
2024-12-20
Claude的MCP（模型上下文协议）简介
2024-12-20
历时2年，华人团队力作，震撼开源生成式物理引擎Genesis，可模拟世界万物
2024-05-06
2024-07-25
2024-08-13
2024-06-12
2024-07-11
2024-06-16
2024-07-20
2024-09-20
2024-06-15
2024-07-25
2024-12-20
2024-12-19
2024-11-22
2024-11-19
2024-11-13
2024-11-13
2024-10-07
2024-09-22
回到顶部