我要投稿

炸裂！最强开源模型新王通义千问2.5 72B被我用4GB老显卡本地跑通了！

发布日期：2024-09-21 11:47:47 浏览次数： 1835 来源：AI统治世界计划

炸裂！最强开源模型一夜之间易主。

阿里发布千问2.5模型，72B版本在MMLU、MATH、MBPP等大部分评测指标上都超过了Llama3 405B，甚至一些指标也超过了GPT4o。正式加冕最强开源模型新王！

今天要挑战用我的4GB老显卡不做量化、不做压缩，看看能不能跑起来这个72B模型。

X上边各个国家也都爆发了关于Qwen模型的讨论：

我的4GB老显卡还能用吗？

A100，H100暂时还没有购入，主要的原因是穷。

目前主力显卡是一个4GB的老显卡：

4GB显卡直接尝试运行时，是这个画风：

72B的千问有多大？

72B的千问用18T个token训练而成，有80层。加载这个模型大概需要37块我这样的4GB显卡。差得不多。还差36块。

因此需要想一个办法。

分层推理

解决方案就是分层推理，每次只80层中的一层进显存：

开源

代码全部开源到了开源项目AirLLM中，可以在github找到。

除了QWen2.5，AirLLM也支持Llama3 400B，Mixtral等模型。

叠个甲：4GB能跑但是速度肯定不会太快（4GB的卡还要啥自行车啊？）因此不适合chatbot等实时场景，仅适合异步数据处理等场景。

推理过程只需要几行代码：

from airllm import AutoModel
MAX_LENGTH = 128model = AutoModel.from_pretrained("Qwen/Qwen2.5-72B-Instruct")
input_text = ['What is the capital of United States?',]
input_tokens = model.tokenizer(input_text,return_tensors="pt", return_attention_mask=False, truncation=True, max_length=MAX_LENGTH, padding=False)
generation_output = model.generate(input_tokens['input_ids'].cuda(), max_new_tokens=20,use_cache=True,return_dict_in_generate=True)
output = model.tokenizer.decode(generation_output.sequences[0])
print(output)

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

太强了！10大开源大模型！

2024-05-06

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

Ollama 本地运行大模型(LLM)完全指南

2024-07-25

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

2024-06-12

中医大模型，开源！

2024-06-16

如何免费使用 Claude AI？Claude使用指南！

2024-07-11

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

2024-07-20

开源医疗大模型Llama3-Aloe-8B-Alpha，性能超越 MedAlpaca 和 PMC-LLaMA

2024-06-15

教你使用Ollama在本地跑Llama3.1

2024-07-25

Llama 3.1 - 405B、70B 和 8B 的多语言与长上下文能力解析

2024-07-25

大家都在问

这家小公司的700 亿参数模型竟然比Open o1还强？

2024-11-13

Ollama 更新！本地跑 LLama3.2，轻量级+视觉能力，能媲美GPT-4o？

2024-11-13

NotebookLM+AI播客到底是什么神仙组合？

2024-10-07

阿里巴巴发布Qwen2.5，对标GPT o1？

2024-09-22

疯狂星期四Qwen2.5开源，通义成了最Open的AI?

2024-09-20

疯狂24h后，openai o1有哪些新的秘密？

2024-09-14

OpenAI的o1模型会带来哪些影响和机会？

2024-09-14

LLM 基础知识 | WaterMarking，你搞懂了吗？

2024-09-12

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

我的4GB老显卡还能用吗？

72B的千问有多大？

分层推理

开源

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

太强了！10大开源大模型！

开源项目Composio：突破 AI 智能体开发的边界

Ollama 本地运行大模型(LLM)完全指南

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

中医大模型，开源！

如何免费使用 Claude AI？Claude使用指南！

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

开源医疗大模型Llama3-Aloe-8B-Alpha，性能超越 MedAlpaca 和 PMC-LLaMA

教你使用Ollama在本地跑Llama3.1

Llama 3.1 - 405B、70B 和 8B 的多语言与长上下文能力解析

大家都在问

这家小公司的700 亿参数模型竟然比Open o1还强？

Ollama 更新！本地跑 LLama3.2，轻量级+视觉能力，能媲美GPT-4o？

NotebookLM+AI播客到底是什么神仙组合？

阿里巴巴发布Qwen2.5，对标GPT o1？

疯狂星期四Qwen2.5开源，通义成了最Open的AI?

疯狂24h后，openai o1有哪些新的秘密？

OpenAI的o1模型会带来哪些影响和机会？

LLM 基础知识 | WaterMarking，你搞懂了吗？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

我的4GB老显卡还能用吗？

72B的千问有多大？

分层推理

开源

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

太强了！10​大开源大模型！

开源项目Composio：突破 AI 智能体开发的边界

Ollama 本地运行大模型(LLM)完全指南

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

中医大模型 ，开源！

如何免费使用 Claude AI？Claude使用指南！

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

开源医疗大模型Llama3-Aloe-8B-Alpha，性能超越 MedAlpaca 和 PMC-LLaMA

教你使用Ollama在本地跑Llama3.1

Llama 3.1 - 405B、70B 和 8B 的多语言与长上下文能力解析

大家都在问

这家小公司的700 亿参数模型竟然比Open o1还强？

Ollama 更新！本地跑 LLama3.2，轻量级+视觉能力，能媲美GPT-4o？

NotebookLM+AI播客到底是什么神仙组合？

阿里巴巴发布Qwen2.5，对标GPT o1？

疯狂星期四Qwen2.5开源，通义成了最Open的AI?

疯狂24h后，openai o1有哪些新的秘密？

OpenAI的o1模型会带来哪些影响和机会？

LLM 基础知识 | WaterMarking，你搞懂了吗？

热门标签

太强了！10大开源大模型！

中医大模型，开源！