微信扫码
与创始人交个朋友
我要投稿
最近发现华为NPU的生态里多了一个成员——MindIE,部分解决了大模型推理的问题,下面简要介绍下Mind华为昇腾NPU卡的生态。
CANN
对应 CUDA
MindSpore
对应 PyTorch
MindFormer
对应 Transformers
MindIE
对应 vLLM
首先,在英伟达的生态中,有从底层到上层分别有CUDA、PyTorch、transformers、vLLM等常见库。对应的,在华为的生态中,分别有CANN、MindSpore、MindFormer、MindIE。具体对应关系见下图:
关于MindSpore、MindIE的详细介绍,分别见下面的图与链接:
MindSpore——https://www.mindspore.cn/
MindIE——https://www.hiascend.com/software/mindie
在华鲲振宇AI最优解/ Ascend-FAQ的gitee[1]页面上,介绍了MindIE目前支持的模型,包含了llama3-8B、llama2-7B、Qwen1.5-14B-Chat、Qwen1.5-72B-Chat、chatglm3-6B等模型。
目前看支持的大模型很少,而且页面上没有写的大概率不支持(比如Qwen1.5-32B-Chat以及Qwen2系列实测均不支持)。
虽然支持的模型不多,但是,得益于910B系列卡的强劲算力,配合MindIE框架做了下并发推理测试,具体结果如下:
可以看到4卡910B4,跑Qwen1.5-14B-Chat模型,在40并发的情况下,首token平均延迟为66毫秒,每秒token生成数在1200左右,单个请求每秒生成token数约为30个,基本可以满足生产环境的需求
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-09-19
o1发布后,信息量最大的圆桌对话:杨植麟、姜大昕、朱军探讨大模型技术路径
2024-09-19
杨植麟、姜大昕、朱军云栖激辩:我们对大模型发展的预测,都过于保守了
2024-09-19
大模型Agent:人工智能新前沿的深度解读
2024-09-19
LlamaIndex报告:未来Agentic App,不仅是RAG
2024-09-19
从案例分析到客户沟通:AI提示词如何优化律师工作流程?
2024-09-19
o1 能带我们走进 AGI 吗?
2024-09-19
端到端的 NL2SQL 引擎: Super-Analysis 震撼来袭,一个不同于市面已有产品的存在
2024-09-19
解锁医疗新未来:Sunsimiao-7B 中文医疗大模型震撼登场
2024-07-18
2024-03-30
2024-04-26
2024-04-11
2024-05-06
2024-06-12
2024-05-09
2024-07-09
2023-07-01
2024-07-25
2024-09-19
2024-09-19
2024-09-19
2024-09-19
2024-09-18
2024-09-18
2024-09-18
2024-09-18