我要投稿

GPUStack：一个开源 GPU 集群管理器，用于运行大型语言模型 (LLM)。

发布日期：2024-08-13 07:38:33 浏览次数： 3276

作者：Halo咯咯

微信搜一搜，关注“Halo咯咯”

01。

概述

GPUStack，一个用于运行大型语言模型（LLMs）的开源GPU集群管理器。尽管LLMs作为公共云服务广泛可用，但组织机构难以轻松地托管自己的LLM部署以供私有使用。它们需要安装和管理复杂的集群软件，如Kubernetes，然后弄清楚如何在其上安装和管理AI工具栈。流行的本地运行LLMs的方式，如LMStudio和LocalAI，仅在单机上工作。

GPUStack允许您从Apple MacBook、Windows PC和Linux服务器中的任何品牌的GPU创建统一的集群。管理员可以从如Hugging Face这样的流行仓库部署LLMs。开发者随后可以像访问OpenAI或Microsoft Azure等供应商提供的公共LLM服务一样轻松地访问LLMs。

02。

为什么用GPUStack？

当前，希望在GPU服务器集群上托管大型语言模型（LLMs）的组织必须进行大量工作来集成复杂的软件栈。通过使用GPUStack，组织不再需要担心集群管理、GPU优化、LLMs干扰引擎、使用和计量、用户管理、API访问和仪表板用户界面。GPUStack是一个完整的软件平台，用于构建您自己的大型语言模型即服务（LLMaaS）。

正如下图所示，管理员可以从HuggingFace等仓库部署模型到GPUStack，然后开发者可以连接到GPUStack，在他们的应用程序中使用这些模型。

03。

特性

GPU集群搭建与资源整合

GPUStack能够整合集群内所有GPU资源。它旨在支持包括Nvidia、Apple、AMD、Intel、Qualcomm等在内的所有GPU厂商。GPUStack与运行MacOS、Windows和Linux的笔记本电脑、台式机、工作站和服务器兼容。

GPUStack的初始版本支持配备Nvidia显卡的Windows PC和Linux服务器，以及Apple Mac。

模型部署与推理

GPUStack支持在GPU机器集群上分布式部署和推理LLMs。

GPUStack为在特定GPU上运行给定的LLM选择最佳的推理引擎。GPUStack支持的第一个LLM推理引擎是LLaMA.cpp，这使得GPUStack能够支持来自Hugging Face的GGUF模型以及ollama库（ollama.com/library）中列出的所有模型。

您可以通过先将模型转换为GGUF格式并上传至Hugging Face或Ollama库，在GPUStack上运行任何模型。

其他推理引擎的支持，如vLLM，已列入我们的开发路线图，并将在将来提供。

注意：GPUStack将自动调度您选择的模型在具有适当资源的机器上运行，免除您的手动干预。如果您想评估所选模型的资源消耗，可以使用我们的GGUF Parser项目：https://github.com/gpustack/gguf-parser-go。我们计划在未来提供更详细的教程。

尽管推荐使用GPU加速进行推理，我们还支持CPU推理，尽管性能不如GPU。或者，使用GPU和CPU混合进行推理可以最大化资源利用率，这在边缘或资源受限的环境中特别有用。

与您的应用程序轻松集成

GPUStack提供与OpenAI兼容的API，并提供LLM游乐场以及API密钥。游乐场使AI开发者能够试验并自定义您的LLMs，并无缝地将它们集成到AI应用程序中。

此外，您可以使用GPUStack提供的指标来了解您的AI应用程序如何利用各种LLMs。这有助于管理员有效管理GPU资源消耗。

GPU和LLMs的可观测性指标

GPUStack提供全面的指标，用于性能、利用率和状态监控。

对于GPU，管理员可以使用GPUStack监控实时资源利用率和系统状态。基于这些指标：

管理员执行扩展、优化和其他维护操作。
GPUStack调整其模型调度算法。

对于LLMs，开发者可以使用GPUStack访问诸如令牌吞吐量、令牌使用情况和API请求吞吐量等指标。这些指标帮助开发者评估模型性能并优化其应用程序。GPUStack计划在未来版本中根据这些推理性能指标支持自动扩展。

认证和访问控制

GPUStack还为企业提供了认证和基于角色的访问控制（RBAC）。平台上的用户可以拥有管理员或常规用户角色。这保证了只有授权的管理员才能部署和管理LLMs，只有授权的开发者才能使用它们。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-10-28

腾讯开源Nano Banana，我总结了15种邪修玩法（附提示语）

2025-10-28

牛逼，DeepSeek-OCR 最新免费，引爆文档处理效率的黑科技模型

2025-10-28

小红书入局AI智能体开源DeepAgent，在计划什么更新？

2025-10-27

锦秋基金被投企业Pokee AI 推 7B 研究智能体 PokeeResearch，RLAIF + 推理脚手架重塑深度研究

2025-10-27

终于有个简单的办公Agent入门教程了，京东云JoyAgent上大分

2025-10-27

发现一个超神的Github开源OCR项目，国产多模态杀疯了

2025-10-27

MiniMax悄悄发布M2，8%价格打出Claude级性能

2025-10-25

Agent从0到1落地实施：以「小智伴」为例，产品需求(一)

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

DeepSeek V3.1 Base / Instruct 发布

2025-08-20

阿里Qoder vs Trae vs Cursor：谁才是2025年程序猿的效率之王？

2025-09-07

有点东西！Qwen开源会写中文的生图模型Qwen-Image

2025-08-05

DeepSeek-V3.1-Base来了！MoE架构+128K上下文，性能再进化

2025-08-20

手把手教你本地部署！京东JoyAgent全攻略：从零拥有一个企业级的AI Agent

2025-07-31

重磅开源！通义万相最新模型来了

2025-08-26

阿里AI编程 IDE Qoder 正式发布，BAT 终于凑齐了！

2025-08-22

别再乱选了！Dify、Coze 与 n8n 的真实差距，多数人没看透

2025-07-31

开源发布！适合中国宝宝的 LangGraph 智能体开发模板！

2025-09-06

一手实测OpenAI新开源的GPT OSS，o1和GPT-4o都要过气了。

2025-08-06

大家都在问

小红书入局AI智能体开源DeepAgent，在计划什么更新？

2025-10-28

埃森哲的大裁员，向市场发出了什么信号？

2025-10-13

DeepSeek-V3.2背后的国产算子编程语言TileLang是什么？如何保持性能领先的同时减少6倍代码量？

2025-09-29

Qwen3-Next 首测！Qwen3.5的预览版？但为什么我的测试一塌糊涂？

2025-09-17

Dify Pre-release版本来了，Dify2.0时代不远了，看看有哪些进步？

2025-09-09

Claude不让用，有哪些国产模型能迎头赶上？

2025-09-08

阿里Qoder vs Trae vs Cursor：谁才是2025年程序猿的效率之王？

2025-09-07

苹果深夜开源FastVLM：速度飙升85倍，0.5B小模型要逼疯谁？

2025-09-01

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部