我要投稿

GPUStack：一个开源 GPU 集群管理器，用于运行大型语言模型 (LLM)。

发布日期：2024-08-13 07:38:33 浏览次数： 2404 来源：Halo咯咯

01。

概述

GPUStack，一个用于运行大型语言模型（LLMs）的开源GPU集群管理器。尽管LLMs作为公共云服务广泛可用，但组织机构难以轻松地托管自己的LLM部署以供私有使用。它们需要安装和管理复杂的集群软件，如Kubernetes，然后弄清楚如何在其上安装和管理AI工具栈。流行的本地运行LLMs的方式，如LMStudio和LocalAI，仅在单机上工作。

GPUStack允许您从Apple MacBook、Windows PC和Linux服务器中的任何品牌的GPU创建统一的集群。管理员可以从如Hugging Face这样的流行仓库部署LLMs。开发者随后可以像访问OpenAI或Microsoft Azure等供应商提供的公共LLM服务一样轻松地访问LLMs。

02。

为什么用GPUStack？

当前，希望在GPU服务器集群上托管大型语言模型（LLMs）的组织必须进行大量工作来集成复杂的软件栈。通过使用GPUStack，组织不再需要担心集群管理、GPU优化、LLMs干扰引擎、使用和计量、用户管理、API访问和仪表板用户界面。GPUStack是一个完整的软件平台，用于构建您自己的大型语言模型即服务（LLMaaS）。

正如下图所示，管理员可以从HuggingFace等仓库部署模型到GPUStack，然后开发者可以连接到GPUStack，在他们的应用程序中使用这些模型。

03。

特性

GPU集群搭建与资源整合

GPUStack能够整合集群内所有GPU资源。它旨在支持包括Nvidia、Apple、AMD、Intel、Qualcomm等在内的所有GPU厂商。GPUStack与运行MacOS、Windows和Linux的笔记本电脑、台式机、工作站和服务器兼容。

GPUStack的初始版本支持配备Nvidia显卡的Windows PC和Linux服务器，以及Apple Mac。

模型部署与推理

GPUStack支持在GPU机器集群上分布式部署和推理LLMs。

GPUStack为在特定GPU上运行给定的LLM选择最佳的推理引擎。GPUStack支持的第一个LLM推理引擎是LLaMA.cpp，这使得GPUStack能够支持来自Hugging Face的GGUF模型以及ollama库（ollama.com/library）中列出的所有模型。

您可以通过先将模型转换为GGUF格式并上传至Hugging Face或Ollama库，在GPUStack上运行任何模型。

其他推理引擎的支持，如vLLM，已列入我们的开发路线图，并将在将来提供。

注意：GPUStack将自动调度您选择的模型在具有适当资源的机器上运行，免除您的手动干预。如果您想评估所选模型的资源消耗，可以使用我们的GGUF Parser项目：https://github.com/gpustack/gguf-parser-go。我们计划在未来提供更详细的教程。

尽管推荐使用GPU加速进行推理，我们还支持CPU推理，尽管性能不如GPU。或者，使用GPU和CPU混合进行推理可以最大化资源利用率，这在边缘或资源受限的环境中特别有用。

与您的应用程序轻松集成

GPUStack提供与OpenAI兼容的API，并提供LLM游乐场以及API密钥。游乐场使AI开发者能够试验并自定义您的LLMs，并无缝地将它们集成到AI应用程序中。

此外，您可以使用GPUStack提供的指标来了解您的AI应用程序如何利用各种LLMs。这有助于管理员有效管理GPU资源消耗。

GPU和LLMs的可观测性指标

GPUStack提供全面的指标，用于性能、利用率和状态监控。

对于GPU，管理员可以使用GPUStack监控实时资源利用率和系统状态。基于这些指标：

管理员执行扩展、优化和其他维护操作。
GPUStack调整其模型调度算法。

对于LLMs，开发者可以使用GPUStack访问诸如令牌吞吐量、令牌使用情况和API请求吞吐量等指标。这些指标帮助开发者评估模型性能并优化其应用程序。GPUStack计划在未来版本中根据这些推理性能指标支持自动扩展。

认证和访问控制

GPUStack还为企业提供了认证和基于角色的访问控制（RBAC）。平台上的用户可以拥有管理员或常规用户角色。这保证了只有授权的管理员才能部署和管理LLMs，只有授权的开发者才能使用它们。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-03-06

阿里32B新模型比肩满血DeepSeek-R1！苹果Mac本地可跑，网友已玩疯

2025-03-06

更小尺寸、更强性能，QwQ-32B推理模型开源！

2025-03-06

阿里深夜开源推理模型QwQ-32B，性能比肩R1满血版。

2025-03-05

推荐 3 个 yyds 声音克隆开源项目

2025-03-05

企业落地 AI 大模型，一个 DeepSeek 远远不够

2025-03-05

VLLM vs. Ollama

2025-03-05

10分钟速览DeepSeek三大关键版本的核心技术点

2025-03-05

【开源】Dify插件系统上线！模块化组件即插即用，轻松扩展AI应用功能，提升灵活性！

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

我把最近爆火的 DeepSeek-V3 接到了 Cursor！

2025-01-01

Ollama 本地运行大模型(LLM)完全指南

2024-07-25

太强了！10大开源大模型！

2024-05-06

万字详解DeepSeek-R1，引爆AI圈的又一力作，大模型爆发势不可挡！

2025-01-21

QWEN2.5开源上新，14B/32B回归实测：这就是最强单卡本地模型！

2024-09-20

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

2024-07-20

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

2024-06-12

DeepSeek-V3 正式发布

2024-12-26

如何免费使用 Claude AI？Claude使用指南！

2024-07-11

大家都在问

单机部署满血版DeepSeek，谁才是最具性价比的一体机方案？

2025-03-03

一文读懂 DeepSeek 开源周，CEO 梁文锋亲自写代码？

2025-03-02

DeepSeek开源的FlashMLA有什么优势？

2025-03-01

DeepSeek不同版本私有化部署成本对比：企业如何选择最优方案？

2025-02-26

开源VS闭源，DeepSeek是最好选择吗？

2025-02-23

AI 本地部署中的 ollama 是什么？

2025-02-18

如何使用 Higress 快速构建 AI 应用？

2025-02-15

DeepSeek爆火：“平民AI”真能让普通人秒变“超级个体”？

2025-02-15

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： ceo@53ai.com

友情链接：

CopyRight © 2012-2024 深圳市博思协创网络科技有限公司版权所有

粤ICP备17114055号

广州：广州市华景路37号(华景软件园)暨南大学科技大厦6楼（整层）杨小姐 186 6662 7370

深圳：深圳市福田区泰然四路29号天安创新科技广场一期A座1204 陈先生 185 8882 0121

上海：上海市浦东新区金新路58号1602室戴先生 186 1639 7587

微信扫码
和创始人交个朋友

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部