微信扫码
与创始人交个朋友
我要投稿
当您将打包好的机器学习模型部署到像AWS这样的云服务时,您必须为运行模型的服务器选择一个实例类型。更大的实例更强大,但也更昂贵。而且实例的命名和大小很快就变得复杂。幸运的是,您可以遵循一些简单的启发式方法来选择合适的实例大小,既能处理您的模型,又能最小化计算成本。
实例大小包括几个不同的因素:
实例大小还可能包括其他因素,如核心类型和持久存储,但通常您只需考虑上面列出的四个因素。考虑到这些因素,您只需做出两个关键决定就可以为您的模型选择合适的实例类型。
有些模型可以在GPU上运行。像Stable Diffusion和Whisper这样的大型基础模型在GPU上运行。当调用这样的模型时,GPU用于处理调用,其硬件在并发任务处理方面远胜于CPU。其他模型,如大多数回归模型,只需要标准CPU。
如果您的模型可以在GPU上运行,并且调用速度对您的用例很重要,您会希望选择一个带有GPU的实例。否则,坚持使用较便宜的CPU实例。
除非您的模型或模型服务代码经过专门优化以利用多个CPU核心的并行化,否则vCPU数量并不重要。相反,您将根据内存需求确定实例大小。
一旦您确定了模型将运行的计算单元类型,您需要选择与该计算单元相关的内存量。这将有效地决定您的实例大小。因此,如果您的模型使用GPU,请根据GPU内存确定实例大小;如果不使用,则根据标准/CPU内存确定。
要选择内存大小,请检查模型权重文件和模型需要加载到内存中的所有其他文件的大小,然后选择下一个更大的内存大小。
例如,如果您的模型是6GB,而可选的内存大小包括4GB、8GB和12GB:
也就是说,如果您的模型大小刚好比最接近的实例大小小一点,比如7.75GB,可能值得选择更大的实例以获得足够的空间来避免任何问题。
您只需要一个比模型稍大的实例。如果实例太小,您会遇到内存不足错误,但如果实例过大,您付出的钱更多却没有任何好处。
这两个关键决定将帮助您为大多数模型部署选择适当的实例类型。实例类型可能不够灵活。例如,您可能最终选择了一个vCPU数量比需要的多的实例大小,因为它是唯一一个有足够内存来加载您的模型权重的实例。但这没关系,重要的是选择可以满意地运行您的模型的最便宜的可用实例。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-03-30
2024-05-09
2024-07-07
2024-07-01
2024-07-23
2024-06-24
2024-06-08
2024-06-05
2024-06-21
2024-07-11
2024-11-12
2024-11-11
2024-10-29
2024-10-22
2024-10-18
2024-10-16
2024-10-15
2024-10-10