在企业级应用场景中，大模型的落地是一个系统性问题或者说是工程，同时涉及到业务，资源(包括人力，资金，技术等)，现有的技术架构等多个领域，而非是单一的大模型本身的问题。

而太多的人太过关注于技术和模型本身，而这样的结果就是一叶障目，不见泰山。

思考一下，如果让你负责大模型技术的引入，并做一份详细的方案，你应该怎么做？

下面就来讨论一下大模型在企业级应用场景中的问题。

01

—

企业引入大模型的前提是其能够对业务进行赋能，能够提升当前业务的效能，或者开辟新的业务线。

如果抛开这个前提，那么引入大模型是否是一个好的选择就是一个需要思考的问题。

为什么说企业引入大模型是一个系统性的问题，因为它涉及到多个方面，需要有一套完整的企业级解决方案，而不是一时的心血来潮。

企业引入大模型需要考虑哪些问题？

企业引入大模型主要需要从两个方面考虑，一是业务侧；二是技术侧。但同时还要结合公司技术实力，资金，人力，运营成本等多个方面进行考虑。

业务侧

任何技术都是为业务服务的，因此如果一项技术对业务没有帮助，那么技术的存在就没有任何意义。

所以，企业引入大模型之前，首先要考虑大模型是否能解决业务问题；其次就是，怎么把技术和业务相结合。

技术侧

技术侧需要考虑的问题就比较多了；主要包括以下几个方面，模型的选择与评估，训练数据的准备，模型训练和微调，知识库的搭建，模型优化与部署，模型的使用等。

模型引入方案

首先关于模型的评估与选择，怎么选择一个模型，选择哪个模型？模型的评估标准是什么？

模型的选择不只是一个纯粹的技术问题，它是业务和技术的结合；选择模型首先考虑的是满足业务需求，其次需要考虑的是选择商业模型还是开源模型。

在企业应用中，商业模型的优势是技术门槛低，但在一些垂直领域的应用中，表现可能不尽人意。

开源模型的优势是，可以完全定制化，可以根据业务需要使用自身的业务数据进行训练和微调；缺点是技术难度较高，维护成本高。

因此，在一些比较垂直的领域内，使用开源模型比较好；而在一些比较普通和边缘化的业务，使用第三方商业模型比较好。

当然，某些第三方的商业模型也提供了训练和微调的接口，用户可以根据自己的需求在其模型之上进行重新训练或微调。

但如果对数据安全有要求，那么还是使用开源模型本地部署比较好。

其次关于模型的评估，自从人工智能产生以来，模型评估就是一个有争议的话题；因为随着技术的发展，人工智能也有了很大的变化，从机器学习到深度学习，以及现在的生成式人工智能。

不同的技术阶段对应着不同的任务类型，比如在机器学习和深度学习阶段，人工智能技术的主要领域是分类任务和预测任务(回归模型)；这种基于监督学习的机器模型有一个明确的标准。

比如，一个分类的机器学习模型，是否能识别猫和狗，这是一个很明确的结果。

但在生成式AI时代，模型生成的文字，图片是一个没有标准的结果；你可以说它好，我也可以说它不好。

因此，根据这些就提出了几个评估标准：

在分类模型中，主要有准确率，召回率等；在文本生成领域，主要有BLEU和METEOR指标；图像生成领域又有Perceptual Loss，Frechet Inception Distance等方法。

市场上的评估工具：SuperCLUE，Ragas，MMLU，Open LLM Leaderboard，C-Eval等

在垂直领域内，模型的训练数据是必不可少的；而模型的训练和微调又需要大量的GPU和能源需求；目前一款合格的企业级模型，训练一次的成本少说也要大几十万。

最重要的是，模型的训练一次很难获得好的结果，可能需要多次的训练，甚至到最终都无法训练出一款合格的大模型。

个人开发的一款聊天机器人，感兴趣的可以点击查看：

而模型的优化和部署问题，不能像个人使用那样，随便找一台服务器即可；而是要通过使用并行计算框架，使用分布式部署的方式，使得大模型能够支撑高并发和高可用。

根据不同的并行方式，又会有不同的实现方式和框架。

比如，Data Parallel, ZeRO，DeepSpeed等

最后，由于大模型天生的知识滞后性；因此，本地知识库的搭建是必不可少的一个过程。而怎么用本地知识库解决大模型的幻觉问题，也是一个值得思考的问题。

由此可见，一套企业级的大模型应用方案，需要考虑很多问题；不只是技术上的，还有非技术上的。

怎么选择，训练和微调一个大模型不难，难的是怎么训练出一个合格的，可以应用于企业服务的大模型才难。