AI大模型时代的到来，让很多企业都感受到了技术发展的魅力，但由于当前大环境，越来越多的企业对于IT的投入会更加谨慎，而根据过往经验，企业落地AI大模型确实会遇到一些问题，本文主要从大模型的建设路径与2个实际案例进行分析。

分享嘉宾｜李喆 爱分析合伙人兼首席分析师

内容已做精简，如需获取专家完整版视频实录和课件，请扫码领取。

1、当前很多应用场景多处于 POC 验证阶段，因为其实际效果和最终收益的不确定性，所以成功落地案例尤为重要且备受关注。

建设路径的首要问题是模型本身落地问题，到底需不需要去做模型的训练和微调？

现在两种主要的落地方式，第一种是直接调用通用大模型能力，在上面加些提示词、思维链、外挂知识图谱、内部知识库，用 RAG 的方式实现。

应用层分成两类，1、直接嵌入传统 SaaS 应用或软件中，做个机器人实现，2、应用给到服务团队，比如内容生成、素材生成是非常大的应用场景，面向于营销端，靠服务团队解决，用Agent工具可以降低服务团队的成本，提升效率。用该方式解决幻觉，或者说最后一公里的兜底问题。

第二种落地方式是直接做微调训练或全参数预训练。有些企业选择精调，灌输行业或企业自己的数据集，给到技术大模型，精调后形成行业大模型或垂直大模型，基于之上提供服务，这两种是现在较常见的落地方式。

现阶段更建议选择直接调用大模型，这里有几点原因。第一，整个基础模型的迭代速度非常快，开源模型的能力在持续提升。对于很多场景，基于基础大模型做精调不够经济，花了很多成本和精力后，由于基础模型能力的提升，反而不需要太多精调，从模型本身的迭代速度来看，直接调用的效果与性价比更好。

第二，进行精调或微调的过程中，模型的泛化能力在下降。精调只是把模型在单点任务或特定任务场景能力做提升，但在其他场景的任务能力在下降，这意味着在场景探索和尝试阶段，做精调反而会损失很多能力，探索的可能性效果相对不佳。除非任务场景相对明确，这时通过大模型解决的问题才能够被定义得很清楚，而且一定时间内确定性不会转变，做精调才有价值。

对于大部分企业用户来说，目前处于基于基础模型的迭代和场景探索阶段，我们建议直接调用模型，也就是从模型本身的接入。

因为大模型擅长处理非结构化数据，客户落地项目经理为了进行交流和沟通，一类通过大量邮件交互，另一类是通过钉钉、飞书群工具。只需要助理快速处理邮件和钉钉群中的信息。一方面自动化将更关注的信息形成项目管理系统需填写的表单和文件，降低重复性劳动。另一方面，其中包含大量信息，信息的查找并不容易，可通过项目助理的交互，定期了解文档、项目的进度与风险点等信息。

基于企业用户的过往经验发现，知识库积累不够的原因有二：

第一点，知识库维护成本高，知识库的知识采集和处理过程，工作量较大，过往无论是用 NLP 或是知识图谱的搭建，有大量规则需要人为衡量，这个难度较大，这是大语言模型擅长的点。

第二，知识库消费场景少。知识库建设好后，如何进行消费，图谱如何投入使用，该场景过往并不清晰，原因在于新员工对于企业内部的很多信息并不清楚，需要查知识库，但对于工龄较久的人来说，知识库里的他更清楚，很少会用到知识库，所以知识库的消费场景过往使不具备的。