生成式人工智能GenAI实现扩展需要CIO们将注意力转向更少的事情，但更好地处理它们。

通用生成式人工智能（GenAI）的蜜月期已经过去。正如大多数组织所了解的那样，建立了卓越的 GenAI试点相对容易，但将其转化为规模化能力就是另一回事了。根据我们最新的技术趋势研究，仅有11％的公司在规模上采用了 GenAI，这解释了为什么难以实现这一飞跃。

这一成熟阶段的到来是一个受欢迎的发展，因为它为CIO们提供了机会将 GenAI的承诺转化为商业价值。然而，尽管大多数CIO们知道试点并不能反映现实情景（毕竟试点的目的并不是这个），但他们经常低估了使GenAI 准备好进行生产所需的工作量。最终，充分发挥 GenAI 的价值需要企业重构工作方式，并确立可扩展的技术基础是其中关键的一部分。

我们在之前的文章中探讨了许多关于初始技术问题。在本文中，我们想要探索与开展“塑造者”方法进行生成式人工智能规模化相关的七个真理。在这种方法中，公司通过将大型语言模型(LLMs)与内部应用程序和数据源相连接，开发出竞争优势（请参阅附注 “使用GenAI的三种方法” 以了解更多信息）。以下是塑造者需要了解和做到的七件事情：

• 消除噪音，专注信号。诚实地总结可行的试点方案。减少实验。将您的努力集中在解决重要的业务问题上。

• 关注组件如何协同，而不仅仅是组件本身。花费太多时间来评估生成式人工智能引擎的各个组件是不划算的。更重要的是弄清楚它们如何安全地协同工作。

• 在陷入困境之前掌握成本。模型仅占生成式人工智能应用的总成本约15%。了解成本隐藏的地方，并应用合适的工具和能力来控制它们。

• 驯服工具和技术的泛滥。基础架构、LLMs和工具的泛滥使得规模化推出变得不可行。将范围缩小到最能为业务服务的能力，并利用可用的云服务（同时保留灵活性）。

• 构建能够创造价值而不仅仅是模型的团队。要实现规模化，需要一个拥有广泛技能的团队，不仅要构建模型，还要确保它们能够安全、可靠地生成预期的价值。

• 选择正确的数据，而非完美的数据。针对哪些数据最重要，并且随时间投资于它们的管理，对于您能够快速扩展有很大影响。

• 重复使用或丧失。可重复使用的代码可以将生成式人工智能应用案例的开发速度提高30至50%。

1. 消除噪音，关注信号

尽管许多商业领导人承认需要超越试点和实验，但这并不总是反映在实际情况中。即使随着GenAI的采用增加，对其真正底线影响的例子仍然很少。在我们最新的AI调查中，仅有15%的公司表示他们看到了GenAI对公司EBIT产生了有意义的影响。

加剧这个问题的是，领导者们从他们的实验中得出了误导性的教训。他们试图将本质上是聊天接口试点项目变为应用程序——典型的“寻找解决方案的技术”陷阱。或者说试点项目可能被认为是“成功的”，但它并没有应用到业务的重要部分。

失败扩展的原因有很多，但首要原因是资源和高管的关注力分散在数十个正在进行的GenAI项目中。这并不是一种新发展。当其他技术出现，从云计算到高级分析，我们也看到了类似的模式。然而，从这些创新中得出的教训却没有被坚守住。

首席信息官(CIO)需要做出的最重要决策是淘汰表现不佳的试点项目，并扩大那些既在技术上可行，又有望解决业务的关键领域并最大限度地降低风险的项目（参见图1）。CIO需要与业务部门领导密切合作，确定优先事项，并处理他们所做选择的技术问题。

图1

2. 重要的是如何将所有的部分组合在一起，而不是部分本身

在许多讨论中，我们听到技术领导者在关于提供生成式人工智能解决方案所需要的组件的决策方面纠缠不清——如LLM（大型语言模型）、API等等。然而，我们正在学习的是，解决这些个别部分相对容易，但将它们整合起来却绝非易事。这给生成式人工智能的规模化应用带来了巨大的障碍。

挑战在于在规模上协调各种互动和集成。通常，每个用例需要访问多个模型、向量数据库、提示库和应用程序（展览2中所示）。公司必须管理多种来源（例如云中的应用程序或数据库、内部部署、供应商环境或其组合）、逼真程度（包括延迟和可靠性）以及现有的协议（例如访问权限）。当添加新的组件以提供解决方案时，它会对系统中的所有其他组件产生连锁反应，给整体解决方案增加指数级复杂性。

图2

关键是将组织的领域和工作流专业知识嵌入到应用程序的云基础上，有效地对模型、数据和系统交互的逐步流程和顺序进行管理。有效的编排引擎的核心组件是API网关，它对用户进行身份验证，确保合规性，记录请求和响应对（例如，帮助为使用情况计费的团队），并将请求路由到最佳模型，包括第三方提供的模型。该网关还可实现成本跟踪，并为风险和合规团队提供一种可扩展的使用监控方式。由于该网关能使团队独立运作同时确保遵循最佳实践（详见“生成式人工智能模型编排的主要组件”），这种网关能力对于扩展至关重要。

然而，要实现GenAI能功能所需的多种交互的编排，没有高效的端到端自动化是不可能的。这里的关键词是“端到端”。公司通常会自动化工作流的某些元素，但只有通过自动化整个解决方案（从数据处理（清洗和集成）和数据管道构建到模型监控和风险评估，再到“策略即代码”），才能获得价值。我们最新的研究表明，与同行相比，GenAI高绩效者在每个模型的发布过程中嵌入了测试和验证的概率要多出三倍以上。根据麦肯锡的分析，现代化的MLOps平台在帮助管理这种自动化流程中至关重要，可以实现十倍的生产加速，并更高效地利用云资源。

由于GenAI模型的概率性质或底层模型的频繁变化，其产生的结果可能不一致。模型版本可能每周更新一次，这意味着公司无法承担建立编排能力然后让其在后台运行。他们需要开发具有超敏感观察和分辨能力，以快速和安全地实施GenAI。可观测性工具实时监控GenAI应用程序与用户的交互，跟踪响应时间、准确性和用户满意度得分等指标。如果应用程序开始生成不准确或不适当的响应，该工具会向开发团队发出警报，以便调查并对模型参数、提示模板或编排流程进行任何必要的调整。

3. 在它们将你淹没之前掌控好成本

简单来说，生成式人工智能（GenAI）数据使用和模型交互的规模意味着成本可能会迅速失控。管理这些成本将对首席信息官（CIOs）能否在大规模上管理通用人工智能项目产生巨大影响。但是，了解成本的驱动因素对于生成式人工智能项目至关重要。举例来说，模型本身只占典型项目工作量的约15％。随着时间的推移，大语言模型（LLM）的成本已经显著下降并将继续下降。

首席信息官（CIOs）应将精力集中在以下四个现实方面：

• 变革管理是最大的成本。根据我们的经验，管理GenAI成本的一个好的经验法则是，在开发一个模型上花费1美元时，您需要花费大约3美元用于变革管理（作为对比，对于数字解决方案，这个比例往往更接近于1美元用于开发和1美元用于变革管理6）。在管理一系列变革行动方面保持纪律，从培训员工到角色建模，再到积极追踪绩效，这对GenAI至关重要。我们的分析结果表明，与其他人相比，高绩效者成功的可能性几乎是其他人的三倍，其中强大的绩效管理基础设施（例如关键绩效指标）用于测量和跟踪GenAI的价值。他们成功的可能性还增加了两倍，即妥善培训非技术人员，使他们足够了解在工作中使用GenAI的潜在价值和风险。

• 公司成功处理变革管理成本的关键在于将终端用户从一开始就纳入解决方案的开发中（往往，公司很容易只是为生成式人工智能应用创建一个聊天界面），以及将最优秀的员工纳入模型的训练，以确保模型学习正确和快速。

• 对GenAI应用而言，运营成本大于构建成本。我们的分析显示，运行模型的成本远高于构建模型的成本。基础模型使用和劳动力是成本的主要驱动因素。大多数劳动力成本用于模型和数据流的维护。在欧洲，我们发现风险和合规管理也会产生显著的成本。

    降低模型成本是一个持续进行的过程。例如，与如何构建GenAI架构相关的决策可能导致10到20倍甚至更高的成本差异。有各种减少成本的工具和能力可供选择，例如预加载嵌入。这不是一次性的练习。优化成本的过程需要时间，并且需要使用多种工具，但是如果做得好，可以将查询的成本从一美元降低到不到一美分（图3）。

图3

• 投资应与投资回报率相关联。并非所有的GenAI交互都需要被看作相同，因此它们也不应该有相同的成本。例如，对来自客户的实时问题进行响应的GenAI工具对于客户体验至关重要，并且需要低延迟率，这会更加昂贵。但代码文档工具不需要如此高度的响应性，所以可以以更低的成本运行。云在推动投资回报率方面起着关键性作用，因为其主要价值在于支持业务增长，特别是支持扩展的分析解决方案。本文的目标是发展一种建模纪律，以在每个GenAI用例中注重投资回报率，而不会在无休止的分析循环中迷失方向。

4. 驯服工具和技术的泛滥

许多团队仍在推动他们自己的用例，往往建立了自己的环境，导致公司必须支持多个基础设施、LLMs、工具和扩展方法。事实上，在最近的麦肯锡调查中，受访者将“太多平台”列为实施大规模泛人工智能的头号技术障碍。基础设施和工具越多，操作的复杂性和成本就越高，进而导致规模化推广变得不可行。这一局面类似于云计算和软件即服务（SaaS）初期的情况，当时访问技术非常容易（通常只需要一张信用卡），导致工具泛滥造成了混乱和风险。

要实现规模化，公司需要一套可管理的工具和基础设施。说得没错，但是你如何知道应该选择哪些提供商、主机、工具和模型呢？关键是不要浪费时间在无关重要的决策上进行无休止的分析（例如，选择LLMs的选择变得不那么关键，因为它们日益成为大宗商品）或者在第一次选择时没有多少选择的地方，例如：如果你有一个主要的云服务提供商（CSP）拥有大部分你的数据，你的人才知道如何与该CSP合作，你应该选择该CSP的泛人工智能服务。事实上，主要的CSP正在推出新的泛人工智能服务，可以帮助公司改善某些用例的经济效益，并开放访问新的用例。公司能否充分利用这些服务取决于很多变量，包括他们自己的云成熟度和他们云基础设施的强度。

需要仔细思考的是如何构建基础设施和应用程序，使您能够相对容易地切换提供商或模型。考虑采用提供商广泛使用的标准（例如用于部署泛人工智能模型的无服务器解决方案KFServing），用于基础设施即代码的Terraform，以及开源LLMs。

值得强调的是，为了灵活性而过度设计最终会产生递减的回报。众多解决方案的维护成本很高，使得难以充分利用服务提供商提供的服务。

5. 创建能够创造价值而不仅仅是模型的团队

公司面临的最大问题之一是他们仍然将GenAI视为一个技术项目，而不是广泛的业务重点。然而，过去的技术努力表明，创造价值从来都不仅仅是技术问题。要使通用AI产生真正的影响，公司必须构建能够将其从IT功能中脱离出来并嵌入到业务中的团队。过去的经验在这里也适用。例如，敏捷实践加速了技术开发。但是，只有当组织的其他部门（如风险和业务专家）与产品管理和领导团队一起被纳入团队时，才会产生更大的影响力。

确保实现这种更广泛的组织整合有多种原型。一些公司建立了卓越中心，作为一个集散地，用于优先考虑使用案例、分配资源和监控绩效。其他公司在团队中分工战略和战术职责。对于任何给定的企业来说，哪种原型是合理的将取决于其可用人才和当地的实际情况。但是，至关重要的是，这一中心化的功能要实现技术、业务和风险负责人之间的密切协作，并且在遵循成功项目驱动的经过验证的协议时要保持纪律。这些协议可能包括每季度的业务审查，以跟踪项目的具体目标和关键结果（OKR），并进行干预以解决问题、重新分配资源或关闭绩效不佳的项目。

这一管理结构的关键角色是确保有效的风险处理协议得到实施和遵循。例如，构建团队需要对每个使用案例的潜在风险进行评估；技术和"人在回路中"的协议需要在使用案例的整个生命周期中得到执行。这一监管机构还需要有权限管理GenAI风险，评估风险敞口并实施减轻策略。

要防范的一个问题是简单地管理大量战术使用案例的流程。这个中央组织需要在案例中聚集相关的使用案例，以确保产生大规模的影响并推动重大的想法。这个团队需要充当价值的守护者，而不仅仅是工作的管理者。

一家金融服务公司为高级管理层建立了明确定义的治理协议。由首席信息官和首席战略官冠名的指导小组专注于企业治理、战略和沟通，推动使用案例的识别和批准。由首席技术官冠名的推动小组专注于数据架构、数据科学、数据工程和构建核心能力。首席技术官还要求至少有一名经验丰富的架构师在使用案例团队的早期阶段加入，以确保团队使用已经确立的标准和工具集。这种监督和治理的明确性对帮助该企业从管理仅有五个使用案例到拥有50多个使用案例的流程至关重要。

6. 寻找正确的数据，而不是完美的数据

很多人普遍误解对于生成式人工智能（GenAI）来说，它可以轻松收集所需数据并加以理解。然而，要想实现高性能的通用人工智能解决方案，就需要清洁准确的数据，这需要真正的工作和专注。那些在数据基础上投资以生成良好数据的公司都会认真地进行努力。

以标注过程为例，常常在追求完美数据和完全忽视之间徘徊。我们发现，投资于有针对性的标注，特别是针对检索增强生成（RAG）所使用的数据，可以对通用人工智能问题的答案质量产生显著影响。同样，投入时间对内容来源进行评估（"权威加权"），有助于模型理解不同来源的相对价值。要做到这一点，就需要拥有相关专业知识的人员进行重要的人工监督。

由于GenAI模型如此不稳定，公司需要随着新数据的添加对其平台进行维护，而这种情况经常发生并且会影响模型的表现。这在大多数公司变得更加困难，因为相关数据存储在不同的地方。那些已经投资于创建数据产品的公司将占据先机，因为他们拥有一个良好组织的数据源供以后的模型训练。

例如，在一家材料科学产品公司，不同的团队都能够访问产品信息，但每个团队都有一个不同的版本。研发团队拥有材料安全说明书，应用工程团队（技术销售/支持团队）制定了自己的版本，以解决独特的客户需求，商品化团队拥有产品描述，而客户支持团队则有一套特定的产品细节来回答问题。每个团队更新产品信息的版本后，冲突就出现了，导致GenAI模型难以使用这些数据。为了解决这个问题，该公司将所有相关的产品信息整理到一个地方。

7. 再利用它，否则就丢掉

可重复使用的代码可以提高生成型人工智能用例的开发速度30至50％。然而，在急于取得有意义突破的过程中，团队通常只专注于个别用例，这使得扩展性变得不可能。首席信息官需要将企业的精力转向构建能够适用于多个用例的跨领域解决方案。实际上，我们发现，优秀的生成型人工智能表现者比同行更有可能构建出有策略的gen AI基础设施，以实现解决方案间的重复使用。

然而，在致力于重复使用时，很容易陷入构建抽象的gen AI功能，而这些功能实际上并不被使用，尽管从技术上说是很容易的。构建可重用资产的更有效方法是对一组用例进行有纪律的审查，通常为三至五个用例，以确定它们的共同需求或功能。然后，团队可以将这些共同元素构建为资产或模块，以便轻松重复使用或串联起来创建新的能力。例如，数据预处理和摄取可能包括数据分块机制、结构化数据和元数据加载器以及数据转换器作为独立模块。一家欧洲银行审查了它的哪些能力可以在各种情况下使用，并投资于开发合成器模块、翻译器模块和情感分析模块。

首席信息官不能期望这一切自然而然地发生。他们需要指派一个角色，比如平台所有者，并组建一个跨职能团队，负责开发产品团队可以重复使用的资产（见附图4），其中可以包括经批准的工具、代码和框架。

图 4

生成AI所能产生的价值是具有变革性的。但只有当企业大规模利用生成AI时，才能充分捕捉到这种价值的全部。这需要CIO不仅承认现实的严酷，还要准备行动起来，引领企业向前发展。