保险承保中人工智能应用部署方案及要求

一 概述

大型语言模型为保险行业带来了巨大的机遇，也带来了巨大的复杂性。保险公司可以使用人工智能来提高运营效率、提高承保决策的准确性、增强客户体验，并更有效地与合作伙伴协调。然而，在保险业这样一个受到严格监管的行业中，确保保单承保的客观性和适当程度的人工监督在法律和道德上都至关重要，而大规模管理人工智能需要管理和协调。

保险公司在计划如何部署人工智能方面面临越来越多的审查——这些审查将带来深远的法律和财务影响。例如，美国保险专员协会关于保险公司使用人工智能系统的公告指出，保险公司应采取治理框架和风险管理协议等做法，以确保人工智能系统的使用不会导致不公平的做法。

监管和执法机构将仔细研究保险公司如何使用 AI 做出影响消费者的决策或支持行动。通过与多家应对这些挑战的主要行业机构合作的丰富经验，我们制定了一套最佳实践，我们认为这些最佳实践对于使保险机构能够根据并预测最严格的法律、监管和道德考量在生产中部署 AI至关重要。在这篇以承保为例的核心保险业务应用的博客文章中，我们概述了这些最佳实践，并根据以下核心主题进行了组织：

1.可理解——AI 结果必须可解释且可理解。

2.集成——人工智能必须与现有的业务系统和流程深度集成。

3. 治理与安全——人工智能必须得到大规模的安全治理和控制。

需要引入人工智能的保险公司必须通过使其基于人工智能的流程可解释、可追溯和可审计来保护自己。现在掌握这些能力的人将把人工智能治理从监管负担转变为战略武器，从而获得决定性的竞争优势。

二 部署人工智能进行承保

承保中的人工智能可以帮助承保人做出更好、更快、更一致的决策。除了帮助降低运营成本外，它还可以帮助提高关键承保 KPI，例如报价与保单比率、毛/净保费、续保留存率，并最终影响损失率。它可以通过改进数据提取和研究（例如人权考虑）实现更好的风险选择和审查，促进与合作伙伴的顺畅沟通，提高决策速度，并支持承保人尽职调查。它可以增强与交易生命周期的集成，从初始报价到成交。

更具体地说，保险公司可以在承保中部署人工智能，涉及以下步骤：

数据提取：LLM 可用于通过检测非结构化数据、PDF、损失运行、经纪人电子邮件等中的相关字段，从提交附件中快速提取相关数据。

研究尽职调查：LLM可以作为研究助理，从内部或外部来源获取与承保决策相关的信息。这可以通过将提取的数据映射到内部历史数据（例如，此提交与现有保单持有人相关联）或通过研究任意数量的外部来源（例如，此申请保险的个人或公司最近涉及特定新闻报道）来实现。

异常警报：LLM 可用于自动检测和标记业务承保标准（定性或定量）的异常情况，从而为承保人生成警报。这还可用于对最符合企业想要承保的风险类型的提交进行分类或优先排序。

沟通：LLM 可根据先前生成的自动标志和人机干预的组合，向经纪人/代理人生成建议的响应，从而促进更快的沟通。

三 让人工智能结果易于理解

1.数据透明度和可追溯性

对于大规模使用人工智能的保险公司来说，清楚详细地了解其数据的使用和处理方式至关重要。这意味着能够在最精细的层面上追踪数据从其原始来源到各种人工智能系统和流程的旅程。为此，保险公司必须构建一个完整的、分支的数据谱系，显示数据如何从所有源系统和输入流出。这样的数据树使他们能够监控每个人工智能工具或流程的运行情况，确定对人工智能系统所做的任何更改的影响，并为审计和法规遵从提供完全透明度。此功能对于几类数据至关重要，包括：

• 外部经纪人转发的电子邮件提交
• 各类提交文件
• 客户人口统计
• 敏感财务信息
• 公开信息
• 历史客户和内部信息
• 对于任何单独的提示或代理，还应提供详细信息，包括：如何通过环境测试和推广提示或组件？
• 在任何给定时间，在哪个环境中运行哪些提示？

对于任何单独的可执行提示，组织应该能够识别：

• 正在运行的版本
• 用作输入的数据
• 用作输入的参数
• LLM 做出决策所采用的逻辑
• 执行期间遇到的任何 API 错误
• LLM在提取相关数据时出现的任何错误

这种全面的监控与评估深度结合，让组织对系统上运行的代理有充分的主人翁意识，深入了解性能，并帮助确定可能发生性能下降的位置。
此外，如果不能跨版本、分支和历史对数据进行彻底分析，组织就面临着在决策中引入偏见的高风险，其中可能包括：

• 历史数据偏差：
  历史数据可能包含并延续保险中的偏见决策。
• 属性混淆不足导致的偏见：
  虽然从训练数据集中删除受保护的属性（即种族、性别、人口统计）有助于减少偏见，但任何领域都可能在不知不觉中成为歧视行为的代理。由于无法先验地确定这一点，保险公司必须检查训练集或提示输入中的数据与受保护属性之间的相关性。这需要进行大规模的结构化和计划性统计分析，以明确测试此类相关性并确保公平性。

2.结构化实验和迭代改进

保险业向人工智能驱动解决方案的过渡需要采用结构化的试验方法：包括严格的规划和分阶段实施。任何人工智能承保系统通常都非常复杂，包括数百种不同的提示和许多代理。采用结构化的方法来测试和试验人工智能系统，保险公司可以有效地微调他们的工具，适应新的业务领域，并确保在进行变更时考虑所有重要因素。

广义上讲，结构化实验平台应包括以下步骤：

• 进行深入的数据分析：
  数据科学家应该对训练和评估数据的保真度进行前期、全面的分析。他们应该评估数据质量，仔细检查用于训练和评估模型的特征，并验证数据是否代表生产级分布。
• 数据采集和合规规划：
  组织必须提前规划以获得必要的批准（法律或其他），以便对给定的数据集进行训练。
• 设计迭代测试框架：
  设计一个允许大规模迭代测试的框架至关重要。手动操作提示所花费的时间可能会减慢创新和采用的速度。
• 提前定义成功标准：
  由于 KPI 和成功指标可能具有主观性，因此组织应尽早从其工作流程中定义可接受的绩效标准，并将指标编码为评估过程的一部分。他们可以使用现有的基准来帮助制定该标准，并清楚地了解如何使用它们来衡量 AI 性能。

3.可靠性设计

在将 LLM 集成到承保等关键业务流程时，组织必须确保准确性、一致性和可审计性。适当的 LLM 编排可以解决这些问题，使组织能够确保在缩放统计测试中的可重复性（例如，从 LLM 获得相同输入的相同输出）：

• 语义记录保存（用于审计和分析）：
  捕获 AI 输入、输出和关键中间步骤（例如检索、推理）至关重要，因为它们会映射到业务流程步骤和决策。这将创建一个可审计的决策记录，可用于人工审查应用程序，以及围绕确定性、可靠性等的分析验证。[2]
• 版本固定：
  组织应确保他们可以固定特定的 API 版本并将其用作单独的模型。这样做可以提高模型 API 版本使用的透明度，并支持升级过程（分支、单元测试、测试集等）。
• 默认温度为 0：
   LLM 的温度默认设置为 0，但开发人员可以将其覆盖。
• 增量计算：
  组织应该能够执行增量计算，并将中间结果具体化。开发人员可以配置提示中的小变化是否应该使现有的预计算无效，或者是否应该继续使用先前的输出。
• 自动更正：
  强大的对话模型可以在获得对话反馈时调整其输出。组织必须实施技术解决方案，允许自动提供多种形式的反馈——例如，格式错误的输出、产生幻觉的输出和无效的工具调用会导致发送自动更正消息。这样做会围绕任何 LLM 块创建一个控制系统，该系统仅在满足所需的退出条件时返回。它还可以提高固定输入以及所有输入实例的推理过程的输出一致性。
• 反思：
  给定 LLM 模块的输出可以由后续 LLM 模块进行后处理，该模块促使模型考虑一系列因素（例如任何失败的验证、相关的先前输入和输出以及来自人工反馈的学习和指导）并重新调整其输出。后处理可提高推理过程对固定输入和所有输入实例的输出一致性。此外，人工反馈可用于针对模型领域知识中的特定错误或差距，从而提高准确性和可靠性。
• 监控：
  某些不一致或问题在开发时可能从单元测试中不明显，但可能仅在批量分析模型输出时才会出现。组织必须基于确定性逻辑以及 LLM 建立监控管道，以发现潜在问题。
• K-LLM：
  不同模型在不同场景下表现出不同程度的一致性和可靠性。必须有一个与模型无关的技术设置，并使保险公司（自行决定）能够同时使用多个 LLM 来实现更高的可靠性。

四 确保人工智能的整合

1.外部系统集成

引入 LLM 的保险公司必须将其与现有业务系统集成，以确保其可审计、可管理且具有规模影响力。
承保通常涉及多个技术系统，包括电子邮件服务器（提交内容通常落入其中）、数据湖、交易策略系统、承保工作台系统以及开源和外部 API。为了提供有意义且准确的输出，任何 AI 平台都必须以灵活且可配置的方式与此类系统双向集成。

在输入端，这种集成需要一个可扩展的数据连接框架，该框架可以与所有类型的源系统（结构化、非结构化或半结构化）以及所有关键数据传输方法（例如批处理、微批处理或流式传输）建立连接。例如，为了进行承保分析，保险公司可能需要集成：

（1）来自经纪人的入站电子邮件，包括所有附件；

（2）历史保单和索赔信息；以及

（3）实时外部信息源。
在输出端，AI 所做的任何决策、交易或更新都必须写回到记录系统。例如，如果 AI 系统（1）从提交附件中提取信息；（2）根据承保标准生成警报；以及（3）为新提交分配优先级，那么为了在操作上有用，它必须立即将此类信息写回到多个系统。具体而言，当 LLM 采取行动时，应记录对数据、属性值或链接所做的任何更改，以便可以反映在所有用户应用程序中。

2.扩展编排

组织通常首先在特定业务子线内实施 AI 承保系统作为概念验证，然后制定在整个企业范围内扩展 LLM 的路线图。在此过程中，他们必须确保编排层本身允许可扩展性，具体方式如下：

• 可扩展计算：
  保险公司的承保系统会在收到提交时做出响应。在特定的续保周期或季节，提交率可能会迅速增加或减少，系统必须自动调整计算资源。这样做通常需要一个独立、可部署且可扩展的微服务架构，并能够管理容器化应用程序。该架构允许根据需求对特定组件的扩展进行动态和细粒度的控制。
• 超时和速率限制：
  技术系统还应支持限制请求总数的速率。同样，组织应强制执行令牌限制，以确保每次单独调用都低于设定的阈值。应强制执行超时，以确保 LLM 的单个请求不会无限期重复。组织还应实施细粒度的限制，以限制通过资源利用带来的威胁。
• 代理工具使用的资源管理：
  系统应允许在代理和调用用户/组级别对由 LLM 驱动的代理生成的非 LLM 计算进行资源管理，以实现整体系统可扩展性。系统应允许开发人员用户在进行 LLM 调用之前验证和/或清理输入，并对输出（例如结构字段）强制执行断言。这种方法还可以防止意外的工具使用和旨在生成昂贵工具调用的恶意输入。

3.人工干预要求

尽管许多人认为人工智能能够或很快能够在运营工作流程中取代人类——许多人工智能产品也以此为卖点——但我们认为人类的判断力仍然至关重要。从质量和合规的角度来看，保险公司不能仅仅依靠人工智能来决定是否承保保险单或是否批准或拒绝索赔。我们在保险行业的工作利用人工智能来增强而不是取代人类分析：简化、自动化和提高提取、处理和提取多模态数据等任务的质量，从而使人类能够做出更好的决策。试图消除对人类推理需求的
人工智能从根本上说，人类对于审计和评估生产绩效至关重要。在生产级工作流程中，人类参与编辑 LLM 摘录，从而可以捕获可重新引入实验过程的真实评估数据，并作为 LLM 性能的指标。这种人工干预是评估生产性能的有力代理，确保 AI 系统继续有效运行并符合合规性要求。具体来说，在承保过程中：

• 责任：
  人工智能不能在法律上或道德上对承保决策负责，只有人类才能负责。
• 关系：
  保险从根本上来说是一个建立在信任基础上的行业。与经纪人、代理商和客户建立人际关系和信任仍然是保险业务的命脉。
• 决策复杂：
  承保决策复杂且内容繁多。只有人类才能在考虑各种因素的情况下做出最终判断。

4.CI/CD 原则的应用

保险 IT 要求通常很严格，无法适应快速发展的创新。结构化程度较低的工作流程（例如 AI 增强）必须满足这些 IT 需求。因此，在构建和部署 AI 用例时，保险领导者应该期望遵循类似的持续集成/持续部署 (CI/CD) 工作流程，例如在传统的软件推广路径中。在引入 LLM 的背景下，遵循 CI/CD 需要对 LLM 驱动的工作流程提供分支支持。就像代码一样，LLM 提示应该在各个环境中推广，从功能分支到暂存再到生产。团队必须测试提示的任何迭代，以确保分支、环境和/或版本之间的性能没有下降。为了减少在 CI/CD 工作流程的技术开发上花费的时间，并投入更多时间来识别 AI 价值主张，保险公司应该选择一个支持原生和细粒度 CI/CD 的平台。

作为发布周期的一部分，传统保险公司的 IT 部门将需要进行代码发布中常见的集成和功能测试。他们需要了解人工智能的不确定性（即 LLM 可以对同一输入做出不同的响应），并在生产测试策略中考虑这一现象。

有几种机制可以降低小的提示或逻辑变化造成重大意外后果的风险：

• 提示版本控制和分支：
  提示应该进行版本控制，并且应用程序（包括与承保或索赔系统等前端系统的连接）应该能够固定、升级和回滚选定的提示版本（带有分支支持）。
• 工具逻辑版本控制和分支：
  对提示工程、工具、外部功能和逻辑流的更改应该完全具有分支意识，这意味着可以根据历史数据测试更改，以了解新旧行为之间的一致性（和不必要的退化）。
• 单元测试：
  应根据提示逻辑进行配置并在发布前运行，以检查评估集中常见测试用例的行为是否发生变化。
• 增量计算和缓存：
  除非需要，否则以后的更改不需要触发对之前运行的输出进行重新计算。还可以在分支上针对历史数据（如上所述）测试重新运行，以告知此决策。

5.LLM 安全性：及时注入

保险公司在实施人工智能时必须考虑几个安全问题。在平台层面解决以下每个问题对于保护保险公司的总体安全态势至关重要。

门控提示注入源：

• 对于利用结构化记录和人工反馈的基于 RAG 的架构，数据应通过核心语义层进行严格管理，并接受严格的写入权限和数据健康检查。支持此核心语义层的管道应通过结构化流程进行配置和管理。
• LLM 工作流中可用的工具应具有权限可配置性，并且工具本身在低信任度执行沙箱中运行，具有严格控制的网络访问和对可用外部包的额外控制。总的来说，这些步骤减少了恶意工具代码生成即时注入攻击的表面积。

减少注入范围：

• 人工智能驱动流程中的每个模块化步骤都必须尽量减少数据和工具访问的范围；随着流程的继续，范围和访问权限应该缩小。
• 例如，数据提取步骤可以访问原始文档（但不能使用其他工具），但必须生成有效的提取字段；后续计算步骤或操作步骤可以访问模型和操作，但不能查询原始输入数据。这些方法可以防止任何推理阶段出现原始数据或数据与工具的无意组合可能直接影响决策的情况。
• 中间输出创建了有意的信息瓶颈，以防止原始/不受信任的数据在步骤之间传播，也是自动验证的自然连接点。

减轻及时注入的后果：

• 模块化（加上工具范围和模式安全性）减少了采取恶意行动的步骤数——即使恶意数据成功注入上下文窗口。
• 在严格控制的环境中执行工具会限制利用的表面积。
• 使用权限定义的用户令牌为哪些工具和操作以及由哪些用户执行提供了额外的门户。
• 人工审核和批准应成为一项原生功能。组织应设置具体的批准门槛，并应实施强制性的输入和输出验证。
• 应允许自动化操作在数据模型的分叉（或“分支”）上运行。这样做可以实现模块化、事件驱动的 AI 系统设计，该系统可以安全地端到端运行并加速工作流程，而无需每一步都进行人工输入。最终的一组操作或决策可以由人决定。

监控和警报：

• 全面的审计日志记录可实现安全、审计和合规性工作流。日志可用于检测即时注入指标或调查潜在问题。
• 并行运行的警报管道可以在提示指令中显示意外或不必要的数据，以便立即采取行动或执行失败。

6.LLM 安全：数据泄漏和访问控制

严格的访问控制必须是任何 AI 解决方案的首要功能。应使用强大的基于角色的访问控制系统来控制 LLM。技术解决方案应通过以下关键功能减轻数据泄露的风险。

对 LLM 输入的即时门控：

• LLM 的输入应通过编排服务使用结构化（或半结构化）数据记录以编程方式生成。这可以从技术上实现以用户为中心的权限，例如确保 LLM 只能访问和返回用户已经有权访问的数据。
• 例如，如果 LLM 配备了检索增强生成 (RAG) 工具，则编排服务可以强制返回给 LLM 的唯一相似性搜索结果是调用用户可以访问的结果。

约束和清理 LLM 生成的输出：

• 应根据需要使用细粒度的权限，根据 LLM 生成的输出（例如摘要）的输入设置派生控制。
• 应尽可能强制执行基于结构的返回，以确保基于 LLM 的工具的输出仅包含预期参数及其相应的预期类型。这样做有两个主要好处：
   (1) 最小化：这种方法有助于防止通过过多或不相关的叙述输出泄露敏感的中间结果数据；
   (2) 引用：这种方法有助于更轻松地传递引用等辅助信息，然后可以自动与企业数据存储进行交叉引用，以确定应将哪些访问控制应用于输出。
• 系统应根据特定于实例的风险对输出内容进行额外验证。有效的技术包括 LLM 反射、LLM 驱动的验证（或“LLM-as-Judge”）和正则表达式检查。
• 在风险极高的情况下，系统应该对输出进行分类以供人工审查。

防止敏感数据被训练（或微调）到 LLM 中：

• 一般来说，RAG 和工具使用等方法比涉及模型微调、模型提炼或其他训练的方法具有更精细的可管理性。
• 在训练或调整模型时，通常应在输入训练数据中以最高敏感度处理它们，除非进行广泛的验证和防护。因此，组织应完全控制训练、嵌入和访问控制。 实施强门控（例如强制标记）可确保敏感数据集在技术上被禁止用于 LLM 请求或更普遍的 AI 模型中。
• 上下文反馈循环提供了更高的可治理性和更快的学习速度。在这种方法中，最终用户的学习被捕获为数据（具有细粒度的权限），根据需要以编程方式或手动进行整理和清理，并通过提示模板、少量示例、基于 RAG 的反馈反馈给 AI。策展步骤支持对学习进行治理和版本控制，而编排服务可以对这些学习实施记录级权限。

7.LLM 安全：预防权限提升和远程代码执行

任何 AI 系统都特别容易受到 XSS、CSRF、SSRF、权限提升和远程代码执行的攻击，如果插件或后端函数接受未经审查的 LLM 输出，则可能会发生这种情况。防止这些漏洞需要针对各种安全漏洞进行保护，包括未经身份验证的访问；用户执行与其授权角色不符的操作；未经授权的用户会话拦截；未经授权的数据拦截或插入；注入、XSS（跨站点脚本）；以及其他安全漏洞。建议的保护措施包括（但不限于）以下内容：

• 基于角色的访问控制：
  实施细粒度的基于角色的访问控制框架，为每个用户分配一份允许执行特定平台资源的操作列表（例如，读取、写入或更改特定数据的权限）。通过限制系统内权限的潜在升级，并在检测到任何升级时做出响应，可以防止用户采取超出其授权角色的行动。
• IP 白名单：
  通过网关主机引导所有流量，网关主机通过 IP 白名单扫描并限制访问。流量应仅基于白名单（入口和出口）允许，必须经过 NIDS 传感器，并且必须遵守信息安全团队规定的适当网络安全控制。允许连接到系统后，应在登录阶段以及在访问平台资源的所有请求时接受用户身份验证和授权。
• 生存期：
  对会话和登录令牌施加生存期，以防止会话拦截。令牌过期后，用户需要重新登录。

五 小结

人工智能可以从根本上改变保险行业。如果保险公司急于实施不可审计或不安全的人工智能，那么他们将面临法律和商业风险，而且提供的也只不过是一个聊天机器人。然而，那些采用能够实施本文概述的治理、安全、编排和可靠性框架的系统的公司将保护自己免受这些风险，同时获得显著的竞争优势。