❝

前情回顾

英国科学、创新和技术部（以下简称“DSIT”）于2024年2月12日发布《人工智能保障机制（Introduction to AI Assurance）》为不太了解人工智能治理的读者提供了一个人工智能保障机制的介绍，解释关键概念和术语。AI保障是实现英国政府在《促进创新的人工智能监管路径》白皮书中提出的五项跨部门基本原则实施的重要保障。该指南进一步提出了目前实践中人工智能保障机制的落实形式以及企业在当前立法正在推进过程中如何落实人工智能治理的路径建议。具体参见本公众号《解析英国人工智能保障机制》

2024年11月6日，英国政府推出了一个AI保障平台，旨在为企业提供一站式的AI保障服务。该平台汇集了现有的保障工具、服务、框架和实践,包括之前由科学、创新和技术部(DSIT)创建的AI保障介绍和AI保障技术组合指南。本周将集中分析AI保障平台。

本周从AI管理必备工具（AIME）开始，AIME(AI Management Essentials)是一个AI管理基础自评工具,旨在为组织提供实施负责任AI管理实践的简单、免费的起点。

2024 年 11 月 6 日，科学、创新和技术部 （DSIT） 发起了一项咨询，就其新的 AI Management Essentials （AIME） 工具的设计、内容和使用征求意见。DSIT 解释说，AIME 是一种自我评估工具，旨在帮助组织评估和实施负责任的人工智能 （AI） 管理系统和流程.利益相关者可以在 2025 年 1 月 29 日之前通过在线调查提交评论。

使用AI管理必备工具的指南

AIME的介绍

AIME是DSIT设计的一个自我评估工具，旨在帮助企业建立AI系统的稳健管理实践。该工具不是用来评估AI产品或服务本身，而是用来评估组织内部流程，以确保这些产品能够负责任地开发和使用。

AIME的受众

AIME适用于任何开发、提供或使用AI系统服务的组织，不论其规模大小。尽管如此，AIME主要针对中小型企业（SMEs）和初创企业，这些企业在导航AI管理标准和框架时可能面临障碍。对于较大的组织，AIME可以用于评估特定业务部门、运营部门或子公司的AI管理系统。

DSIT为什么要开发AIME

DSIT开发AIME的主要目的是为了提供一个清晰的起点，帮助各种组织评估和改进他们对人工智能（AI）系统的管理实践。随着AI技术在各个领域的广泛应用，组织面临着如何管理与AI相关风险的挑战。尽管存在许多框架和工具旨在支持组织管理AI系统，但许多组织，特别是小型组织，发现在这些资源中导航是复杂且资源密集的。AIME旨在简化这一过程，通过整合现有AI法规、标准和框架中的关键原则，提供一个易于访问的资源。

AIME基于三个国际认可的框架：ISO/IEC 42001、NIST风险管理框架和欧盟AI法案。这些框架的选择部分是为了确保工具的互操作性，意味着AIME不仅适用于英国国内，也适用于国际环境。AIME并不寻求取代这些框架，也不意味着完成自我评估就代表合规，而是提供一个起点，用于实施普遍认为的最佳实践。

DSIT通过文献综述，提取了关键信息，并将其转化为一系列自我评估问题，帮助组织识别改进管理实践的行动。在开发过程中，DSIT进行了三个针对性的试点项目，与行业组织合作，测试AIME原型。这些试点项目之后，DSIT组织了三场研讨会，与监管机构、政策制定者以及通过techUK接触的中小企业（SMEs）进行交流，收集反馈，并根据这些反馈迭代和改进工具。

为什么组织要使用AIME

尽管使用AIME不是强制性的，但该工具将帮助组织在其AI管理系统中嵌入基线良好实践。AIME旨在明确展示负责任的AI管理系统所需的内容，并帮助组织识别其内部流程的优势和劣势。此外，AIME还提供了改进管理系统的实际行动。完成AIME自我评估将帮助组织评估和改进其AI管理流程，并为符合相关标准和框架的基础合规水平做好准备。

AIME的组成部分

预计最终版本的AIME将包括三个组成部分：自我评估问卷、自我评估各部分的评分以及根据自我评估答案生成的改进行动点和建议。目前，咨询文件中只包含了自我评估问卷部分，评分和建议将在咨询后由DSIT开发。AIME分为三个主题域：内部流程、风险管理和沟通。

AIME自我评估问卷应该由谁来完成

自我评估应由对组织治理实践有广泛了解的个人或团队完成。例如，CTO或软件工程师可能对回答更技术性的问题有相关专业知识，同时，如果组织中有AI道德官员或HR业务经理等角色，他们的参与也是有益的。

如何完成AIME自我评估

完成自我评估的组织应按顺序逐个回答问题，并在提供的一个或多个复选框中选择答案。可以根据需要在打印副本上手写完成或使用PDF标记工具数字化完成。完成本节所需的时间将根据组织的专业知识和现有治理结构而有所不同。根据对某个问题的回答，可能不需要回答该部分的所有后续问题。在这种情况下，将在相关答案旁边清楚说明。如果没有提供跳过选项，请继续回答下一个问题。有条件的问题通常会在问卷中以缩进格式出现

自我评估问卷

4.1. 内部流程

4.1.1. AI系统记录

组织应维护一个完整且最新的记录，包括他们开发和使用的AI系统。这个记录被称为AI系统记录，它可能包括技术文档、影响和风险评估、AI模型分析以及数据记录等。自我评估问卷中的相关问题旨在评估组织是否保持了这样的记录，以及这些记录的完整性和更新频率。例如，问题1.1询问组织是否维护了AI系统的记录，而1.2则进一步询问这些系统中有多少被记录在案，1.3则询问是否确立了更新新AI系统到AI系统记录中。此外，问题1.4和1.5分别探讨了从第三方提供商那里获取记录以及记录的审查和更新频率。

4.1.2. AI政策

组织应有一个清晰、可访问且适合的AI政策。AI政策为组织提供了AI系统的治理指导和支持，可能包括指导AI相关活动的原则和规则、设置AI相关目标的框架，以及AI管理的角色和责任分配。自我评估问卷的问题旨在评估组织是否有AI政策，政策是否对所有员工可访问，是否有助于评估AI的使用是否适合特定功能或任务，以及是否明确了AI管理流程中的角色和责任。问题2.1询问组织是否有AI政策，而2.2和2.3则分别评估政策的可访问性和对AI使用的指导作用。问题2.4和2.5进一步探讨了AI政策中的角色和责任明确性以及政策的审查和更新频率。

4.1.3. 公平性

组织应确保其开发和使用的直接影响个人的AI系统是公平的。自我评估问卷的问题旨在评估组织是否有明确的定义公平性、检测或识别不公平结果或流程的机制，以及监测AI系统公平性并减轻不公平性的流程。问题3.1询问组织是否开发或使用直接影响个人的AI系统。其中“直接影响”是指AI系统对个人产生的直接后果。在AIME文件中，以下几类AI系统被认为对个人有直接影响：（1）用于对个人进行决策的AI系统，例如，用于用户画像的算法；（2）处理包含个人或受保护特征属性数据的AI系统；（3）那些直接影响个体并且个体也是最终用户的AI系统，例如聊天机器人和图像生成器。

而3.2和3.3则分别评估组织是否有明确的定义公平性和检测不公平结果的机制。其中"Fairness"是一个广泛的原则，贯穿于许多法律和法规领域，包括平等和人权、数据保护、消费者和竞争法、公法和普通法，以及保护弱势群体的规则。在AIME中，"Fairness"与"Bias"（偏见）有所区别：Bias（偏见）：是指在决策过程中对特定数据子集的过度加权，这可能导致不公平的结果，对某些群体产生负面影响；Unfairness（不公平）：是偏见过程在现实世界中实施的结果。

问题3.4和3.5进一步探讨了监测AI系统公平性的流程和审查这些流程的频率。

4.2. 风险管理

AIME中的“风险管理”部分旨在评估组织如何预防、管理和减轻与AI系统开发和使用相关的风险。这一部分至关重要，因为它帮助组织识别可能由其AI系统引起的潜在伤害，并建立有效应对这些风险的流程。

4.2.1. 影响评估

组织应识别并记录其AI系统可能产生的影响，这包括对个人法律地位或生活机会、身心健康以及社会和环境的潜在影响。影响评估（AI impact assessment）是用于考虑和识别AI系统部署、预期使用和可预见滥用可能带来的潜在后果的框架。自我评估问卷中的问题旨在评估组织是否进行了影响评估，是否记录了这些潜在影响，并是否将这些信息传达给了AI系统的用户或客户。

• 4.1：询问组织是否有流程来识别AI系统可能对个人法律地位或生活机会、个人身心健康、社会和环境造成的影响。
• 4.2：评估组织是否记录了AI系统的潜在影响。
• 4.3：探讨组织是否将这些潜在影响传达给AI系统的用户或客户。

4.2.2. 风险评估

组织应有效管理由其AI系统引起的风险。风险评估（AI risk assessment）是用于考虑和识别AI系统开发和/或使用可能引起的一系列潜在风险的框架。自我评估问卷中的问题旨在评估组织是否对AI系统进行了风险评估，评估结果是否一致、有效和可比，以及组织是否根据这些评估结果来优先处理风险。

• 5.1：询问组织是否对开发的和使用的AI系统进行风险评估。
• 5.2.1：评估组织的风险评估是否旨在产生一致、有效和可比的结果。
• 5.2.2：探讨组织是否将风险评估结果与组织整体风险阈值进行比较。
• 5.2.3：询问组织是否根据风险评估结果优先处理风险。
• 5.3.1 和 5.3.2：探讨组织是否监控所有AI系统的错误和故障，以及是否检查它们是否按预期执行。
• 5.4：评估组织是否有流程来响应或修复系统故障。
• 5.5：探讨组织是否定义了风险阈值或临界条件，在这些条件下可能需要停止AI系统的开发或使用。
• 5.6：询问组织是否有计划随着AI系统的演变或关键问题的识别，引入风险评估流程的必要更新。

4.2.3. 数据管理

组织应负责任地管理用于训练、微调和开发AI系统的数据。自我评估问卷中的问题旨在评估组织是否记录了数据的来源和收集过程，是否确保数据满足组织定义的质量要求，以及是否确保数据集的完整性和代表性。

• 6.1：询问组织是否使用数据来训练、微调或以其他方式开发自己的AI系统。
• 6.2：评估组织是否记录了用于开发AI系统的数据的来源和收集过程。数据来源指的是关于数据是如何被创建、更新以及控制权如何转移的信息。
• 6.3：探讨组织是否确保用于开发AI系统的数据满足组织定义的数据质量要求。数据质量广泛指的是数据对于特定任务的适用性，或数据特征在特定条件下满足使用需求的程度。
• 6.4：询问组织是否确保用于开发AI系统的数据集足够完整和代表性。数据完整性指数据集在特定条件下捕捉所有必要元素的程度。数据代表性指数据样本分布与目标人群的一致程度。
• 6.5：评估组织是否记录了为开发AI系统而进行的数据准备活动的细节。数据准备包括在训练或开发AI系统之前对数据集进行的任何处理或转换，如确保数据质量、完整性和代表性的过程，以及特征转换、特征缩放或标准化，或目标变量的标记。
• 6.6：探讨组织是否与代表其处理个人数据的第三方签订并保留书面合同。这涉及确保第三方处理个人数据时的法律责任和数据保护标准。

4.2.4. 偏见缓解

组织应减轻其AI系统中可预见的、有害的和不公平的算法和数据偏见。自我评估问卷中的问题旨在评估组织是否采取了行动来减轻与训练数据相关的偏见，是否有记录显示从第三方提供商那里采购的AI系统或预训练AI系统所使用的数据范围，以及是否对这些数据进行了适当的尽职调查，以减轻潜在的有害或不公平偏见。

• 7.1：询问组织是否采取措施减轻与AI系统训练数据相关的可预见有害或不公平偏见。偏见指的是对数据中特定子集的不成比例的重视，这可能导致决策过程中的系统性偏差，对某些群体产生不公平的结果。
• 7.2：评估组织是否记录了从第三方提供商那里采购的AI即服务（AIaaS）或预训练AI系统所使用的数据的范围。AI即服务（AIaaS）指的是将部分AI系统功能外包给第三方的服务，这些服务通常作为“现成”的解决方案提供，支持基础设施如在线平台和API，方便集成到现有业务操作中。预训练指的是机器学习系统在大量通用数据集上进行初始训练，之后可以针对特定任务进行微调。
• 7.3：探讨组织是否对第三方提供商用于训练或开发这些系统的数据处理进行了适当的尽职调查，以减轻可预见的有害或不公平偏见。尽职调查可能包括请求和审查由“现成”AI系统开发者进行的偏见审计结果，以确定输入数据中是否存在不公平偏见，以及系统做出的决策或分类结果。
• 7.4：询问组织是否有流程确保遵守国际或国内规定的相关偏见缓解措施。这涉及确保组织的政策和流程与减少AI系统中偏见的法律和规章要求保持一致。

4.2.5. 数据保护

组织在整个AI系统开发和使用过程中应采取“设计和默认的数据保护”方法。自我评估问卷中的问题旨在评估组织是否实施了适当的安全措施来保护AI系统使用和/或生成的数据，是否记录了所有个人数据泄露，是否在必要时向受影响的数据主体报告个人数据泄露，是否定期完成数据保护影响评估（DPIAs），以及是否确保所有AI系统和数据免受第三方干扰。

• 8.1：询问组织是否实施了适当的安全措施来保护AI系统使用和/或生成的数据。
• 8.2：评估组织是否记录了所有个人数据泄露。
• 8.3：探讨组织是否在必要时向受影响的数据主体报告个人数据泄露。
• 8.4：询问组织是否定期为可能对个人利益造成高风险的个人数据使用完成数据保护影响评估（DPIAs）。
• 8.5：评估组织是否确保其所有AI系统和数据免受第三方干扰。

4.3. 沟通

在AIME中，“Communication”（沟通）部分关注的是组织如何与内部员工、用户以及外部第三方进行有效沟通，确保透明度和责任感，特别是在AI系统的使用和潜在影响方面。

4.3.1. Issue Reporting（问题报告）

组织应建立报告机制，允许员工、用户和外部第三方报告AI系统的故障或负面影响。这些问题报告机制应确保所有相关方都能够访问并理解如何使用它们。

• 9.1：询问组织是否有报告机制供所有员工、用户和外部第三方报告问题或系统故障。
• 9.2：评估组织是否为报告者提供匿名或保密的选项，以鼓励他们报告关切。匿名性意味着报告过程中不收集任何个人数据，以保护报告者身份不被识别。保密性则要求确保除了预期接收者之外，没有人能够将个别报告与报告者联系起来。
• 9.3：探讨组织是否已确定谁将负责在问题上报后处理这些问题，确保有关问题能够得到及时和有效的处理。
• 9.4：询问组织是否为所有员工、用户和外部第三方提供了透明的报告程序。透明度在这里指的是清晰地告知报告者他们的报告将如何处理，包括报告处理的过程、时间以及最终结果。
• 9.5：评估组织是否及时响应关切。及时性是指在合理的时间内响应报告，通常意味着在问题报告后尽快处理。
• 9.6：探讨组织是否记录所有报告的关切和任何随后调查的结果，以便于跟踪问题处理的效率和效果。

4.3.2. Third Party Communication（第三方沟通）

组织应告知所有利益相关者如何安全使用AI系统以及系统的要求。

• 10.1：询问组织是否确定了不同利益相关者（例如开发者、AI系统最终用户、学术研究人员等）所需的AI系统技术文档。技术文档提供了AI系统功能的详细描述，可能包括使用说明、技术假设、系统架构和限制等。
• 10.2：评估组织是否以适当的格式向利益相关者提供技术文档。适当的格式意味着文档应该根据利益相关者的需求和理解水平进行定制。
• 10.3：探讨组织是否确定了不同利益相关者所需的AI系统非技术文档。非技术文档提供了AI系统使用的好处或问题，这些文档通常涉及影响评估和风险评估，描述AI系统使用之外的操作过程。
• 10.4：询问组织是否向用户和其他相关方提供非技术信息。这些信息帮助利益相关者理解AI系统的使用背景和潜在影响，而不仅仅是技术细节。