AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


大模型备案跟算法备案区别
发布日期:2024-06-19 07:40:54 浏览次数: 1857


导读

本文主要针对AIGC生成合成类备案流程等方面进行了简单介绍,详细内容可参考往期文章。



01

哪些项目需要大模型备案

目前做大模型备案是依据《生成式人工智能服务管理暂行办法》里面的条例来备案,在办法中第二条提到:

“利用生成式人工智能技术向中华人民共和国境内公众提供生成文本、图片、音频、视频等内容的服务(以下称生成式人工智能服务),适用本办法。”

从这段规定的描述理解来看,只要是提供了生成式人工服务的项目,就得做大模型备案。我们从备案专家那也得知,不管是api、app、web等各种形式的服务,不管是第三方服务者还是开发者,都符合大模型备案。也建议所有生成式服务的项目都进行大模型备案,主动备案。


那是不是必须得进行大模型备案呢,不备案有什么影响呢

我们可以分析,从目前市面上上线的产品来看,只做了算法备案,没做大模型备案的生成合成产品也正常在服务。要知道目前通过算法备案的项目有近千个,而通过大模型备案的项目只有一百多个。所以,用户体量大肯定要主动进行备案,包括三方服务提供者跟技术开发者在内,如果是小模型,用户少(造成的社会风险小)这种做算法备案也能上线,大模型可以等通知备案,如果有条件的也可主动备案。



02

大模型备案跟算法备案的区别


ps:算法备案分为5个类别,分别是生成合成类、个性化推送类、排序精选类、检索过滤类、调度决策类。目前生成合成类算法在各平台上线都需要算法备案号(包含接三方接api实现服务的)

生成合成类项目都适用算法备案跟大模型备案,也就是说做了算法备案的,也需要做大模型备案,2者备案不分前后。



03

需要哪些材料

一表五附件

申请表:《生成式人工智能 (大语言模型)上线备案申请表》

《附件1:安全自评估报告》

《附件2:模型服务协议》

《附件3:语料标注规则》

《附件4:关键词拦截列表》

《附件5:评估测试题集》

内容要求参考:TC260-003《生成式人工智能服务安全基本要求》(规范性)语料及生成内容的主要安全风险(共 5 类 31 种)


04

备案流程


ps:难度最大的在安全评估流程,可找专业的大模评测单位先评估一遍,先做好自检在提交安全审查。


05

企业评估重点


评估过程中的重点风险测试分类

  1. 内容风险问题:信息错误、信息过时、模型幻觉、歧视性内容、语义混淆

  2. 机制漏洞:角色漏洞、语义理解、用户误导、安全机制

  3. 诱导提问:角色扮演、恶意引导、西方偏见

  4. 安全问题:意思形态、污染网络生态、版权

(以上风险问题在这不做举例,有不了解可私下提问)

ps:模型审核主要是围绕输出的内容进行评估,建议把涉政类对话放在第一位去重点测试,很多企业被卡在评估阶段,输出的内容不过关。这个点建议除了接上准确率驳回率的高的机审外,还需要在标注训练方面做好以上提到的漏洞防范,往往大语言模型的漏洞更加多,更容易出问题,应在训练时重点做好合规。


06

自评估报告评估流程

  • 明确评估目标:确定自评估的目标和范围,包括评估的模型、应用场景、评估指标等。

  • 收集数据和文档:收集相关数据和文档,包括模型训练数据、算法文档、模型架构、代码实现等。

  • 制定评估标准:根据评估目标制定评估标准和指标,包括性能指标、安全指标、合规指标等。

  • 执行评估流程:根据评估标准和指标执行评估流程,包括对模型性能、安全性、合规性等方面进行评估。

  • 收集评估结果:收集评估过程中的数据和结果,包括评估报告、问题清单、建议意见等。

  • 分析评估结果:对评估结果进行分析和总结,发现问题、风险和改进机会。

  • 制定改进计划:根据评估结果制定改进计划,包括修复问题、加强安全措施、完善文档等。

  • 实施改进措施:实施改进计划中的措施,持续改进大模型的性能、安全性和合规性。

  • 监控和迭代:监控改进效果,持续跟踪模型的运行情况,及时调整和迭代改进计划。

    (参考)



材料分享



53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询