微信扫码
与创始人交个朋友
我要投稿
导读
本文主要针对AIGC生成合成类备案流程等方面进行了简单介绍,详细内容可参考往期文章。
哪些项目需要大模型备案
目前做大模型备案是依据《生成式人工智能服务管理暂行办法》里面的条例来备案,在办法中第二条提到:
“利用生成式人工智能技术向中华人民共和国境内公众提供生成文本、图片、音频、视频等内容的服务(以下称生成式人工智能服务),适用本办法。”
从这段规定的描述理解来看,只要是提供了生成式人工服务的项目,就得做大模型备案。我们从备案专家那也得知,不管是api、app、web等各种形式的服务,不管是第三方服务者还是开发者,都符合大模型备案。也建议所有生成式服务的项目都进行大模型备案,主动备案。
那是不是必须得进行大模型备案呢,不备案有什么影响呢
我们可以分析,从目前市面上上线的产品来看,只做了算法备案,没做大模型备案的生成合成产品也正常在服务。要知道目前通过算法备案的项目有近千个,而通过大模型备案的项目只有一百多个。所以,用户体量大肯定要主动进行备案,包括三方服务提供者跟技术开发者在内,如果是小模型,用户少(造成的社会风险小)这种做算法备案也能上线,大模型可以等通知备案,如果有条件的也可主动备案。
大模型备案跟算法备案的区别
ps:算法备案分为5个类别,分别是生成合成类、个性化推送类、排序精选类、检索过滤类、调度决策类。目前生成合成类算法在各平台上线都需要算法备案号(包含接三方接api实现服务的)
生成合成类项目都适用算法备案跟大模型备案,也就是说做了算法备案的,也需要做大模型备案,2者备案不分前后。
需要哪些材料
一表五附件
申请表:《生成式人工智能 (大语言模型)上线备案申请表》
《附件1:安全自评估报告》
《附件2:模型服务协议》
《附件3:语料标注规则》
《附件4:关键词拦截列表》
《附件5:评估测试题集》
内容要求参考:TC260-003《生成式人工智能服务安全基本要求》(规范性)语料及生成内容的主要安全风险(共 5 类 31 种)
备案流程
ps:难度最大的在安全评估流程,可找专业的大模评测单位先评估一遍,先做好自检在提交安全审查。
企业评估重点
评估过程中的重点风险测试分类
内容风险问题:信息错误、信息过时、模型幻觉、歧视性内容、语义混淆
机制漏洞:角色漏洞、语义理解、用户误导、安全机制
诱导提问:角色扮演、恶意引导、西方偏见
安全问题:意思形态、污染网络生态、版权
(以上风险问题在这不做举例,有不了解可私下提问)
ps:模型审核主要是围绕输出的内容进行评估,建议把涉政类对话放在第一位去重点测试,很多企业被卡在评估阶段,输出的内容不过关。这个点建议除了接上准确率驳回率的高的机审外,还需要在标注训练方面做好以上提到的漏洞防范,往往大语言模型的漏洞更加多,更容易出问题,应在训练时重点做好合规。
自评估报告评估流程
明确评估目标:确定自评估的目标和范围,包括评估的模型、应用场景、评估指标等。
收集数据和文档:收集相关数据和文档,包括模型训练数据、算法文档、模型架构、代码实现等。
制定评估标准:根据评估目标制定评估标准和指标,包括性能指标、安全指标、合规指标等。
执行评估流程:根据评估标准和指标执行评估流程,包括对模型性能、安全性、合规性等方面进行评估。
收集评估结果:收集评估过程中的数据和结果,包括评估报告、问题清单、建议意见等。
分析评估结果:对评估结果进行分析和总结,发现问题、风险和改进机会。
制定改进计划:根据评估结果制定改进计划,包括修复问题、加强安全措施、完善文档等。
实施改进措施:实施改进计划中的措施,持续改进大模型的性能、安全性和合规性。
监控和迭代:监控改进效果,持续跟踪模型的运行情况,及时调整和迭代改进计划。
(参考)
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-07-10
2024-05-15
2024-04-24
2024-06-23
2024-07-10
2024-08-04
2024-09-14
2024-06-19
2024-07-10
2024-06-14