截至2024年5月16日，国内共有约140个大模型完成生成式人工智能服务备案，占305个大模型的45.9%左右。
在已备案的大模型中，在地域分布上，北京以70个备案大模型领跑全国，凸显了其在AI领域的集聚效应。上海和广东紧随其后，分别有28个和19个模型备案。
大模型备案所需要的材料有那些？
1、语料安全评估：
1）应建立语料来源黑名单，不使用黑名单来源的数据进行训练；
2）使用开源语料或使用商业语料时，应具有该语料来源的开源授权协议或相关合作证明；
3）训练语料内容过滤方面：应采取关键词、分类模型、人工抽检等方式，充分过滤全部语料中违法不良信息。
4）语料用于训练前，知识产权相关负责人等应对语料中的知识产权侵权情况进行识别，提供者不应使用有侵权问题的语料进行训练：
5）应自行对标注人员进行考核，给予合格者标注资质，并有定期重新培训考核以及必要时暂停或取消标注资质的机制；
6）对功能性标注，应对每一批标注语料进行人工抽检，发现内容不准确的，应重新标注；发现内容中包含违法不良信息的，该批次标注语料应作废。
*做好语料合规化，训练语料的过程管理，包括员工培训材料，分工明确。
2、黑盒测试
1）功能需求验证：确保模型能够按照预期执行任务，对各种类型的输入产生正确和合理的输出。
2）用户界面测试：针对用户界面的测试，确保界面的易用性和一致性。
3）输出验证：检查模型的输出是否符合预期，是否满足业务需求
*确保模型在不同输入情况下能够按预期执行任务，输出准确、符合预期。包括功能需求的验证，测试模型的各个功能点是否符合设计要求。
3、模型安全措施评估
1）设定未成年人防沉迷措施：限制未成年人单日对话次数与时长，若超过使用次数或时长需输入管理密码等
2）个人信息处理方面：应按照我国个人信息保护要求，并充分参考现行国家标准，如GB/T 35273等，对个人信息进行保护
3）内容标识方面：显示区域标识、图片、视频的提示文字标识、图片音视频的隐藏水印标识文件元数据标识；
4）接受公众或使用者投诉举报方面：应提供接受公众或使用者投诉举报的途径及反馈方式，包括但不限于电话、邮件、交互窗口、短信等方式；
5）模型更新、升级方面：应制定在模型更新、升级时的安全管理策略；
4、性能评估
1）响应时间：测试模型在不同负载下的响应时间，确保在合理时间内完成任务。
2）资源消耗：评估模型对内存、计算资源等的消耗情况，确保资源利用合理。
*测试模型的性能，包括响应时间、内存消耗、计算资源占用等。确保模型能够在可接受的时间范围内完成任务，并且对资源的利用合理。
5、稳定性评估
1）长时间运行：测试模型在持续运行下的稳定性，避免内存泄漏、性能下降等问题。
2）大规模数据输入：模拟大规模数据输入，检验模型对此的稳定性和性能。
6、安全性评估
1）隐私保护：确保模型的输出不会侵犯用户隐私，对个人敏感信息进行隐私保护。
2）防止攻击：测试模型对恶意攻击或异常输入的鲁棒性，确保模型不易受到攻击。
7、可解释性评估
1）对模型的输出进行解释和验证，确保模型的决策是可解释和可信的，避免模型黑盒化带来的问题。
8、法律和合规性评估
1）隐私法规遵守：确保模型遵循隐私法规，不违反用户隐私和数据使用规定。
2）合规性检查：确保模型在使用中符合相关行业法规和标准，避免违规操作。
*参考《生成式人工智能服务暂行管理办法》
9、应急管理措施
1）采取防范计算机病毒、网络攻击、网络入侵等技术措施。
2）制定网络安全应急处置预案并且开展应急演练，保存演练记录材料。
3）警用接口建设。
10、材料准备
安全评估报告
模型服务协议
语料标准规则
拦截关键词列表
评估测试题库 拒答测试题库
网络安全管理制度及操作规程
应急处置预案和记录材料
用户投诉举报处理制度
用户管理制度
个人信息安全保护制度
安全培训制度
网络安全负责人任命书
