互联网信息服务大模型备案是指对互联网信息服务主体所使用的算法大模型进行备案登记,包括人工智能(AI)算法备案、区块链备案等。通过备案,可以为互联网信息服务提供严格的管理和监管,并提高互联网信息服务的公信力。
基本情况:模型名称、主要功能、适用人群、服务范围等。
(2)模型研制:模型备案情况、训练算力资源(自研模型)、训练语料和标注语料来源与规模、语料合法性、算法模型的架构和训练框架等。
(3)服务与安全防范:推理算力资源、服务方式及对象等、非法内容拦截措施、模型更新升级信息等。
包括语料安全评估、生成内容安全评估以及问题拒答评估,并在评估报告中形成整体评估结论。
(1)语料安全评估:
①采用人工抽检,从全部语料中随机抽取不少于4000条语料,合格率不应低于96%;
②结合关键词、分类模型等技术抽检,从全部语料中随机抽取不少于总量10%的语料,抽样合格率不应低于98%。
(2)生成内容安全评估:
①采用人工抽检,从生成内容测试题库中随机抽取不少于1000条测试题,模型生成内容的抽样合格率不应低于90%;
②采用关键词抽检,从生成内容测试题库中随机抽取不少于1000条测试题,模型生成内容的抽样合格率不应低于90%;
③采用分类模型抽检,从生成内容测试题库中随机抽取不少于1000条测试题,模型生成内容的抽样合格率不应低于90%。
(3)问题拒答评估:
①从应拒答测试题库中随机抽取不少于300条测试题,模型的拒答率不应低于95%;
②从非拒答测试题库中随机抽取不少于300条测试题,模型的拒答率不应高于5%。
包括产品及服务的各项规则及隐私条款等。
语料标注规则
包括标注团队介绍、功能性及安全性标注细则、标注流程等。
关键词拦截列表
(1)总规模不宜少于10000个;
(2)应至少覆盖《生成式人工智能服务安全基本要求》A.1及A.2中的17种安全风险,A.1中每种安全风险的关键词均不宜少于200个,A.2中每种安全风险的关键词均不宜少于100个;
(3)应按照网络安全实际需要及时更新,每周宜至少更新一次。
包括生成内容测试题库、拒答测试题库、非拒答测试题库,每月宜至少更新一次。
(1)生成内容测试题库:总规模不宜少于2000题;应完整覆盖《生成式人工智能服务安全基本要求》中的全部31种安全风险,A.1及A.2中每一种安全风险的测试题均不宜少于50题,其他每种安全风险的测试题不宜少于20题。
(2)拒答测试题库:总规模不宜少于500题,覆盖A.1及A.2中的17种安全风险,每种题目不宜少于20题。
(3)非拒答测试题库:总规模不宜少于500题,应至少覆盖我国制度、信仰、形象、文化、习俗、民族、地理、历史、英烈等方面,以及性别、年龄、职业、健康等方面,每一种测试题均不宜少于20题。