一、语料安全评估：
(一) 评估内容
文本训练语料规模：
- 训练语料存储规模，即按文本格式存储时的语料大小。
- 训练语料数量，以词元 (Token) 计数。
各类型语料规模：
- 明确训练语料中的中文文本、英文文本、代码、图片、音频、视频及其他语料的具体规模。
训练语料来源：
- 梳理训练语料来源的组成情况，分为开源语料、自采语料、商业语料进行分类统计。
- 统计境外开源网站语料内各类语料规模。
- 统计自采语料内各类语料规模。
- 统计商业语料内各类语料规模。
语料标注数量：
- 仅限文本和图片的标注数量，按标注单元计数，通常以条数、张数为单位。
标注人员情况：
- 明确标注人员的数量和类型，包括内部人员和外包人员。
- 标注人员培训时间、培训数量等情况。
标注规则：
- 按照《生成式人工智能服务管理暂行办法》第四条要求制定标注规则。
标注内容准确性核验：
语料合法性：
- 核查语料来源合法性情况。
- 检查语料是否包含侵害他人知识产权内容。
- 排查语料是否包含违法违规的个人信息内容。
(二) 评估结论
判定语料是否符合《生成式人工智能服务管理暂行办法》相关规定，是否含有违反我国法律法规明确禁止的内容。
明确语料中包含个人信息语料的数量、种类，判断是否符合《生成式人工智能服务管理暂行办法》规定。
进行因语料产生知识产权纠纷的风险分析。
提出防范语料安全风险的措施和建议。
二、黑盒测试
功能需求验证：
- 确保模型能够按照预期执行任务，对各种类型的输入产生正确和合理的输出。
用户界面测试：
输出验证：
三、模型安全措施评估
模型适用人群、场合、用途：
- 明确服务的适用人群，判断是否适用未成年人、学生等。
- 确定适用场合，如是否适用关键信息基础设施、自动控制、医疗信息服务、心理咨询等。
- 明确服务范围，是否限定或未限定特定领域。
服务过程中收集保存个人信息情况：
- 梳理服务过程中收集保存个人信息的情况，包括个人信息的类型、数量、用途以及保存期限。
收集个人信息征得个人同意情况：
受理处理使用者查阅、复制、更正、补充、删除个人信息请求的情况：
图片、视频标识情况：
- 确定标识的样式，按 1:1 比例贴入。
- 明确标识在图片、视频中的具体位置。
- 确定标识频度，如每帧、跳帧等。
接受公众或使用者投诉举报情况：
服务协议情况：
- 检查上述 1 至 6 内容是否已经写入模型服务协议。
非法内容拦截措施：
- 明确监看人员的数量。
- 预置关键词拦截情况，并提供预置关键词拦截列表。
- 说明分类模型的研制情况和准确性。
拒答率：
- 统计拒绝回答或者以简单模板回答数量占总测试数量的比率。
模型更新、升级：
- 确定在何种情况下重新进行预训练，如较频繁发现生成非法内容时。
四、性能评估
响应时间：
- 测试模型在不同负载下的响应时间，确保在合理时间内完成任务。
资源消耗：
五、稳定性评估
长时间运行：
- 测试模型在持续运行下的稳定性，避免内存泄漏、性能下降等问题。
大规模数据输入：
六、安全性评估
隐私保护：
- 确保模型的输出不会侵犯用户隐私，对个人敏感信息进行隐私保护。
防止攻击：
- 测试模型对恶意攻击或异常输入的鲁棒性，确保模型不易受到攻击。
七、可解释性评估
- 对模型的输出进行解释和验证，确保模型的决策是可解释和可信的，避免模型黑盒化带来的问题。
八、法律和合规性评估
隐私法规遵守：
- 确保模型遵循隐私法规，不违反用户隐私和数据使用规定。
合规性检查：
九、应急管理措施
采取防范计算机病毒、网络攻击、网络入侵等技术措施。
制定网络安全应急处置预案并且开展应急演练，保存演练记录材料。
警用接口建设。
十、材料准备
安全评估报告。
模型服务协议。
语料标准规则。
拦截关键词列表。
评估测试题库。
拒答测试题库。
网络安全管理制度及操作规程。
应急处置预案和记录材料。
用户投诉举报处理、用户管理制度。
个人信息安全保护。
安全培训制度。
网络安全负责人任命书。
十一、【线下流程】大模型备案线下详细步骤说明
第一步：企业向当地网信办申请大模型备案，先确认模型是否需要进行备案（有些只是用开源做微调的，这种小模型一般做算法备案就好，算法备案也简单，具体情况跟网信办确认，不同地区的网信办要求也会有差异）。
第二步：填写《生成式人工智能上线备案表》，准备自评估报告材料，评估点参考表格里面提到的 6 个点进行撰写，每个点进行评估的方法、风险点及应急策略，报告尽量详细点。
第三步：当地网信会将报告递交中央网信技术管理局进行审核。
第四步：网安多个支队对工作流程及大模型进行上门检查。检查点非常多很多企业被卡主在这一步。
第五步：等结果。
重点内容讲解
自评估和准备材料
语料安全评估：
模型安全评估：
安全措施评估：
明确模型适用人群，如是否适用未成年人等。
确定适用场合，如关键信息基础设施等相关敏感场合。
明确用途，判断是否限定领域。
梳理服务过程中收集保存个人信息情况，包括类型、数量、用途、保存期限。
确定收集个人信息征得个人同意的方式。
明确受理处理使用者查阅、复制、更正、补充、删除个人信息请求的情况，包括条件和途径方法。
规划好图片、视频标识情况，包括样式、位置、频度等。
建立接受公众或使用者投诉举报情况，明确途径及反馈方式。
完善服务协议，将上述多方面内容写入。
建立非法内容拦截措施，明确监看人员数量、预置关键词拦截列表、分类模型检测及准确性等。
统计拒答率，即拒绝回答等数量占比。
规划模型更新、升级条件，如发现频繁非法等情况时。
材料准备（以下是常见材料举例）：
《算法备案承诺书》。
《落实算法安全主体责任基本情况》。
《算法安全自评估报告》（较复杂且重要，100 页左右，包含附录各种证明材料等；需明确算法原理和逻辑、数据来源合规性、算法透明度和可解释性、安全漏洞检测与应对等）。
《拟公示内容》。
大模型上线备案表：
基本情况：模型名称、主要功能、适用人群、服务范围等。
模型研制：模型备案情况、训练算力资源（自研模型）、训练语料和标注语料来源与规模、语料合法性、算法模型的架构和训练框架等。
服务与安全防范：推理算力资源、服务方式及对象等、非法内容拦截措施、模型更新升级信息等。
安全评估：基本情况、评估情况。
自愿承诺：承诺所填信息真实性，并签字确认。
附件及备注：附件包括安全评估报告、模型服务协议、语料标注规则、拦截关键词列表、评估测试题。
安全评估报告（涵盖语料安全评估、模型安全评估以及安全措施评估，并形成整体评估结论）。
模型服务协议（包含产品及服务的各项规则及隐私条款等，需协同法务共同制定提交）。
语料标注规则（包括标注团队介绍、功能性及安全性标注细则，标注流程等）。
拦截关键词列表（总规模不宜少于 10000 个，应至少覆盖《生成式人工智能服务安全基本要求》a.1 以及 a.2 中 17 种安全风险，a.1 中每一种安全风险的关键词均不宜少于 200 个，a.2 中每一种安全风险的关键词均不宜少于 100 个）。
评估测试题集：包括生成内容测试题库、拒答内容测试题库、非拒答测试题库。要严格覆盖 TC260 的 5 大类，31 小类。
关注微信订阅号
