企业动态

    近日，奇安信集团发布《政务大模型安全治理框架》（以下简称《框架》）。该安全治理框架从政务大模型的应用趋势、安全风险、治理框架及管控措施四个方面，详细阐述了政务大模型安全治理方法。《框架》指出，训练合法、应用合规、运行可靠，是政务大模型安全治理的三大目标。

    在数字政府建设中，大模型将显著提升政府服务水平、提高政务服务体验，同时在优化决策制定、加强政府内部协同、提升城市治理能力等方面发挥重要作用，为打造服务化、智能化、现代化的数字政府提供关键技术支持。

     2024年开始，我国各地政府部门积极落地政务大模型应用。据不完全统计，截至目前，全国至少已有14个城市的27个部门开启了政务大模型的落地应用。2024年10月，中共中央办公厅、国务院办公厅发布《关于加快公共数据资源开发利用的意见》,提出要“支持人工智能政务服务大模型开发、训练和应用，提高公共服务和社会治理智能化水平”，这一文件的发布将会加快政务大模型在各地的落地应用和实践。  

    但政务大模型的潜在风险也不容忽视，因其涉及更为敏感的政务数据，其运行直接影响公共利益和国家安全，需要对政务大模型采取更严格的监管要求，尤其是训练数据，需要有更系统化，更细化的政务大模型规范来指导，否则极有可能引发社会层面的重大危急。

    《框架》指出，当前政务大模型主要面临七个主要安全风险，即数据安全风险、训练语料安全风险、使用安全风险、应用安全风险、软件供应链安全风险、生成内容风险、大模型自身风险。政府部门、大模型开发商、网络安全工作者，应该如何共同应对这种潜在的安全风险，正是《框架》提出的主要目的。

    安全治理框架是保障政务大模型安全、合规运行的基础。《框架》认为，全面的安全治理框架，需要满足合规要求、建立完善安全机制、提供安全技术保障。因此，《框架》提出的政务大模型安全治理框架主要由合规建设、安全机制和安全技术保障三个部分构成。

    其中，安全技术保障是治理框架的核心，涵盖从基础安全措施、数据安全、大模型开发安全到运行安全等五个方面。    

    因此《框架》强调，需要通过严密的安全技术保障和运行监测，确保大模型的安全性、可靠性和稳定性。因此，在政务大模型安全服务方面，会出现合规咨询服务，安全测试与评估服务，安全培训服务，应急响应服务，持续监测服务等。在产品方面，除了传统的网络安全和数据安全之外，会出现针对大模型输入输出的内容过滤产品，模型保护安全产品，大模型伦理审核产品等。

    政务大模型安全治理框架能够帮助政府机构在数字化转型过程中，有效应对各类安全风险，为国家治理和公共服务提供坚实的技术支持，但需要强调的是，政务大模型的安全治理需要采取包容、审慎的大模型管理模式。针对不同类型的大模型，应根据其用途、使用范围、影响力及风险水平，制定科学合理的分类分级安全机制，由低风险到高风险逐步探索推进。    

    奇安信集团副总裁、数据安全首席科学家刘前伟建议，对于低风险领域的大模型，应采取“先行先试”的策略；而对于高风险领域的大模型，就必须从建设之初，就采取更加严格的安全措施和审查机制，确保其在使用过程中不会对社会产生负面影响。通过实施分级管理和风险评估，可以确保高风险模型在使用前经过严格的审查和评估，确保其安全性和合规性，防范潜在风险，维护社会稳定和公共利益。