2024年9月9日，在国家网络安全宣传周主论坛上，全国网络安全标准化技术委员会（以下简称“网安标委”）发布《人工智能安全治理框架》1.0版。贯彻落实《全球人工智能治理倡议》，网安标委研究制定了《人工智能安全治理框架》（以下简称《框架》）。《框架》以鼓励人工智能创新发展为第一要务，以有效防范化解人工智能安全风险为出发点和落脚点，提出了包容审慎、确保安全，风险导向、敏捷治理，技管结合、协同应对，开放合作、共治共享等人工智能安全治理的原则。
人工智能是人类发展新领域，给世界带来巨大机遇，也带来各类风险挑战。落实《全球人工智能治理倡议》，遵循“以人为本、智能向善”的发展方向，为推动政府、国际组织、企业、科研院所、民间机构和社会公众等各方，就人工智能安全治理达成共识、协调一致，有效防范化解人工智能安全风险，制定本框架。
紧跟数字中国建设趋势落政策、学法规、读研报、用标准，有问题来 Q 小治，以下我们针对《框架》全文，在人工智能安全治理的关键技术挑战、风险分类、具体实施以及未来展望等方面问题由生成式 AI 做出的核心摘要和解答，仅作为参考，请以原文为准。下载文档请在页面底部扫码关注我们的微信公众号“idtzed”，对话框内发送“240918”或“入”添加老邪企业微信获取链接。
01 《人工智能安全治理框架》概览
《框架》旨在通过技术、管理和国际合作等多方面的措施，有效防范和化解人工智能带来的安全风险，推动人工智能的健康发展和规范应用。其中介绍了人工智能安全治理的原则和框架构成、内生安全风险和应用安全风险、应对措施和综合治理，提供了人工智能安全开发的指引，包括模型算法研发者、服务提供者、重点领域使用者和社会公众的安全应用指引。
- 人工智能安全治理原则：
包容审慎、确保安全。
风险导向、敏捷治理。
技管结合、协同应对。
开放合作、共治共享。
- 人工智能安全治理框架构成：
安全风险分析：包括模型算法、数据、系统等方面的安全风险。
技术应对措施：通过安全软件开发、数据质量提升等技术手段提升安全性。
综合治理措施：明确各方在发现、防范、应对人工智能安全风险中的责任。
安全开发应用指引：提供模型算法研发者、服务提供者等的安全指导规范。
- 人工智能安全风险分类：
内生安全风险：包括模型算法、数据、系统等方面的安全风险。
应用安全风险：包括网络域、现实域、认知域和伦理域的安全风险。
- 技术应对措施：
针对内生安全风险：提高可解释性、消除安全缺陷、加强数据安全管理等。
针对应用安全风险：建立安全防护机制、提高追溯能力、加强内容检测等。
- 综合治理措施：
实施分类分级管理、建立可追溯管理制度、完善数据安全和个人信息保护规范等。
构建负责任的研发应用体系、强化供应链安全保障、推进可解释性研究等。
- 人工智能安全开发应用指引：
提供模型算法研发者、服务提供者、重点领域使用者和社会公众的安全应用指引。
02 人工智能安全治理框架的主要原则
- 共同、综合、合作、可持续的安全观，强调发展和安全并重。
- 促进人工智能创新发展，同时有效防范化解人工智能安全风险。
- 构建各方共同参与、技管结合、分工协作的治理机制，压实相关主体安全责任。
- 打造全过程全要素治理链条，培育安全、可靠、公平、透明的人工智能技术研发和应用生态。
- 维护国家安全和发展利益，保障公民、法人和其他组织的合法权益。
- 确保人工智能技术造福于人类，遵循“以人为本、智能向善”的发展方向。
相关原文：[3][4][13]
03 人工智能安全治理的关键技术挑战
- 提高可解释性和可预测性。人工智能算法，特别是深度学习模型的内部运行逻辑复杂，难以解释和预测。
- 偏见和歧视的消除。确保算法设计和训练过程中避免偏见和歧视，防止输出结果存在不公正。
- 增强鲁棒性。面对复杂多变的运行环境和潜在的恶意干扰，提高人工智能系统的鲁棒性。
- 防止数据泄露和滥用。在数据的收集、存储、使用等各个环节确保数据安全，防止数据泄露和滥用。
- 供应链安全保障。确保人工智能系统所依赖的算力基础设施和软件工具的安全性。
- 防范网络攻击。提升人工智能系统对网络攻击的防御能力，防止被用于自动化网络攻击。
- 内容安全。防止人工智能生成或合成的内容引发虚假信息传播、隐私泄露等问题。
- 系统安全性。确保人工智能系统的透明性和安全性，防止恶意行为或攻击入侵。
- 模型算法安全风险应对。提高模型算法的安全性，防止核心信息被窃取或篡改。
- 认知战防范。提升对认知战手段的防范、检测、处置能力。
这些技术挑战需要通过技术创新和管理措施相结合的方式加以解决。
相关原文：[5][4][13]
04 人工智能安全风险分类
1. 人工智能内生安全风险
- 模型算法安全风险：包括可解释性差、偏见歧视、鲁棒性弱、被窃取篡改、输出不可靠以及对抗攻击等风险。
- 数据安全风险：涉及违规收集使用数据、训练数据含不当内容或被“投毒”、训练数据标注不规范以及数据泄露等风险。
- 系统安全风险：包括缺陷或后门被攻击利用、算力安全以及供应链安全等风险。
2. 人工智能应用安全风险
- 网络域安全风险：涵盖信息内容安全、混淆事实误导用户、不当使用引发信息泄露、滥用于网络攻击以及模型复用的缺陷传导等风险。
- 现实域安全风险：包括诱发传统经济社会安全风险、用于违法犯罪活动以及两用物项和技术滥用等风险。
- 认知域安全风险：涉及加剧“信息茧房”效应以及用于开展认知战等风险。
- 伦理域安全风险：包括加剧社会歧视偏见、挑战传统社会秩序以及未来脱离控制等风险。
相关原文：[5][19][7]
3. 人工智能模型偏差风险
- 偏见和歧视风险：算法在设计和训练过程中可能无意中引入个人偏见，或者因为训练数据集的质量问题导致输出结果存在偏见或歧视。
- 不公平性风险：模型偏差可能导致不公平的决策，对某些群体产生不利影响。
- 可靠性和有效性降低：训练数据的偏差会影响模型的准确度、可靠性和有效性。
- 预测和决策错误：模型偏差可能导致错误的预测和决策，从而产生不良后果。
- 法律和道德风险：如果模型偏差导致歧视性或不公平的结果，可能会违反相关法律和道德标准。
因此，需要采取措施来减少模型偏差，确保人工智能系统的公平性和可靠性。
相关原文：[6][19][9]
05 人工智能安全治理的具体实施
《人工智能安全治理框架》通过明确的安全风险分析、技术应对措施、综合治理措施和安全开发应用指引，确保AI技术的安全发展，防范和化解潜在风险，推动AI技术的健康和可持续发展。
1. 安全风险分析：
- 识别AI内生安全风险，如模型算法缺陷、数据安全和系统漏洞。
- 评估AI应用安全风险，涵盖网络域、现实域、认知域和伦理域的风险。
2. 技术应对措施：
- 实施安全软件开发，包括代码审计和测试。
- 提升数据质量，确保数据的完整性和准确性。
- 加强系统安全防护，如防火墙和入侵检测系统。
- 增强AI系统的可解释性，以便更好地理解和控制其行为。
3. 综合治理措施：
- 实施分类分级管理，根据风险程度采取不同的管理措施。
- 建立AI系统的可追溯管理制度，确保行为可追踪。
- 完善数据安全和个人信息保护规范，保护用户隐私。
- 构建负责任的研发应用体系，确保AI技术的合理开发和应用。
- 强化供应链安全保障，防止恶意软件和数据泄露。
4. 安全开发应用指引：
- 为模型算法研发者提供安全编码和测试指南。
- 为服务提供者建立安全运营和维护流程。
- 为重点领域使用者提供特定场景下的安全应用建议。
- 向社会公众普及AI安全知识，提高公众的安全意识。
06 对AI安全的未来展望
随着AI技术的不断进步和应用领域的扩展，AI安全治理将面临更多挑战和机遇。未来的AI安全发展将呈现以下几个趋势：
- 技术融合：AI安全治理将更多地依赖于跨学科的技术融合，如结合机器学习、大数据分析和网络安全技术，以更有效地识别和应对安全威胁。
- 法规政策完善：随着AI技术的普及，各国将逐步完善相关的法律法规和政策，为AI安全治理提供法律支持和规范指导。
- 国际合作加强：AI安全是全球性问题，未来各国将加强国际合作，共同制定国际标准和规范，提升全球AI安全治理水平。
- 公众意识提升：随着AI技术的深入日常生活，公众对AI安全的意识将逐渐提高，这将推动企业和政府采取更多措施保护用户隐私和安全。
- 持续创新：AI安全治理需要不断创新，开发新的技术和方法来应对不断演变的安全威胁。
《人工智能安全治理框架》不仅为当前的AI安全治理提供了详细的实施步骤，也为未来的AI安全发展指明了方向。通过持续的技术创新、政策完善和国际合作，AI安全治理将不断进步，确保AI技术的健康发展和广泛应用。
来源：本文生成自全国网络安全标准化技术委员会发布的《人工智能安全治理框架》，下载文档请在页面底部扫码关注我们的微信公众号“idtzed”，对话框内发送“240918”或“入”添加老邪企业微信获取链接。
在此声明以上观点和内容，仅代表原作者和出处，与数治网DTZed 无关，如有出错或侵害到相关合法权益，请通过电邮与我们联系：cs@dtzed.com。
在文末扫码关注官方微信公众号“idtzed”，发送“入”直通相关数治x行业共建群、AIGC+X 成长营，@老邪 每周免费领取法规、标准、图谱等工具包。
欢迎先注册，登录后即可下载检索人工智能等相关标准、白皮书及报告。更多高质量纯净资料下载，在文末扫码关注官方微信公众号“idtzed”，进入公众号菜单“治库”。
