近年来，人工智能技术颠覆性、跨越式突破引发通用人工智能新一轮发展热潮，全球人工智能行业实现高速增长。与此同时，人工智能引发的模型安全、劳动替代、能源消耗、生存性风险等问题凸显，全球人工智能治理进入规则构建的关键阶段。深入分析人工智能治理核心议题趋势动态，研究各国人工智能治理模式和实践经验，对于推动形成健康有序、包容普惠的人工智能发展环境、推进人工智能治理国际合作至关重要。
我国提出《全球人工智能治理倡议》着重指出，做好风险防范，不断提升人工智能技术的安全性、可靠性、可控性、公平性。人工智能风险治理已经成为把握未来人工智能发展的核心要素，也是全人类需要共同应对的时代课题。2024年12月24日起，中国信息通信研究院接连发布了《人工智能风险治理报告（2024年）》、《人工智能治理蓝皮书（2024年）》。此前，6000字全览新发布的《人工智能发展报告（2024年）》（附下载），报告立足产业新发展、新变化、新需求，聚焦新形势下全球人工智能发展重点，总结梳理人工智能技术创新方向、产业升级重点、行业落地趋势和安全治理进展，展望人工智能发展机遇。
一、人工智能风险的系统认识
人工智能在引领科技创新、赋能千行百业的同时，也伴随着多层次安全问题。一方面，人工智能系统自身存在鲁棒性不足以及不可解释性等疑难；另一方面，在人机交互过程中，人工智能内生风险进一步延伸，可能对个人组织、国家社会、全人类带来诸如隐私泄露、就业替代、不可持续发展等衍生安全问题（见图1）。安全问题的客观存在成为人工智能风险的诱因。系统运行中可能存在的失控或错误决策的内生安全问题，引发操作性风险。隐私侵害和歧视偏见等衍生安全问题，则随着人工智能应用的扩展，可能引发危害性更大的风险挑战。
人工智能风险可划分为内生风险和衍生风险。内生风险主要指人工智能系统自身所存在的风险，包括数据、框架、模型等自身安全带来的风险问题。比如模型存在缺陷、后门被攻击利用的风险，具体指人工智能算法模型设计、训练和验证的标准接口、特性库和工具包，以及开发界面和执行平台可能存在逻辑缺陷、 漏洞等脆弱点，还可能被恶意植入后门，存在被触发和攻击利用的风险。
再比如人工智能的生成“幻觉（Hallucination）”问题导致生成内容不可信风险。生成幻觉通常指模型按照流畅正确的语法规则产生的包含虚假信息甚至无意义内容的文本。OpenAI公司前首席技术官Mira Murati 指出，底层大型语言模型的最大挑战是会编造错误的或不存在的事实。
来源：中国信息通信研究院
图1 人工智能风险视图
人工智能内生安全主要集中在技术层面，包括数据、算法模型、软件和基础设施等。数据方面，一是有毒的训练数据和不规范的标注可能导致有害输出。训练数据来自现实世界，难免包含有害内容或被“投毒”，数据标注不规范也会降低数据质量，诱发输出错误、生成违法内容以及引发偏见等风险。
二是未经清洗处理的训练数据可能导致敏感信息泄露。训练数据可能包含未授权的敏感信息，如果数据未经适当保护、过滤或匿名化处理，可能导致敏感信息泄露。2024年11月，X公司在其隐私政策中声明用户信息会向第三方合作者共享，可能会被第三方用于训练包括生成式人工智能在内的人工智能模型。
算法模型方面，一是算法存在不可解释性问题。深度学习算法通常包含数以万亿计的参数，使得即便是技术专家也难以清楚解释其推导过程。当人工智能造成损害时，不可解释性使得责任难以明确，影响可问责性的有效实施。
二是模型存在被攻击风险。通过提示注入、输入扰动等对抗性攻击方法，模型可能被诱导生成错误或有害结果。同时，模型核心结构、权重参数和偏差等关键信息可能被窃取、复制或篡改，导致知识产权和商业秘密泄露，破坏市场公平竞争秩序，损害科研动力。
此外，与模型训练紧密相关的算力、网络、软硬件方面存在被后门攻击等风险。2024年10月，包括ChuanhuChatGPT、Lunary、LocalAI和DJL 在内的多个开源模型被曝存在安全漏洞，其中一些可能导致远程代码执行或信息盗窃。
人工智能衍生安全重点体现在应用层面，涉及个人隐私、组织财产、国家安全和社会公平等领域，并可能对全人类产生深远影响。衍生风险包括个人、国家社会和全人类等多个层面。
个人层面包括对个人隐私、自主性等人格尊严带来的挑战。个人层面，一是不当使用可能加剧信息泄露风险。随着人工智能的广泛应用，个人和组织需要提供大量数据，不当输入可能危及数据安全，导致个人隐私和商业秘密泄露。二是可能引发法律风险，如侵犯知识产权，或被用于犯罪、制造虚假信息等，同时也存在诱发伦理风险的可能性。
2024年2月，香港发生一起利用人工智能深度伪造技术的诈骗案，涉案金额达2亿港元。2024 年10 月，美国美国佛罗里达州奥兰多地方法院受理“全球首例AI机器人致死案”，14岁少年的母亲梅根·加西亚指控AI 公司Character.ai 存在管理疏忽，导致其聊天机器人产品诱导青少年开枪自杀。
国家社会层面包括对就业、公共安全、国家安全等带来的风险。国家社会层面，一是可能对社会舆论和政治安全带来挑战。通过生成虚假信息和有害言论，人工智能可能扰乱社交媒体秩序、破坏公众信任、威胁社会秩序，甚至干涉他国内政与社会稳定。
二是可能带来就业结构深度调整。人工智能的广泛应用可能引发部分就业岗位的消失和新兴就业形态的出现，带来劳动力结构调整。2024 年1 月，国际货币基金组织（IMF）发布报告表明，在新兴市场和低收入国家，受人工智能影响的就业岗位比例预计分别为40%和26%。
例如人工智能冲击就业市场，加剧财富分化与社会不公。据高盛研究报告分析，以美国为例，46%的行政工作和44%的法律工作将受到较高程度的影响。人工智能可以被用于制作虚假文本、音频、视频等深度伪造内容，进而实施政治干预、煽动暴力和犯罪等破坏公共利益、侵害国家安全行为。
全人类层面包括能源消耗、数字鸿沟、生存性风险等问题。全人类层面，一是引发能源担忧，人工智能的性能突破需要强大的算力支持，但模型训练过程中却导致了巨大的资源浪费和碳排放水平的上升。二是核武器、生化武器等两用物项的能力可能被滥用，威胁全人类安全。例如，模型训练导致大量资源消耗，抬高碳排放水平。研究人员指出，GPT-3模型能耗相当于1287兆瓦时的电力，同时产生552吨二氧化碳。
近一年来，前沿人工智能引发的生存性风险受到关注，从英国主导的系列AI安全国际峰会以及OpenAI、Anthropic、DeepMind等企业认识来看，化学、生物、放射和核（统称CBRN）滥用、自主复制等被认为是典型的生存性风险。Anthropic与顶级生物安全专家一起对其模型进行红队测试后，警告生物滥用风险可能在未来2–3年内成为现实。2024年9月，OpenAI承认，其最新模型o1“显著”增加了人工智能的能力滥用风险，在涉及化学、生物、放射性和核武器等问题时存在最高等级风险。
二、人工智能风险治理落地框架
在此背景下，推动面向产业界的人工智能风险治理框架落地已成为迫在眉睫的任务。本报告以安全性、透明性、公平性和可问责性等核心原则为指导，提出了一个集穿透式风险管控与全链条流程管理的落地框架，旨在提升企业人工智能风险治理能力，涵盖从风险识别、评估到有效应对的全过程。
来源：中国信息通信研究院
图2 人工智能风险治理框架
框架强调通过制度完善、文化建设和外部协作来提升系统治理能力，同时聚焦技术、应用和管理三个层面的风险识别、评估与应对，构建全链条的治理体系。在风险识别环节，框架从自身技术层和衍生应用层两维度着手，通过动态监测和多方协作，及时发现数据质量、算法模型、软件安全以及衍生风险等问题。
在风险评估环节，通过对风险进行评估量化与优先级划分，帮助合理配置资源。并根据技术迭代和社会变化，动态调整评估结果。在风险应对环节，为不同优先级的风险制定定制化方案，并动态优化治理措施。此外，框架明确技术和应用提供方在研发、部署和应用各环节的责任，强调多利益攸关方的合作与信息共享，以提升行业整体风险治理能力。
三、人工智能治理的体系框架
人工智能治理攸关全人类命运，具有典型的跨国界、跨学科、分散性、动态性等特征。联合国《全球数字契约》指出，人工智能具有积极和消极两方面颠覆性潜力，需要全球性和多学科的对话，以审视、评估和调整人工智能应用。近年来，全球部分国际组织、政府、企业、研究机构等均尝试从不同视角维度搭建人工智能治理体系框架。
从具体特点来看，现有治理框架分为以下几种类型：一是全面宏观的治理框架，对于推进国际合作具有重要意义，例如《联合国系统人工智能治理白皮书》所包含的风险类型和议题最为广泛，既有传统的透明度、数据和网络安全风险，也有近期广受关注的劳动替代、环境伦理等风险；既有监管执法难等挑战，又有发展方面的包容性、数字鸿沟等问题。
二是注重基于生产流程的全生命周期治理框架，体现人工智能治理的流程性。例如美国NIST 框架中的全生命周期包括设计、收集和处理数据、建立、使用和修改模型、开发和使用、操作和监控、使用或被影响的群体和生态等环节。中国信息通信研究院“可信人工智能总体框架”、“人工智能风险管理体系”均涵盖规划设计、数据处理、模型建设、测试验证、部署上线等阶段。
三是提出基于产业链或社会影响的分层治理，体现人工智能治理的产业逻辑。例如《联合国系统人工智能治理白皮书》提出基于计算机硬件-云平台-数据和人工智能模型-应用程序-服务的人工智能价值链，并针对不同环节提出存在的风险问题。哈佛大学AI治理框架提出社会和法律层、道德层和技术层三层框架等。芬兰图尔库大学AI 治理框架提出人工智能系统层、组织层和环境层三层框架。
四是侧重于某一类人工智能的风险管控框架，如遵循韩国首尔AI安全峰会承诺，OpenAI、Anthropic、Deepmind 等企业均提出前沿人工智能的风险管理框架。以Deepmind的《前沿人工智能安全框架》为例，提出风险预警评估、风险缓解措施、明确风险阈值，以及问责制、透明度等保障机制。
来源：中国信息通信研究院
图3 人工智能治理框架图
在梳理上述治理框架基础上，从新技术革命引发经济社会发展变革和历史经验出发，在“以人为本、智能向善”理念指引下，基于产业链条、治理链条、价值链条等底层逻辑，从What、Why、Who、How 四个维度搭建了“1244”治理框架，即一组概念、两类风险、四类主体、四组议题，力求框架的全面性、系统性和前瞻性，希望为加深人工智能治理体系研究、推进各方人工智能治理共识提供框架基础。
从治理理念来看，2023年10月，习近平总书记提出《全球人工智能治理倡议》，强调坚持以人为本、智能向善的理念和宗旨，为人工智能治理指明了根本性方向。框架整体以“以人为本、智能向善”为基本理念，坚持统筹安全和发展、活力和秩序、效率和公平的关系。
从治理主体来看，倡导多元主体敏捷互动治理、合作治理的思路，不仅改革创新政府横向监管模式，也为企业、专业机构等参与纵向治理提供充足空间，推进多元主体平等交流和协商对话。
从治理议题来看，在发展方面，负责任创新是人工智能治理的源头根本，存在算力供给不平衡、高质量数据集建设、开源模型生态治理等问题，提出基于产业链的“要素+场景”治理；可持续发展是人工智能治理的终极要求，提出公平普惠的包容性治理，围绕经济、社会和环境三个维度，协力应对数字鸿沟、能源短缺等问题，推动联合国2030年可持续发展目标实现。
在安全方面，安全可控是人工智能治理的底线基础，强调基于风险的全生命周期治理思路，亟需对透明度、红队测试、评估评测等工具细化落地；伦理先行是人工智能治理的价值导向，需关注通用人工智能等技术发展带来的人类主体性危机，强调通过敏捷治理、动态监测的思路，提前研判人工智能对人类生活、生产乃至生存问题带来的冲击。
四、我国构建四大层级制度体系
从横向来看，我国坚持人工智能发展与安全并重，强调国家主导，涵盖顶层设计、法律制度、部门规章和技术标准四大层面，形成了由政府引导、多部门协同、公私部门合作参与的全方位治理格局。2017年，国务院发布《新一代人工智能发展规划》，确立人工智能治理总体目标和规划，到2020年，部分领域的人工智能伦理规范和政策法规初步建立。2025年，初步建立人工智能法律法规、伦理规范和政策体系，形成人工智能安全评估和管控能力。2030年，建成更加完善的人工智能法律法规、伦理规范和政策体系。
已有立法为人工智能治理奠定扎实制度基础。《个人信息保护法》《网络安全法》《数据安全法》三部立法从基础设施、数据要素、自动化决策等方面对人工智能进行了要素治理，《民法典》《电子商务法》《反不正当竞争法》等立法针对性回应人工智能带来的肖像权侵犯、恶意竞价排序等问题。
部门规章方面，我国人工智能治理自2017年起至今经历了三个阶段，体现出急用先行的治理特点。第一阶段（2017-2020 年），技术普及尚处于起步阶段，技术创新主要体现在语音助手、智能家居和无人机等智能设备的兴起，主要风险集中在数据隐私等问题上。2017年，我国出台《互联网新闻信息服务新技术新应用安全评估管理规定》，要求涉及新技术和新应用的新闻信息服务开展安全评估。总体来看，该阶段主要以柔性治理为主，依靠政策引导和自愿参与等方式。
第二阶段（2021-2022年），算法推荐技术逐渐成为数字经济的重要驱动力，其应用范围从电商、短视频拓展至金融、教育等多个领域。技术滥用的典型表现包括“大数据杀熟”、信息茧房效应、虚假信息等。2021年，我国颁布《互联网信息服务算法推荐管理规定》，明确了平台、用户和政府三方主体的权责边界。其治理特点是强化平台主体责任。
《互联网信息服务算法推荐管理规定》第七条规定：“算法推荐服务提供者应当落实算法安全主体责任，建立健全算法机制机理审核、科技伦理审查、用户注册、信息发布审核、数据安全和个人信息保护、反电信网络诈骗、安全评估监测、安全事件应急处置等管理制度和技术措施，制定并公开算法推荐服务相关规则，配备与算法推荐服务规模相适应的专业人员和技术支撑。”
第三阶段（2023年至今），生成式人工智能迅速崛起，典型风险主要包括深度伪造、知识产权纠纷、不可控风险、劳动替代等，2023年，我国发布《生成式人工智能服务管理暂行办法》，明确了生成式AI 服务提供者的责任，包括确保数据来源合规、生成内容的标识性要求等。其治理特点体现为敏捷治理、多元治理等理念，推动多方共同构建跨领域、跨国界的治理生态。
标准方面，各部门围绕产业发展和风险治理出台多项人工智能标准，为企业合规提供具体指引。2020年7月，国家标准化管理委员会等五部门印发《国家新一代人工智能标准体系建设指南》，对人工智能的基础共性标准、支撑技术与产品标准等八个方面的治理目的和治理标准进行了明确规定。2024年2月，全国网络安全标准化技术委员会发布TC260-003《生成式人工智能服务安全基本要求》，重点针对语料安全、模型安全、安全措施、安全评估等事项进行具体指引，为生成式人工智能服务提供者的合规义务履行提供详细指导。
2024年7月，工业和信息化部等部门联合印发《国家人工智能产业综合标准化体系建设指南（2024 版）》，从基础共性标准、基础支撑标准等七方面明确标准化体系建设的重点方向，提出到2026年，我国人工智能产业标准与产业科技创新的联动水平持续提升，新制定国家标准和行业标准50项以上，引领人工智能产业高质量发展的标准体系加快形成。2024年9月，国家网信办发布强制性《网络安全技术人工智能生成合成内容标识方法（征求意见稿）》标准，明确细化了《人工智能生成合成内容标识办法（征求意见稿）》中的标识要求和具体操作指引。
实践方面，我国形成监管备案、伦理审查和安全框架三个维度相互独立又紧密关联，各有侧重但相辅相成的制度保障体系。在监管备案方面，随着备案项目数量的不断增加和用户基础的扩大，监管备案制度在增强透明度、保障用户权益以及推动行业健康发展方面发挥了愈发重要的作用。在伦理审查方面，通过推进人工智能等领域的伦理审查方法，为行业发展提供了科学的指导工具。
未来，如何进一步明确人工智能科技伦理审查范围、审查标准、审查流程，推动人工智能科技伦理的技术化、工程化、标准化，成为各方关心的问题。在安全框架方面，《人工智能安全治理框架》1.0版本（详细了解：《新出炉人工智能安全治理框架 开发应用有指引》）的发布进一步完善了治理的落地指引工作。这一框架分为7个子类，共26 项具体内容，从风险识别、防控到治理，明确了人工智能安全发展的方向，为行业构建了安全管理的“防火墙”。
全文下载：
1. 人工智能治理蓝皮书（2024年）
2. 人工智能风险治理报告（2024年）
来源：本篇摘编自《人工智能治理蓝皮书（2024年）》、《人工智能风险治理报告（2024年）》，中国信息通信研究院。下载文档请在数治网微信公众号对话框内发送“241230”。图片：Google Deepmind，Unsplash
一条评论