人工智能技术作为使能技术，具有“头雁”效应，能够赋能千行百业，影响面广且影响程度深远。人工智能伦理风险也因此或凸显，或隐藏在各个人工智能技术被广泛应用的场景中。人工智能伦理风险可能导致各类伦理问题的出现，极端情况下可能引发重大公共安全问题等伦理危机。有必要对常见人工智能技术在具体场景中应用产生的伦理风险进行分类、识别与分析，以在人工智能技术从研发到工程转化和场景应用的全生命周期中提前规避和最大程度消解其伦理风险。
基于人工智能的敏捷治理原则，为促进研发机构和企业提供市场公众和政府监管等利益相关方理解、易用、敢用并用好的人工智能技术，对人工智能全生命周期中主要阶段的伦理风险进行分解分析，提供一个人工智能伦理风险分析和分类方法，并选取典型场景对其中的代表性伦理风险进行分析。
在此从自动驾驶、智能媒体、智能医疗、智能电商、智能教育和科学智能等6个典型场景，使用上述人工智能伦理风险分类识别和分析矩阵，对场景中人工智能技术应用的伦理风险进行分析，在人工智能技术和技术应用的管理、研发、供应和使用中作为积极的构成要素，有助于在人工智能技术应用的伦理风险发生前预判、规避和化解。
1. 自动驾驶
自动驾驶即指车辆在搭载先进传感器、控制器、执行器的基础上，在特定的设计运行范围内，能自主获取和分析车内外信息，持续地处理部分或全部动态驾驶任务，包括单车智能和车路云深度协同等。自动驾驶是人工智能技术最受社会公众关注的应用场景之一。
第一类技术型伦理风险的代表，是环境感知、行为决策和运动控制等自动驾驶应用对可问责性这一伦理准则的影响。自动驾驶的终极目标是自主决策实现无人驾驶，但由于道路、行人和天气情况的复杂多变，计算机视觉算法的不够成熟可靠，以及目前传感设备识别能力有限等问题，导致现阶段自动驾驶汽车事故频发。事故原因多元而难以追溯，并且现有的制度规范也未建立完善，为自动驾驶新增了问责困难的伦理风险。
第二类应用型伦理风险的代表，首先是自动驾驶汽车的操控权和自主决策行为对以人为本、合作和公平等伦理准则的影响。自动驾驶系统对车主操控权的适时归还以及车主的适当使用等问题已经引发了伦理争议。面对“电车难题”等不可避免的道德困境，自动驾驶系统代替人类做出的选择，可能隐含着数据、算法、系统和人为歧视，并可能把个体的偏差放大到社会面。此外，由于不同国家和地区的文化背景和价值观不同，自动驾驶系统很难有一个普适的道德责任框架，这对国际合作和统一提出了挑战。其次是驾驶数据包括导航数据对隐私这一伦理准则产生的影响，主要是座舱数据对驾驶员和乘员的人脸、声纹、指纹等生物识别特征数据的采集。车外数据对交通参与者人脸和车牌等个人信息的采集，以及导航数据对行驶轨迹的采集，也侵犯了其他交通参与者的隐私。
第三类混合型伦理风险的代表，是驾驶数据、车联网和车路协同对主动安全和被动安全两大伦理准则的而影响。海量驾驶数据的价值已然巨大，而重要敏感区域的地理信息、车辆流量、汽车充电网等能够反映经济运行情况的数据更关系到国家安全和公共利益，对安全提出了更高要求。此外，车联网和车路云协同使得黑客能够远程操控、影响和攻击车辆，影响道路交通安全，并衍生高科技犯罪和破坏公共安全的伦理风险。
2. 智能媒体
智能媒体场景关注人工智能技术在社交媒体方面的应用，能够提高信息传播效率、人机交互体验、内容质量与丰富程度。人工智能技术对社交媒体的赋能也带来了伦理风险。
第一类技术型伦理风险的代表，是智能内容处理和生成应用对可问责性和透明两大伦理准则的影响。深度合成技术特别是深度伪造的发展带来了虚假信息甚至虚假账号的可能性，使得海量的音视频和图像需要接受检测。因此，这些深度合成的内容通过各类社交媒体传播，导致信息本身和信息发布者的失真与难以分辨。进而，这些虚假信息可能衍生其他领域的伦理风险，比如影响公安领域的网络舆情监控有效性、导致特定人员声誉受损等。
第二类应用型伦理风险的代表，是智能网络社交应用对以人为本、公平和隐私等伦理准则的影响。网络社交的兴起使得原本只在家人朋友和同事邻里之间分享的私密生活，可以被用户线上展示分享并收获关注。但这首先带来了隐私泄露的伦理风险。其次，社交平台的推荐算法应用可能驱动这些内容甚至隐私向更多人开放，缩短了被他人获取和分析的链条，可能加剧造谣、污蔑、歧视甚至网络暴力等伦理风险，并衍生如高科技犯罪、诈骗和破坏社会信任关系等伦理风险。最后，社交平台的推荐算法机制可能使得伤害性和反智性言论更易扩散，并加剧“信息茧房”、“回音室”以及群体极化等伦理风险。
第三类混合型伦理风险的代表，是海量社交数据以及敏感信息对主动安全和被动安全两大伦理准则的影响。一方面，海量社交数据的产生对数据和网络安全提出更高要求。另一方面，一些政治或经济相关虚假信息的传播，信息推送中特定词语插入对用户情绪和行为的干预与诱导，以及机密信息的泄露和扩散，也可能造成意识形态和社会舆论方面的伦理风险，甚至威胁国家安全。
3. 智能医疗
智能医疗场景是人工智能技术在医学场景的赋能与应用。医学自身已是一个伦理敏感的场景，对于人工智能技术应用于医学，极有可能放大或变形传统医学场景的伦理风险、新增或产生混合的伦理风险，需要特别关注。
第一类技术型伦理风险的代表，是智能手术机器人和智能医学影像分析等涉及自主能动性的人工智能应用对可问责性这一伦理准则的影响。在智能手术机器人协助手术过程中因为医生操控失误或机器故障引起的医疗事故，现阶段仍没有对如何划分责任形成共识。智能医学影像分析等“ AI +医疗”技术亦存在类似的责任划分困境，其分析结果对医生的正确判断可能产生的影响必须纳入考虑。
第二类应用型伦理风险的代表，首先是脑机接口应用对以人为本这一伦理准则的影响。脑机接口是人工智能和医学的代表性交叉技术，由于直接作用于人体，可能造成对大脑组织的创伤和感染，其安全和伦理风险和争议较大。另一方面，未来可能发生的黑客攻击和意念控制将导致人类自由意志受到巨大威胁，更是将有关人脑的手术对自由意志的可能影响的伦理风险进行了极度放大或变形。其次是可穿戴式设备、智能医疗信息平台等对隐私、共享和公平等伦理准则的影响。随着现代人对日常健康监测重视，这些设备或平台大量采集人体的生物特征数据并进行分析处理、辅助诊断和医学研究。使用者难以保障数据的删除权、存储权、使用权和知情权，且由于这些数据多是生理信息而显得更为敏感，将对患者隐私的侵犯可能性进行了放大。另外，智能医疗设备的高昂费用和使用门槛，也放大了原本的数字鸿沟和医疗资源不均衡等问题，对共享和公平两大伦理准则产生进一步影响。
第三类混合型伦理风险的代表，是人工智能驱动的人类增强应用对主动安全和被动安全两大伦理准则的影响，脑机接口技术也在此列。可能的黑客攻击和干扰、数据窃取等对相关设备联网的主动安全提出了要求，而相关设备对人脑或人体的直接接触和影响也对其可控性、可靠性和鲁棒性等被动安全提出了要求。
4. 智能电商
智能平台场景主要是人工智能技术赋能的电商和服务平台，能够为消费者在线提供各类产品和服务，做到个性化、精准化和高效化。
第一类技术型伦理风险的代表，是推荐系统对可问责性这一伦理准则的影响。由于用户一般只关注推荐排名靠前的商品，不良商家能够通过推荐和排序算法背后的一系列操作获得优先推荐的机会，可能导致电商平台陷入伦理争议并形象败坏。同时，平台和商家的责任划分，甚至消费者如何选择，均引发伦理争议。
第二类应用型伦理风险的代表，是推荐系统和智能调度系统等人工智能技术应用对以人为本、共享、公平和隐私等伦理准则的影响。一方面，电商平台使用的算法可能过度诱导消费并导致“信息茧房”，用户被反复加强和固化的消费偏好也可能破坏市场的有序竞争和创新活力。另一方面，平台可能根据用户的历史交易记录、交易习惯等特征，甚至“窃 听”或“监视”聊天记录，利用算法在价格等方面实施不合理的差别待遇或进行针对性推送，造成不公平竞争甚至欺诈行为。如近年来被广泛曝光的“大数据杀熟”现象，便严重违反了消费者的合法权益，破坏了市场秩序。而服务平台则主要依靠智能调度系统为消费者提供各类服务如外卖、跑腿和用车等，虽然提高了效率，但缺失了人性关怀的温度，可能导致在算法控制与归训下的员工陷入为按时完成任务而采取违规违法行为的伦理困境，对自身、平台和公众均产生风险隐患。
第三类混合型伦理风险的代表，是消费数据和管制物品流通对主动安全和被动安全两大伦理准则的影响。一方面，海量且全面消费数据能够反映国家经济发展运行态势；另一方面，多样的电商平台伴随着现代物流服务，使得枪支、入侵生物、危化品等管制物品的流通难度和成本降低，且提高了监管和追缴难度。这些均对国土安全、经济安全等提出了主动安全和被动安全方面的更高要求。
5. 智能教育
智能教育是人工智能技术在教育领域应用产生的新形态，有望对教育技术、教育目标、教育理念以及教育治理等产生变革性影响。教育是社会发展的动力源泉，智能教育场景的伦理风险需要进一步重视。
第一类技术型伦理风险在智能教育场景尚未凸显，现阶段主要体现在算法黑箱对透明这一伦理准则的影响。
第二类应用型伦理风险的代表，首先是智能化学习和评价应用对以人为本和公平等伦理准则的影响。学习者的独立思考和教育者的评价、关怀，对学习者的学习成效和积极性非常重要。但智能学习内容推荐应用可能导致学习者遭遇“信息茧房”而使知识结构和认知的片面化；“拍照搜题”可能惰化学习者思维和独立思考能力，违背教育教学规律等问题。智能教育缺失了教育的人文关怀，也可能因数据、算法或人为歧视而放大原本的人工偏差。其次是各类智能教育产品和服务特别是学习监测相关应用对隐私这一伦理准则的影响。学习者一方面可能意识不到数据和隐私被滥用或泄露，另一方面类似电子标牌、点阵笔和摄像头等用于监测学生上课和写作业情况的设备，更对学生形成了“环形监狱”，模糊家校界限并侵犯个人隐私。还有智能教育产品和服务对共享和公平两大伦理准则的影响。教育公平是最大的机会公平，智能教育产品和服务的费用和使用门槛，也放大了原本的数字鸿沟和教育资源不均衡等问题，对共享和公平两大伦理准则产生进一步影响。
第三类混合型伦理风险的代表，是智能教育技术对数据、算力和网络的需求而产生的对主动安全和被动安全两大伦理准则的影响。人工智能技术对教育领域的赋能大幅提高了教育数据的价值，也令更多教育资源暴露在网络空间中，从而对数据和网络安全提出了更高要求。
6. 科学智能（AI for Science）
AI for Science场景指的是人工智能技术可有效赋能传统科学领域的研究，比如计算育种、计算材料学、计算生物学、计算天文学和计算社会学等等，同时包括了对人工智能技术自身的研究。
第一类技术型伦理风险的代表，是人工智能算法训练过程对透明这一伦理准则的影响。目前主流的人工智能算法一般不具有全局可解释性或仅具有局部解释性，被称作“算法黑箱”。深度神经网络是黑箱问题的代表性算法。“算法黑箱”直接催生了人们对透明的伦理需求，并进一步在具体应用场景对可问责性和透明等伦理准则产生影响。
第二类应用型伦理风险的代表，首先是人工智能算法训练过程对共享和公平两大伦理准则的影响。某些人为设计的价值取向或训练数据集的缺陷可能会引发整体的偏见和歧视问题。并且，由于这些偏见和歧视是隐藏在算法决策的黑箱中，人工智能算法可能会在不易被人察觉的情况下侵犯公众的正当权益、放大人类社会固有的偏见和歧视。其次是人工智能算法训练中的数据对隐私这一伦理准则的影响。人工智能模型的训练依赖大量的数据，然而，现阶段用于科研的数据获取、使用和存储尚未有明确的规范。一些科研机构用于科学研究的图像和数据，存在侵犯个人的肖像权、隐私权和知情权等的伦理风险。同时，这些敏感数据的存储与二次开发也带来了一定的伦理风险，可能被不法分子滥用。人工智能技术增加了暴力获取数据的可能性或降低了数据获取的成本，加剧了传统的大数据技术本身对隐私这一伦理准则的冲击。最后，现阶段人工智能技术对算力的需求也对可持续性这一伦理准则产生重要影响，最直观的伦理风险可能发生在人工智能技术运用到环境治理时。一方面，人工智能技术赋能传统环保行业，助力解决可持续发展所面临的污染排放估算、资源合理分配等问题；另一方面，人工智能模型的训练、推理等计算也消耗着大量资源。更进一步的，为了提高人工智能模型的计算精度以及鲁棒性、泛用性等模型表现，“唯性能论”更倾向使用大规模预训练模型和规模更大的数据集，需要非常可观的计算资源，不可避免地大幅度增加能耗。
第三类混合型伦理风险在人工智能算法的训练过程中并未凸显，将在更为具体的场景中进行分析。
本文摘编自国家人工智能标准化总体组、全国信标委人工智能分委会于2023年3月发布的《人工智能伦理治理标准化指南（2023版）》，全文下载：
人工智能伦理治理标准化指南（2023版）
更多标准、白皮书、报告等高质量纯净资料下载，在文末扫码关注官方微信公众号“idtzed”，进入公众号菜单“治库”，或按自动回复发送引号内关键词。
