随着人工智能技术在各行业的广泛应用，既面临数据隐私与安全、算法偏见与透明性、法律与监管压力、知识产权侵权等共性挑战，在创新的同时又因行业特性而遭遇独特难题。各行业在人工智能风险治理层面都各自采取了行之有效的策略与实践，这些治理措施的核心在于提升人工智能技术的可信度与合理应用，推动行业创新发展的同时保障社会和用户权益。
在此选择了四大典型行业，除了涉及较为通用的人工智能治理方案（从建立治理组织架构到制定治理政策的制定）外，还结合不同的行业属性，重点从人工智能在行业中的战略定位、风险治理和应对情况等方面阐述其特有的治理方案。
一、互联网行业
1、互联网行业的人工智能治理痛点
互联网行业的人工智能伴随着AIGC大模型算法的爆发而得到了更加广泛的应用，并且呈现出三层划分和模型服务化的趋势。伴随着ChatGPT的横空出世，人工智能真正实现了和人类“对答如流”的能力，能够理解各式各样的需求，完成回答、短文和诗歌创作、代码写作、数学和逻辑计算等任务。同时图片、视频、音频的创作，也伴随着AIGC技术的开源得到了广泛的发展。
AIGC在互联网应用生态和内容消费市场也迎来了繁荣的发展，其代表应用是自动生成图文内容，如文章、博客、帖子等；其次，AIGC在内容质量和生产效率方面也得到大大提升，通过从海量数据中学习并识别人类可能看不到的模式，产生了更多高质量的内容。
然而，随着人工智能在互联网行业的应用，由于互联网行业的高迭代性和面向客户的多样性的特点，随之而来的风险也渐渐显露出来：
- 1）数据隐私和安全风险：人工智能技术需要大量数据进行训练，这涉及到对个人隐私数据的收集和处理，可能导致隐私泄露和数据滥用、开放不可控的问题。数据安全风险随着行业和领域接入人工智能模型的普及而日益突出，如果出现数据泄露事件，将会给企业带来经济和声誉损失。
- 2）算法偏见和歧视：人工智能系统可能会因为训练数据的偏差或算法设计的问题，导致对某些群体不公平对待的现象。这种偏见可能会在招聘、信贷、定价等领域导致不公平决策。
- 3）网络安全挑战：人工智能技术的应用提高了网络攻击的技术知识与能力，攻击者可能利用人工智能发现漏洞、发起更隐秘的攻击。同时，人工智能系统可能基于社会工程学知识生成网络钓鱼信息，增加网络攻击的风险。
- 4）知识产权侵权风险：随着人工智能技术的发展，尤其是人工智能绘画和文本生成等应用的普及，可能会侵犯原创作品的权利，或者在生成的内容中夹杂违反公序良俗的不当信息。
- 5）人工智能输出的不准确性：生成式人工智能作为一种基于概率模型的技术，可能存在误差或放大训练数据中的偏差，影响输出的准确性，甚至产生“幻觉”。
- 6）法律和监管挑战：随着人工智能技术的发展，现有的法律和监管可能难以适应新的技术环境，需要及时地更新和完善，以应对人工智能带来的新问题。
- 7）人工智能竞赛导致的压迫：人工智能技术的发展可能导致某些组织或国家在人工智能领域形或局部优势，利用技术或供应链优势在诸如芯片、技术专利等场景对其他组织或国家进行封锁和打压。
- 8）社会伦理风险：人工智能技术的发展可能引发如:失业恐慌、知识产权，以及影响正常社会秩序等问题。
2、互联网行业的人工智能风险应对：技术治理兼顾业务风险
面对以上风险，互联网行业采取了体系化人工智能风险治理方案，在应用技术和兼顾业务方面取得平衡。
- 1）重点关注数据隐私与合规风险治理：遵循数据收集使用、个人信息处理的安全规则，严格落实用户控制权、知情权、选择权等法律法规明确的合法权益。对个人信息进行加密，尤其是在传输和存储过程中，并采用强密码和多因素身份验证以确保只有授权人员可以访问数据;
- 2）数据权限最小化与匿名化处理：明确所需的最小数据集，避免过度收集用户信息，采取匿名化处理措施，如敏感数据脱敏处理等；
- 3）加密技术与访问控制：采用先进的加密技术保护数据隐私，并建立严格的访问控制机制，做到不低于一般互联网安全的要求；
- 4）用户赋权与同意机制：明确告知用户数据将如何被使用，并征得用户的明确同意，为用户提供便捷的数据访问、修改和删除渠道；
- 5）强化人工智能的伦理与偏见消除：定期评估人工智能模型，确保其在数据处理和决策中不产生偏见，并设立伦理审查机制；
- 6）引入“可控沙盒”机制，在安全风险可控的前提下，允许创新产品技术服务或商业模式在真实市场环境中进行深度测试，如内侧产品等。
二、医疗健康行业
1、医疗健康行业的人工智能治理痛点
在医疗健康行业，人工智能技术由于其特性，被较早应用在制药领域、疗效建模和基于数据的疾病预防领域中，例如：
- 医疗产品设计：如影像检测等；
- 新药发现：用于分子间测试模拟；
- 大型设备研发管理：在大型设备研发仿真测试使用；
- 医生培训与知识库：利用大模型建立医生培训和知识库；
- 内部管理：应用于销售库存管理、一般客服和推广等通用方面；
- 远程医疗设备耗材管理：远程医疗设备和耗材的管理。
但由于人工智能技术先天存在的不可追溯性、可靠性不足等特征，导致人工智能的使用场景扩展较为缓慢。较为常见的痛点和难点有：
- 1）数据碎片化问题：医疗行业数据源分散、不一致、密闭且不可透露，导致人工智能应用不一致。例如，药名和品名的不一致性，以及数据和健康技术应用场景的数据质量问题；
- 2）数据质量一致性问题：已审批的治疗方案多集中在特定病种类，国内主要在影像筛查领域，而非生成人工智能，原因包括数据质量一致性问题；
- 3）医药数据可追溯性与一致性:医药行业要求数据可追溯性和一致性，数据标签也需要一致性，存在专业门槛；
- 4）数据封闭性与多样性：数据具有一定的封闭性，同时也存在多样性问题，需要更广泛的数据内容。
医疗行业还存在诸多其他风险挑战，如：
- 1）数据泄露与滥用：输入端数据泄露风险，如甲方数据滥用，以及算法产权问题；
- 2）算法透明性与数据溯源性：存在疑问，人工智能主要用于辅助过程；
- 3）部署方式问题：数据版本和算法更新频次无法保证，SaaS服务上的数据召回存在问题；
- 4）人工智能结果可信度：人工智能产生的结果可信度问题，人工复审成本和风险，以及语料来源的可信度问题。
2、医疗健康行业的人工智能风险应对
- 1）审批流程与合同约束：通过审批流程和合同约束来控制供应链。建立严格的审批流程，确保所有人工智能应用和数据处理活动都经过审查和批准。在合同中明确规定数据使用范围、保密义务和违约责任，以法律形式约束合作方行为。
- 2）供应链控制：对供应链进行严格管理，确保数据来源的合法性和安全性。实施供应链风险评估，识别潜在风险点，并制定相应的风险缓解措施。
- 3）人工智能垂类局限与长期确认方案：对于人工智能应用的垂直领域，采用长期确认方案，确保人工智能效果的一致性和可靠性。定期评估人工智能应用的效果，与预期目标进行对比，确保人工智能应用的长期有效性。
- 4）人工智能应对方案：建立事件响应机制，按照风险事件进行处理，确保在出现问题时能够迅速响应。制定详细的应急计划和流程，包括事件报告、评估、处理和恢复等步骤。
- 5）人工智能安全人才培养：鼓励实践教学，打造实网、实兵、实战的课程体系，拓展传统安全人员在人工智能领域的安全技能域。
三、智能制造行业
1、智能制造行业的人工智能技术风险痛点
近年来，随着传统制造业的数智化转型，数字科技、人工智能技术的赋能也给传统制造业带来了很大变化。
人工智能在制造行业的主要应用场景包括:
- 1）智能生产制造：人工智能技术提高了生产效率和产品质量，实现了协同操作，降低了成本，提升了产量，满足了智能化和柔性化的生产需求。
- 2）物联网结合：人工智能技术与物联网相结合，主要应用于工业机器人和数控机床，推动智能工厂自动化，逐步替代人工进行零部件拆卸等工作。
- 3）供应链优化：人工智能分析和预测帮助实现供需匹配，优化供应链管理。
- 4）研发设计：人工智能技术在自动机械设计、零部件参数优化、数字孪生仿真分析等方面发挥作用，辅助工程师设计过程，降低计算量，提升效率，并帮助编写报告文本。
然而，随着人工智能技术的不断应用，相应的问题也接踵而至：
- 1）智能化基础差异：不同分公司间智能化基础差异大，缺乏统一解决方案，人工智能起点和实施方式不同，难以形成规模化推广。
- 2）实时性、可靠性、准确性要求：场景应用要求高，尤其在连续性和安全性上有高标准，对生产及时性有很高要求。在处理突发未知事件上存在不足，灵活性不足。
- 3）成本问题：产品多样性导致ROI产出担忧，场景周期长，增加软件开发成本，技术人力和算力成本较高，技术人员储备不足。
- 4）人的阻力：智能化转型影响原有人群既得利益，存在对新工具的抵触情绪，担心增加工作量或被替代。
2、智能制造行业的人工智能风险应对
- 1）提高通用性：提升应用场景的通用性，补全基础薄弱场景，提高基础建设。
- 2）提升场景洞察准确度：提炼核心需求，逐步推广人工智能方案，满足人工智能的通用性和可扩展性。
- 3）管理指南：制定具体操作指南，推荐机器学习和算法，提升模型性能。
- 4）优化算法：进行生态合作，数据共享，提升数据重复利用率，降低数据处理成本。
- 5）培训与意识提升：对管理层和基础岗位员工进行培训，形成数智化思维，提升对人工智能的管理意识，鼓励学习与企业共同进步。
四、金融行业
在金融行业中，人工智能大模型的应用越来越广泛，场景涵盖智能客服、智能营销、智能研发、智能风控、智能运营、智能投研、智能办公等场景，同时渗透到了各个细分领域，为银行业务、证券交易、保险理赔、基金管理和期货交易等带来了革命性的变化。
银行业通过自研人工智能大模型，旨在全面提升业务运营效能、优化风险管理框架、加强合规和内控管理，并深度改善客户服务体验等。这些模型凭借强大的数据处理与分析能力，能够高效地自动化处理海量金融数据，如客户交易记录、市场趋势预测、信用评估等关键信息，从而实现对业务场景的深度洞察与精准决策，凭借强大的信息搜索和生成内容，促进内控、合规和风险管理意识和技能的提升。
证券行业利用人工智能大模型进行智能投研和量化投资，为投资者提供了更加科学、精准的投资决策支持。这些模型能够实时分析全球市场数据，快速捕捉投资机会，并自动执行交易策略，有效提升了投资效率与收益水平。
保险行业通过模型的深度学习与预测能力，能够更准确地评估风险、定价产品，并为客户提供更加个性化、精准的保险服务，进一步提升了保险行业的服务品质与运营效率。
基金和期货行业也积极探索人工智能大模型的应用，利用人工智能模型进行投资策略的制定和优化，提高了投资回报率和风险管理能力，并利用人工智能模型进行市场趋势预测和风险管理，为投资者提供了更加高效的投资选择，助力市场的健康发展。
1、金融行业中的人工智能技术风险
人工智能技术在金融行业中带来了诸多便利和效益，同时也带来了不容忽视的风险，这些风险不仅可能威胁到客户的个人利益，还可能引发系统性风险。
首先，数据安全和隐私保护是金融行业的首要问题。通过成员推断攻击、模型提取攻击、对抗样本攻击、提示注入攻击等数据泄露攻击手段，可能导致隐私侵犯、财产损失、信誉受损，甚至法律责任等问题。
人工智能模型由于依赖大量数据进行训练和微调，容易引发数据泄露问题，一旦数据泄露或被恶意利用，将对客户隐私和金融机构的信誉造成严重损害。
其次，模型的偏见性和不透明性也是潜在风险。人工智能在处理数据或生成输出时表现出的不公平或歧视性倾向，可能导致不准确或不合理的决策结果，损害金融机构及客户的利益和信誉。人工智能模型的决策过程复杂且不透明，可能导致不公平的决策结果或系统性风险。
最后，模型欺诈也是潜在风险。在利用人工智能大模型进行内容生成时，可能生成虚假新闻、虚假评论或虚假的社交媒体内容等，导致影响公众意见、操纵市场或诽谤他人。在实施业务决策过程中，如贷款批准、股票交易建议等，人工智能可能被篡改或误导，以做出有利于特定个体或团体的决策。人工智能系统被操纵以生成或模仿虚假信息，可能会误导或损害他人利益。
2、金融行业的人工智能风险应对
为了应对上述风险，金融机构建议采取一系列的风险应对措施。
首先，加强数据保护和隐私管理，建立完善的数据加密、访问控制和备份机制，确保数据的完整性和安全性。如采用对称加密、非对称加密、同态加密、差分隐私等技术可以保护数据和模型的安全，提升数据的隐私性和完整性，防止未经授权的访问，减少了数据泄露和模型提取的风险。
其次，人工智能模型开展对抗训练，通过引入对抗样本，使模型具有更强的鲁棒性。对抗生成网络、对抗优化算法等技术可以使大模型更难以被攻击，进而提高模型的可靠性。
最后，提高算法的透明度和公平性，公开算法的原理和决策过程，接受第三方机构的审计和评估。同时，加强技术故障和人为操作失误的监控和预防，建立完善的应急响应机制，构建人工智能安全与合规事件的应急响应机制，提升处置能力，确保人工智能系统的稳定性和可靠性。
具体的风险治理体系落地措施包括：
- 1）建立风险治理组织架构：明确风险治理的职责和分工，设立专门的风险治理委员会或风险管理部门负责人工智能风险的识别、评估、监控和响应。
- 2）制定风险治理政策：制定人工智能风险治理的相关政策和制度，明确风险治理的目标、原则、措施和流程，确保政策制度的科学性和有效性。
- 3）实施风险监测和预警：建立风险监测和预警系统，实时监测人工智能系统的运行状况和风险状况，对风险进行量化分析和评估，及时有效预警风险。
- 4）加强风险响应和处置：制定风险响应和处置预案，明确应急处置的流程和措施，加强应急演练和培训，提高应急处置的能力和效率。
- 5）推动人工智能技术创新：加大对人工智能技术的研发和创新力度，推动技术升级和迭代，提高人工智能系统的性能和安全性。
- 6）建立灵活人工智能基底框架：适应人工智能基底模型的快速升级和迭代，同时也能保障业务的连续性和质量保障，降低研发和运营成本。
- 7）完善人工智能人才培养体系：人工智能技术的应用，对业务人员和技术人员的技能提出了新的要求，应完善人才培养体系。
综上所述，金融行业在享受人工智能技术带来的便利和效益的同时，也需要关注其潜在的风险和挑战。
通过加强数据保护、提高算法透明度、建立完善的风险治理体系等措施，金融机构可以有效地应对人工智能风险，确保金融行业的稳健发展。
五、人工智能治理最佳实践
人工智能治理在不同行业的应用面临多种挑战，如数据隐私与安全、算法偏见和透明性问题，以及法律与监管压力等。针对这些挑战，各行业需结合其自身特点制定相应的治理方案，例如通过隐私保护和合规管理减少互联网行业的伦理及安全风险，优化医药领域的数据一致性和算法适用性，加强智能制造的技术采纳与成本控制，以及在金融领域强化模型透明性与风险防控。
在可信人工智能治理的发展过程中，人工智能技术的发展已在多个行业中得到广泛应用，企业在应用人工智能技术时普遍关注业务优化、竞争力提升以及流程效率改进。然而，在人工智能治理方面，许多企业仍处于探索阶段，尤其是在可信人工智能的治理框架、内部政策和风险评估机制上表现出明显差异、短板。可信人工智能治理既需要在行业中不断完善治理框架，也需要在技术、数据、伦理、政策等方面进行全方位协作。
1、明确可信人工智能治理的责任主体
大多数企业当前将可信人工智能治理工作交由技术团队负责，然而，可信人工智能治理是一项需要多方联动的系统性工程，单纯依赖技术团队可能导致治理视角局限。建议企业在明确技术团队主导责任的同时，强化跨部门协作机制，例如由风险管理部门统筹风险评估、法律合规团队参与算法合规性审查、管理层制定战略方向，并通过全员培训提升治理意识，确保治理工作贯穿人工智能系统的全生命周期。
2、制定可信人工智能内部政策与指导原则
企业在制定人工智能内部政策时，主要参考《中国人工智能相关法规与标准》（占比38%），其次是国际标准（如ISO/IEC42001-2023人工智能管理体系，占比25%）和行业框架（如ISACA DTEF，占比14%）。未来可进一步推动国际标准与国内法规的融合，例如由行业协会牵头，结合国际标准（如NISTAIRMF、ISO/IEC42001）和本土化要求（如《生成式人工智能服务管理暂行办法》），制定适配行业特性的统一治理框架，提升政策的可落地性。
3、推动技术与伦理的平衡发展
调研中伦理性问题关注度较低，但其重要性将日益凸显。企业在技术开发时应主动融入公平性、透明性和可解释性，确保人工智能技术的可持续发展。
4、引入闭环风险评估和改进机制
多数企业已开展人工智能风险评估，但评估点关注集中在模型性能、数据安全和隐私保护层面，对伦理性和长期战略融合的风险关注不足。建议建立全面的闭环评估机制，涵盖模型性能、数据管理、伦理性及长期战略融合，并通过定期更新确保评估的动态适配性。
5、跨部门协作与员工培训
企业在可信人工智能治理中需要更多跨部门协作，包括IT、安全、法律和业务部门的联合参与。同时，针对不同员工角色(如开发人员、管理层、业务团队)开展分层次的可信人工智能培训是成功实践的重要因素。
一些专业机构和行业协会提供的培训和个人职业认证计划不仅能帮助企业弥补现有员工的技能差距，还能为招聘人才填补岗位空缺提供技能标杆。
可信人工智能治理是技术创新与社会责任的平衡之道。在未来的发展中，企业需要在治理框架的完善、技术的动态适应、数据管理与隐私保护、伦理性与公平性强化、系统安全与风险评估等方面持续努力。通过行业间的协同合作和标准化推进，可信人工智能治理不仅可以帮助企业规避风险，还能释放人工智能技术的最大潜力，为社会经济发展创造更多价值。
构建可信人工智能的未来，需要各方共同努力：企业需主动承担治理责任，行业组织需推动标准化体系建设，政府需完善法律法规并加强监管，国际社会需加强合作与互认。只有通过多方协作，才能在人工智能技术高速发展的浪潮中，构建一个安全、透明、公平的可信人工智能生态体系，让人工智能技术真正造福全人类。
一文让你和DeepSeek展开全局对话 用AI工具打败工具人，数治网院iDigi 即将推出AI+数据素养体系课程，为运营管理、市场营销、销售客服、产品研发、财务管理、人力资源等六大不同岗位人群充分利用DeepSeek等AI工具，课程将以入门到精通的工作全流程操作指引，涵盖数据素养、效率优化、文档辅助和内容学习四个方面三步进阶，逐步优化日常工作流程，实现效率和质量双重提升。
扫码申请素养测评，即可15分钟AI适配“一人一表”“一人一课”。只需¥199开卡体验单课时，激活完成自主学习、预约导师开讲、Q小治答疑、实操练习、分享心得等任务，参与评选“学习显眼包”赢数治Pro学习卡、盲盒！
来源：《可信人工智能治理调研报告》，ISACA中国，获取完整文档请在数治网微信公众号对话框内发送“250214”。
一条评论