当前人工智能在多个行业中得到应用，但大多数企业仍处于技术规划阶段，成熟度较低。企业在人工智能投入方面呈现两极分化，技术使用模式上主要依赖外部产品。人工智能应用过程中面临技术和业务流程融合、数据安全和算法合规性等挑战。
可信人工智能治理是破解风险、实现长期价值的关键路径。在ISACA中国正式发布《可信人工智能治理调研报告》中，通过对全球可信人工智能治理现状的分析，指出了企业在人工智能投入、伦理关注、行业治理等方面的不足。
01 全球可信人工智能治理现状及挑战
1. 可信人工智能治理的意义
可信人工智能的核心在于确保系统的设计、开发、部署和使用符合伦理原则，产出可靠性得到保障，并有效降低潜在风险。一个可信的人工智能系统应具备公平性、透明性、稳健性/安全性、隐私保护、责任可追溯性以及人类可控性等关键特征。
2. 全球人工智能的治理现状
全球人工智能治理格局呈现多元化发展态势，各国基于自身国情、社会文化背景和发展战略，探索不同的治理路径，形成了各具特色的治理模式。例如，欧盟采取以风险为本的全面监管路径，美国采取灵活监管与行业自律并行，英国将人工智能视为提升其全球影响力的机遇。
02 可信人工智能治理调研结果分析
1. 人工智能的使用情况
大部分企业的人工智能应用还停留在技术规划阶段（39.7%），正在考虑人工智能技术治理的为17.5%，已经开始人工智能技术与基础设施部署的企业达到21.8%，进入后期成熟度评估、及维护的则相对较少。
客户服务及日常经营管理是目前主要的应用场景，主要原因是在AIGC大范围应用之前，人工智能客服及企业智能BI的应用已经具备良好的基础。34%的企业使用外部厂商成熟产品，28%的企业选择私有数据训练小模型，或者与外部厂商共建；完全自建大模型的占比极少，仅为13%。
2. 人工智能的投入与产出效果
45%的企业投入不超过100万元人民币，30%的企业投入在100万至500万元之间，投入500万到2000万之间的占10%，有达到15%的企业投入超过2000万。69%的受访者认为当前投入基本满足需求，有26%的受访者认为无法满足需求，仅有5%的受访者觉得投入超出需求。
3. 人工智能使用过程中的风险与挑战
- 技术障碍：技术和业务流程融合问题，如算法复杂、人工智能与现有业务流程集成性低等。
- 数据安全问题：数据源可靠性、数据处理、隐私保护等。
- 算法合规性问题：算法对抗性攻击、算法可解释性、算法开发知识产权等。
03 可信人工智能治理的行业实践
四大典型行业的可信人工智能治理秘籍，最佳实践大放送！一篇从建立治理组织架构到制定治理政策的制定，还结合不同的行业属性，重点从人工智能在行业中的战略定位、风险治理和应对情况等方面阐述其特有的治理方案。
1. 互联网行业
主要挑战：包括数据隐私和安全风险、算法偏见和歧视等。
风险应对：重点关注数据隐私与合规风险治理，采用加密技术与访问控制，强化人工智能的伦理与偏见消除，引入“可控沙盒”机制。
2. 医疗健康行业
主要挑战：包括数据一致性问题、算法透明性与数据溯源性等。
风险应对：通过审批流程和合同约束来控制供应链，建立严格的审批流程，确保所有人工智能应用和数据处理活动都经过审查和批准。
3. 智能制造行业
主要挑战：包括智能化基础差异、实时性、可靠性、准确性要求等。
风险应对：提高模型通用性和可归责性，提升场景洞察准确度，详尽的管理指南，优化算法降低成本，增加培训提升新技术和技术的接受。
4. 金融行业
主要挑战：包括数据安全和隐私保护、模型的不透明性和偏见性等。
风险应对：加强数据保护和隐私管理，开展对抗训练，提高算法的透明度和公平性，建立完善的风险治理组织架构。
04 未来展望
1. 人工智能治理最佳实践
- 明确责任主体：企业在明确技术团队主导责任的同时，强化跨部门协作机制。
- 制定内部政策：推动国际标准与国内法规的融合，制定适配行业特性的统一治理框架。
- 推动技术与伦理平衡发展：企业在技术开发时应主动融入公平性、透明性和可解释性。
- 引入闭环风险评估和改进机制：建立全面的闭环评估机制，涵盖模型性能、数据管理、伦理性及长期战略融合。
- 跨部门协作与员工培训：针对不同员工角色开展分层次的可信人工智能培训。
2. DTEF等框架的应用潜力
- 扩展行业适配性：开发针对不同行业的细化指南和标准模板。
- 加强动态适应能力：引入动态风险评估模块，通过持续监控人工智能技术的演化趋势，实时更新治理框架适配内容。
- 推动全球化与本地化结合：开发跨区域的协同治理机制，形成具有国际适应性和本地合规性的治理体系。
- 增强人工智能治理自动化能力：开发人工智能辅助治理工具，用于自动检测模型偏见、隐私风险和系统安全漏洞。
05 热点关注问题
问1：企业在人工智能投入方面呈现两极分化的原因是什么？
企业对人工智能的投入呈现两极分化的主要原因包括资源分配不均和市场竞争压力。大型企业通常拥有更多的资金和技术资源，能够承担高额的研发投入，而中小企业由于资金有限，技术储备不足，往往只能进行小规模的技术应用。此外，市场需求的变化也导致企业在人工智能领域的投入策略不同，一些企业可能更注重短期效益，而另一些企业则着眼于长期发展。
问2：企业在选择人工智能模型时为何最看重性能指标？
企业在选择人工智能模型时最看重性能指标的原因主要有以下几点：首先，性能指标直接关系到模型的实际应用效果，如准确率、速度和稳定性等，这些因素直接影响企业的业务效率和客户体验。其次，性能指标是衡量模型技术先进性的重要标准，高性能模型通常意味着更高的技术含量和市场竞争力。最后，企业在短期内更关注投资回报率，因此性能指标成为首要考虑因素。
问3：跨部门协作在可信人工智能治理中为何如此重要？
跨部门协作在可信人工智能治理中至关重要，因为人工智能技术的应用涉及多个部门和业务流程。例如，技术团队负责模型的开发和维护，但业务团队需要确保模型符合业务需求，合规和法律团队则需要确保模型的使用符合法律法规。通过跨部门协作，可以确保人工智能技术的全面治理和合规性，避免因信息孤岛导致的决策失误和风险。
未来，企业应明确治理责任，制定统一政策，建立建设规范和质量衡量标准，设计科学的基底框架，开展专业团队职责定位和能力建设，平衡技术与伦理、加强AI技术和应用案例宣导，建立闭环评估机制并加强协作培训。行业需建立标准化框架，加强数据管理、伦理审核、安全防护及评估认证机制，以推动可信人工智能发展，让其更好地服务社会。
一文让你和DeepSeek展开全局对话 用AI工具打败工具人，数治网院iDigi 即将推出AI+数据素养体系课程，为运营管理、市场营销、销售客服、产品研发、财务管理、人力资源等六大不同岗位人群充分利用DeepSeek等AI工具，课程将以入门到精通的工作全流程操作指引，涵盖数据素养、效率优化、文档辅助和内容学习四个方面三步进阶，逐步优化日常工作流程，实现效率和质量双重提升。
扫码申请素养测评，即可15分钟AI适配“一人一表”“一人一课”。只需¥199开卡体验单课时，激活完成自主学习、预约导师开讲、Q小治答疑、实操练习、分享心得等任务，参与评选“学习显眼包”赢数治Pro学习卡、盲盒！
来源：《可信人工智能治理调研报告》，ISACA中国，获取完整文档请在数治网微信公众号对话框内发送“250214”。
