党中央、国务院高度重视人工智能发展,习近平总书记强调人工智能是新一轮科技革命和产业变革的重要驱动力量,为充分发挥我国超大规模市场和丰富应用场景优势,以应用为牵引推动人工智能技术与行业深度融合,加快行业应用建设统一架构设计,集中力量打通从模型到应用的落地堵点,降低应用开发验证门槛,提高部署效率,加快形成人工智能规模化应用正成为市场关注的重点。
国家信息中心在深度调研人工智能产业发展现状基础上,研究提出《人工智能行业应用建设发展参考架构》报告,旨在推动人工智能技术与行业深度融合,加快行业应用建设统一架构设计。报告从算力基础、数据服务、模型服务、应用开发、运维平台、运营平台等六个方面,提出人工智能行业应用建设的共性能力和特性能力。
一、推进统一参考架构设计是发展关键
全球人工智能技术突发猛进,OpenAI的o1大模型和多模态技术(如PaLM-E、DALL-E、CLIP)取得显著进展,美国AI产业形成统一收敛局面,算力、深度学习框架和模型等技术栈成熟。芯片(如英伟达GPU)、并行计算引擎(如CUDA)、深度学习框架(如PyTorch)和开源社区(如Hugging Face)形成完整产业链,医疗医药、自动驾驶和高端制造等行业广泛应用AI技术。
我国AI市场规模从2018年的84亿美元增至2022年的319亿美元,预计2027年将达到1,150亿美元。2200家人工智能骨干企业中,应用层企业占比高达85.18%。互联网领域AI应用活跃,并积极应用于实体经济产业,如制造业、医疗和交通。
行业应用发展在技术、成本与安全方面面临着诸多难点,包括技术体系碎片化、数据流通不畅、缺乏互操作性、技术发展不均衡、技术扩散受阻、研发运营成本高、应用推广复制成本高、技术体系不兼容不利于监管和业务连续性等。为此,通过构建一套技术架构统一、数据规范统一、标准体系统一的参考架构,推动人工智能技术与行业深度融合,加快行业应用建设,降低应用开发验证门槛,提高部署效率,促进人工智能规模化应用。
二、统一参考架构的内涵与特性
图1 人工智能行业应用统一参考架构
统一参考架构包括系统架构和能力模块。系统架构为人工智能系统设计通用统一架构,包括基础组件和依赖关系;能力模块为填充框架的“内容物”,分为共性能力和特性能力。共性能力以数据和模型为核心,特性能力包括应用开发、数据处理、运营运维等。
统一参考架构的共性能力是指那些适用于多个行业和领域、具备一致性技术要求的功能模块。这些能力以数据和模型为核心,涵盖了数据工程工具链、数据采集模块、行业数据空间和数据集服务等。共性能力的主要作用是为不同的人工智能应用系统提供通用的功能支持,确保这些功能在不同场景下的一致性和可靠性。
特性能力则是根据具体业务需求的不同而有所区别的功能模块。它们包括应用开发、运维平台和运营平台,以及数据服务中的数据接入、数据模型、数据存储和数据分析等。特性能力的作用是根据实际业务需求进行定制化实现,以满足不同行业和场景的特定需求。
以统一参考架构在数据服务方面的共性能力举例,包括:
- 数据工程工具链:应关注训练数据质量,具备数据增强、数据评估、数据合成、数据清洗等能力。
- 数据采集模块:质量和可用性是作为模型输入和使用模型进行推理和应用的关键,应具备通信网关、数据标准规范、智能终端操作系统、数据安全隔离等能力。
- 行业数据空间:数据可信交换是对外提供公共服务的基础能力,应具备可信交换、融合共享、安全策略、空间管理等能力。
- 数据集服务:由于聚合和发展行业内高质量数据是不断迭代大模型的基础,具备数据集发布管理、加密封装、权限认证、数据集规范管理等能力。
特性能力则包括:
- 数据接入:可以通过多种方式实现,如开放API接口、数据导入、数据源接入和数据埋点等方式。
- 数据模型:任意数据模型均可实现,网状数据模型和层次数据模型等。
- 数据存储:支持各类数据库的存储。
- 数据分析:支持各领域数据分析模型和展现形式。
统一参考架构适用于多个行业和领域,不受特定应用场景的限制。随着技术发展和业务需求变化进行扩展和适应,易于维护升级。企业可以自由遴选并整合多家顶尖的大模型及技术供应商,确保在业务发展过程中灵活引入新的合作伙伴,有效缩减成本,优化资源配置,推动企业内的创新合作,注入长期发展活力。
三、统一参考架构的组成和技术要求
总体架构分为算力基础、数据服务、模型服务、应用开发、运维平台、运营平台等6个主要部分。在共性能力上以数据和模型为核心,具备一致性技术要求,特性能力上根据业务不同各具特点,如应用开发、数据处理、运营运维等。
构建统一算力基础,包括算网存基础设施、算力资源管理平台和AI开发平台。算力可靠高效、训推架构统一、具备算网存一体化监控功能、提供存储基础设施、具备数据资源管理功能、具备安全管理功能、具备全栈技术能力、统一数据访问接口、统一模型服务接口。基础设施提供数据存储、计算和应用服务,包括AI芯片、网络、存储、并行计算引擎等;算力资源管理平台监控、调度和管理算力资源;AI开发平台提供AI深度学习框架、软件仓库、算法库、模型开发、训练微调和部署等功能。
数据服务需重点关注采集、处理、共享、数据集管理,形成统一的数据服务,包含数据工程工具、数据采集管理、数据集管理、数据交换空间、企业数据空间、特性能力(数据接入、数据模型、数据存储、数据分析)。数据工程工具链提供数据增强、数据评估、数据合成和清洗等功能;数据采集模块确保数据质量和可用性;行业数据空间实现数据可信交换和融合共享;数据集服务管理数据集的发布、安全流通和追溯。
模型服务需完善工具链支持体系,提升一体化开发效能,包含多模型组合、模型工程工具、Agent工程工具、AI资产管理、统一多模型推理服务。模型组合关注模型性能和适应性;模型工程工具链提供训练引擎、压缩引擎、对齐引擎和治理引擎等功能;Agent工程工具链支持智能体的编排和规划;AI资产管理维护AI资产的可沉淀、可交换和可复用性。
应用开发包括应用工具链和数据反馈平台,其中行业应用引擎支撑各行业各领域业务的引擎,应用场景围绕高价值应用场景图谱选择业务需要的应用开发功能。运维平台提供软硬件设备、算力和网络资源的监控和运维管理,故障定位和自动化运维工具,安全防护、网络流量监控、数据安全管理、安全事件监测预警,保障平台安全稳定运行。运营平台面向企业内外部用户,构建应用产品共享服务平台,支持智能应用订阅、场景模型订阅、数字资产管理等服务,提供独立的专属空间和分级权限管理。
以统一参考架构在算力基础方面的技术要求来说,包括以下几点:
- 算力可靠高效:包括算力集群规模及可用度,支持算网协同通信优化,支持训推共池及算力切分。
- 训推架构统一:支持训推同架构,预置主流的分布式训练框架和分布式并行推理。
- 具备算网存一体化监控功能:包括统一的运维管理工具和跨域故障快速修复。
- 提供存储基础设施:提供高可用的对象存储、分布式数据库、文件系统、向量数据库等,以支持大规模数据的存储和访问。
- 具备数据资源管理功能:提供数据资源管理功能,支持团队资源管理模式,包括成员权限控制、任务分配和进度跟踪。
- 具备安全管理功能:实现工作空间之间的信息隔离,以保护数据的独立性和安全性。实施高级安全措施,包括数据加密、访问控制和审计日志。
- 具备全栈技术能力:提供芯片、并行计算引擎、算子开发工具、人工智能深度学习框架等,满足具备完整知识产权或立足于国内主导开源社区的条件,并预置主流算子加速库。
- 统一数据访问接口:设计统一的访问和管理接口,使得不同模态的数据能够以一致的方式被访问和操作。
- 统一模型服务接口:为不同模型提供规范化的模型运行时接口、模型加载与执行接口、算子编译和执行接口、性能Profiling接口、故障运维管理接口等,支撑多种基础模型的高效稳定运行。
四、统一参考架构的应用
从人工智能行业应用建设发展模式看,平台赋能模式一般由自研创新模式进一步拓展而来,不同业务发展模式并不相互割裂,许多企业通过建立面向外部服务的运营实体实现内部成熟能力的自建他用。自研创新模式关注内部业务需求,与现有业务系统融合度高,功能定制复杂程度高。平台赋能模式关注市场拓展、业务运营和商业成功,提供行业数据集和行业模型,为行业客户提供数据分析和预测服务。两种模式下的技术架构包括运营平台、应用开发、运维平台和数据交换空间四个方面的特性。
图 2 自研创新模式和平台赋能模式建设能力差异
统一参考架构在自研创新模式和平台赋能模式下的技术架构有以下不同:
自研创新模式:
- 运营平台:更关注企业内部应用部署和订阅。
- 应用开发:偏向引入行业应用引擎,满足特定场景需求。
- 运维平台:重点关注企业内部系统的稳定和安全。
- 数据服务模块:结合企业现有系统、数据和数据应用的实际情况实施,包括数据接入、数据模型、数据存储和数据分析等。
图 3 自研创新模式下的架构
平台赋能模式:
- 运营平台:更关注市场管理、合作管理、资产和运营。
- 应用开发:偏向开发组件服务化,开发行业共性应用。
- 运维平台:重点关注平台的稳定和安全,同时关注企业用户的数据安全。
- 数据服务模块:结合具体行业的实际情况,建设相关数据标准,并进行标准化建设,包括数据接入、数据模型、数据存储和数据分析等。
图 4 平台赋能模式下的架构
统一参考架构通过标准化的架构,有效降低了不同系统间集成的难度和边际成本,促进了算力、数据、模型和应用的协同。在金融、医疗、制造、交通、教育、互联网和智能家居等多个领域展现出巨大潜力,通过优化业务流程、提高效率和降低成本,推动了这些行业的创新和变革。
金融行业可以利用统一参考架构来构建风险评估、欺诈检测和智能投资顾问等系统。这些系统能够处理大量交易数据,提供实时分析和决策支持。在医疗保健领域,统一参考架构可以用于开发疾病诊断、患者监护和药物发现等应用。通过整合医疗影像分析、基因组学和电子健康记录等数据,可以提高医疗服务的质量和效率。
在制造业中,统一参考架构支持预测性维护、供应链优化和质量控制等应用。通过分析生产数据和机器性能,制造商可以提高生产效率并减少停机时间。教育领域可以通过统一参考架构开发个性化学习平台、智能辅导系统和虚拟助教。这些应用可以根据学生的学习进度和偏好提供定制化的教育资源。
五、总结与展望
统一参考架构为AI行业应用提供了一个标准化、模块化的开发框架,它通过促进组件的重用、简化集成过程、自动化开发任务以及利用云资源和边缘计算,有效地降低了应用开发的边际成本。随着AI技术的不断进步,统一参考架构将在更多领域发挥其潜力,推动行业创新和效率提升。未来,人工智能统一参考架构的应用将加速统一市场活力、降低供需边际成本、促进产业持续发展,助力高质量发展。
1. 激发统一市场活力
- 规模效应:通过加强共性技术的支撑,推动产业聚集,形成人工智能统一大市场。
- 市场活力:充分利用我国庞大的市场和丰富的数据资源,激发市场的活力,发挥规模效应,带动产业整体发展。
2. 降低供需边际成本
- 创新应用活力:通过整合底层资源,提供统一的服务,规范开发范式,降低开发和创新的成本,充分激发AI的创新活力,培育开放、包容、活跃的共赢生态。
- 应用推广成本:通过统一共性架构标准,拓展推广渠道,降低应用推广的成本,加速AI技术的应用落地。
3. 促进产业持续发展
- 可持续技术框架:推动人工智能芯片、深度学习框架、基础大模型等方面技术的应用,打造基于可持续软硬件环境的有竞争力的产品和技术方案。
- 产业生态:持续培育行业生态,打造安全可靠、竞争力强的现代化产业体系,确保业务安全和产业可持续发展。
来源:《人工智能行业应用建设发展参考架构》,国家信息中心。本篇针对全文由生成式 AI 做出的核心摘要和解答,仅作为参考,请以原文为准。下载报告请在数治网微信公众号对话框发送“241212”获取链接。图片:Solen Feyissa,Unsplash
在此声明以上观点和内容,仅代表原作者和出处,与数治网DTZed 无关,如有出错或侵害到相关合法权益,请通过电邮与我们联系:cs@dtzed.com。
有数治Pro在手,年费¥999 起落政策、学法规、用标准、推业务、促客户、助招投不再愁,在下方扫码添加老邪企业微信即可。