数据作为新型生产要素,是民航行业数字化、网络化、智能化的基础。为充分发挥数据价值,完善行业数据治理体系,提升行业数据治理能力,民航局提出了行业数据治理顶层框架。“智慧民航数据治理”是指以民航行业数据为主要对象,以最大限度实现数据价值为目标,在确保数据安全的前提下,通过多方主体共建、共治、共享的方式,实现面向行业数据全生命周期的优化数据质量、改进数据服务、释放数据价值的过程。
《智慧民航数据治理典型实践案例》汇集了行业数据治理典型案例 55 个,为开展民航业务数字化转型工作提供可借鉴与参考的范例。机场、航司、空管等在统一的数据治理框架体系下,以数据为核心建立融合团队,对数据资产进行统一梳理,实现数据统一化、规范化,不断提升内部到外部的数据应用、共享与安全水平和能力,为实现公司数字化转型,建设智慧民航打造坚实稳固的数字底座。
我们依照《商业银行要让“数尽其用” 从图说数治金字塔 1.0 开始》一篇提到的数治金字塔 1.0 模型,借助生成式 AI 全力推进一站式数字治理:在全场景下以数据 5A 金字塔的视角,数据历经“资源化”-“资产化”-“要素化”为新质生产力形成注入创新动力,从做法和打法创新上进行构建。为此摘取其中的 12 张框架路线图,从顶层设计、路径、蓝图,到数据、技术架构,以及质量、服务、共享等管理实施,全面理解数据治理的分阶段推进,实现数据赋能。
01 数据治理顶层设计
图 1:国航数据治理顶层设计
国航从顶层设计出发,建立数据治理框架,形成数据治理组织,统一数据治理方法论,明确数据治理技术路径。以大处着眼、小口切入的方式,探索数据治理落地办法,在构建公司整体数据治理框架基础上,以航空公司核心资产——飞机为抓手,完成飞机主数据管理和飞机数据标准统一。创建公司内外数据生态,制定安全策略,确保数据使用安全,建立数字化转型创新实验室,创新数据应用,形成数据治理新局面。
全面系统地构建数据治理架构。国航非常重视数据治理顶层设计,构建数据治理架构,囊括管理政策、组织与人员、工作内容、技术支撑等内容,全面系统化地把数据治理各层面有机结合。
准确清晰地制定数据治理发展路径。
- 一是业务过程全面线上化,数据全面采集,实现业务数据化;
- 二是完善数据的安全管控与标准治理,逐步实现数据资产化;
- 三是数据能够广泛共享和应用,能基于大数据和人工智能辅助决策,推动数据价值化,切实提升公司能力。
02 数据治理技术发展蓝图
图 2:国航数据治理技术发展蓝图
国航在推进数据治理工作时,同步开始数据资产管理中心建设,以保证数据治理工作有工具有系统,固化管理经验,实现动态监控,提升数据运营能力。
统筹规划数据平台,统一管理数据资产。打通数据仓库、营销服务平台、安全运行平台等几大平台的数据,建设数据资产管理中心,统一管理数据标准字典、数据表、主数据、数据标签、数据指标、数据质量、数据安全合规等。
迭代建设数据中心,分阶段增强管理功能。数据资产管理中心的建设分为三个阶段:
- 建中心定标准:建设数据资产管理、资产检索、资产权限申请、数据可视化、数据内外部共享集成等功能。
- 汇数据筑能力:建设数据规范、数据开发、数据质量、数据服务开发等能力,逐步使各业务领域数据资产清洁,使业务数据资产化。
- 创价值建生态:引入区块链、人工智能等技术,持续建设公司数据资产管理中心,提供智能辅助决策,驱动业务创新流程优化。
03 数据架构规划
图 3:南航数据架构规划
数据架构是公司结构化认识数据,打通数据流,消除数据孤岛,提升业务效率的关键要素。南航遵循企业架构方法论,组织开展企业级数据架构规划和设计。
一是以数据需求为出发点,构建企业级统一数据模型和统一技术平台体系,建立全集团一体化技术架构与能力体系。
二是基于“云平台+双中台”的核心技术架构优化数据集成关系,厘清数据流向,加强生产和服务过程中各业务场景的数据采集,做到“应采尽采”。
三是建设南航数据资产管理平台,优先建设元数据管理、数据标准管理和数据质量管理三大基础功能,在此基础上构建企业级数据资产目录,实现数据共享流程线上化,满足数据运营需要。
同时,本着“满足现状、适度超前、持续领先”的原则,进一步加强对区块链、机器学习、图像/语音识别、自然语言处理、知识图谱等前沿性先进技术的深入研究,探索智能化技术与数据管理能力的结合点,推动数据资产管理平台智能化应用与功能创新,实现技术变革驱动管理模式的创新升级。
四是将企业级大数据平台定位为南航集团权威的大数据分析平台,通过构建统一的数据分析模型,实现“全、统、通、快、准”企业级智能大数据分析体系,沉淀可复用的共享数据能力,打造高效、可持续的数据资产运营能力,赋能业务快捷、智能发展。数据架构规划如下图所示。
04 数据管理实施路线
图 4:数据管理实施路线图
数据管理按照现状调研与诊断分析、建立数据资产治理体系、制定数据治理规划及行动计划、建立数据管理制度规范体系、关键场景试点落地等,逐步实施。
05 数据资产管理框架
图 5:数据资产管理框架示例图
数据资产管理框架包含支撑、管数据、用数据三部分。
支撑部分包括数据治理的目标和原则,明确业务、技术、管理的组织机构,形成一套涵盖数据治理各方面的制度、流程、标准的制度体系规范数据治理过程中管理动作,搭建一套技术平台支撑各项数据管理的活动。
管数据部分是侧重数据管理方面的业务功能,包括涵盖数据目录、数据模型、数据标准、元数据管理的数据架构管理,主数据管理、数据共享交换管理、数据安全管理、数据质量管理等。
用数据部分是侧重于使用共享的数据平台实现数据集成、连接、分析,对数据进行服务化便于上层数据应用使用数据,实现数据反哺业务。
06 数据治理技术架构
图 6:数据治理技术架构图
因为数据具备多样性、虚拟化、动态性等特点,各项数据管理工作在执行层面无法完全通过线下、文档化的方式进行,必须通过系统与工具的支撑。结合公司实际情况,设计了“以数据应用为驱动、主数据管理为主线、元数据管理为核心”的数据治理技术架构。
“以数据应用为驱动”,没有应用价值的数据,不会做为数据资产,不会成为治理的对象,所以数据治理的目标、需求来源于业务的目标、需求,数据交换平台、数据仓库、敏捷 BI 等平台与工具不仅承接了业务数据应用的实现,也在应用过程中明确数据治理的需求;
“以主数据管理为主线”,航司中重要的主数据包括客户、飞机、航班、员工、供应商等,主数据会被客户订单、员工绩效、维修记录等业务过程数据调用,分析数据的维度多为主数据,因此主数据管理非常重要,作为治理工作的主线,明确主数据源头、数据标准、数据质量、数据发布等功能依靠元数据管理系统;
“以元数据管理为核心”,数据管理、数据应用的前提是明确数据的定义、知道数据在哪里,才能有的放矢,元数据管理是数据质量、数据安全等数据管理、数据应用工作的基础,因此业务元数据、技术元数据、变更监控等功能依靠元数据管理系统。
07 数据质量治理系统功能框架
图 7:数据质量治理系统功能框架
数据质量治理系统按照数据质量规则,通过合理设置治理频率,进行多源数据治理,给数据质量提供有效保障。
各机场的数据质量治理系统前端接入各生产运行系统的运行服务数据,为本场提供收费结算交易数据的整合、存储、清洗、校验和转换,另一方面与集团主数据管理平台集成,为集团内各机场实时共享计费主数据提供支持。
08 数据流向设计
图 8:数据流向设计
结合数据流向设计可以发现,整个系统的核心实质上是一个实时流处理框架。
需求中的航班、行李等数据的采集通过微服务方式,进行数据的主动采集和标准上传,数据采集服务将采集和接收到的数据写入 Kafka 中;无论是为了方便测试、环境迁移、应对后期可能产生的变化以及未来数据接入的扩展,数据采集服务将使用动态技术设计,由接口定义与调度进行控制。
- 规整化服务消费 Kafka 中收到的数据,一方面将添加了元数据的结果(用于数据审计和数据朔源)存入 Elasticsearch 集群,另一方面抽取出原始报文(不含任何元数据)写入 Kafka 中。
- 数据解析服务消费 Kafka 中的原始报文,进行数据的解析(包括结构化处理、有效性检测、去重、逻辑补偿等操作),解析后的有效结果存入 Kafka 中。
- 转发服务消费 Kafka 中的原始报文,应用于原始报文的直接转发,主要场景是首都机场、局方公共平台以及未来需要原始报文的第三方系统。
- 数据存储服务消费 Kafka 中有效解析后的结构化数据,进行 Mysql 的数据存储,结构化数据存储到 Mysql 中主要用于行李信息综合查询、离港进港中转视图查询。
- 实时流处理服务消费 Kafka 中的有效解析后的结构化数据,进行增量累计计算,并将计算结果存入 Mysql,核心用于提高离港进港中转视图查询的效率。
- 大数据分析数据同步服务消费 Kafka 中有效解析后的结构化数据,传输到数据分析平台,用于统计分析。
- 转发服务消费 Kafka 中有效解析后的结构化数据,应用于结构化数据的直接转发,主要场景是 BRS 系统的数据交换以及未来需要原始报文的第三方系统。
09 能源数据治理技术架构
图 9:能源数据治理总体技术架构
总体技术架构分为物联感知层(边缘接入层)、IaaS 层、PaaS 层和 SaaS 层。物联感知层通过系统对接的方式实现了数据的集成,用到的技术包括不限于数据库同步,RabbitMQ 消息队列、Netty TCP 服务、Web API、OPC DA 等技术。
由于机场的信息和数据都比较敏感,IaaS 层使用虹桥机场的私有云主机和网络,通过私有化部署,可以最大程度保护企业机密不会外泄。
PaaS 层提供了数据中台、容器服务、交付中心、DevOps 和平台管理功能。
SaaS 层参考《民用机场智慧能源管理系统建设指南》的要求,实现了能耗可视、能效可视、能效分析、碳排管理、节能管理和数据治理等应用功能。
10 财务共享平台总体设计架构
图 10:财务共享平台总体设计架构
财务共享平台是构建各种业务平台、解决方案的基础性研发平台,是解决企业发展与信息化之间的矛盾和公司内部的产品平台整合矛盾的解决方案。平台总体架构将从概念、模型和业务设计,定义系统的执行、开发和运行环境,同时在业务、应用、数据和技术多个领域针对共享服务平台进行方案视图规划和设计细化。
11 数据服务架构
图 11:数据服务架构图
经营决策分析系统具有良好的数据可视化体系,丰富的展现形式和组合策略,实现了大屏视窗为主,指标看板辅助,查询、报表灵活编辑,移动端同步展示的可视化形式,足以支持系统多样的数据可视化应用需求。
12 数字化转型路径
图 12:数字化转型路径图
从数据标准、数据质量、元数据、数据安全方面建立规范化数据治理体系,通过建立一致性的数据规范与统一的模型容器,实现数据有效整合。系统将以科学高效、流向可追、日志可查的方式,采集全面数据资源,对数据进出进行管理和融合,有效推进数据治理的工作,并将系统治理和数据治理向结合,持续提升机场数据质量。
结 语
企业应加强顶层设计,从战略层面,聚焦企业数字化转型重点,明确数据治理总体目标和年度目标,指导数据治理分阶段推进。从管理层面,打破传统组织边界,建立企业级跨域联合项目组,逐步瓦解“系统墙、部门墙、制度墙”。从执行层面,打造具有企业特色的数据治理“工具箱”,保障数据治理各类要求、规范落到实处。从文化层面,引导“共建共享共赢”的数据文化,营造“奋勇争先”的数据氛围,激发广大员工参与到数据创新应用中。
其中,数据管理的初心使命是赋能业务,数据管理工作应来源于业务侧发现的数据痛点和需求,以解决业务侧问题为切入形成工作方案,并由业务部门牵头实施。信息中心要构建数据运营体系,建立科学的正向反馈和闭环管理机制,培育、拓展、企业数字化场景,提高数据的服务和应用效果,实现数据赋能。
开展数据管理工作需要一批既懂业务又懂数据且能从企业全局着眼和制定数据管理方案的复合型人才。企业要加大数据专业人才培养和引进力度,通过实施数据专业人才培养计划和员工数据技能轮训计划,勾勒数据人才画像,打造多层次、多类型、高质量的数据人才梯队。
数治网院iDigi(产研人才卓越中心)全面推进一体式引育用留:在数据 5A 为基础的素养上,为每个人构建技能到能力的路径,规划符合业务需求的学习和成长计划,更好地一起通过数治x赋能行业和企业成长,保持领先。
我们邀你终身学习,从数据素养打造开始,与你一起达成从人才技能升级到个体激发组织活力的大步跨越!加入 AIGC+X 赋能成长营,开启素养测评、自主学习、实践认证一体升值通道,人均引育用留支出有望降低 20%-40%,技能升级 40%-60% !详情下载:
数治网DTZed 数字人才终身学习 2024
“数据”作为新型生产要素参与分配,其根本性、关键性、全局性作用渗透、融合、贯穿在企业管理的全领域、全过程。数据治理作为企业数据资产管理的核心机制,必然促进企业数据文化的蓬勃发展,带动企业数据生态的持续繁荣。深刻认识到数据文化培育的重要性,积极推动数据融入运营模式、思维方式,实现以数据为基础的全员认知升级,将数据文化根植于企业管理文化。
本文摘编自中国民用航空局发展计划司发布的《智慧民航数据治理典型实践案例》。
往期数据治理热门内容和下载推荐:
数据治理跨企业、行业及产业递进 让数据成链
以数据要素在产业层面的顺畅流通和价值释放为最终导向,开展建设政策法规、建立协同组织、完善监督、管理与执行机制、创新技术支撑等体系化工作。
银行业数据治理通往数据资产管理的演进之路
数据管理从单纯以数据为对象、以技术为手段,转变为注重数据在业务经营和认识决策中收益的识别、度量和评估,强调数据价值的可量化、可监控和可持续优化。
数治长文 | 一套落地数据从治理到入表的体系、路径及分工
以数据资源入表路径研究和创新实践为驱动,从数据治理到隐私保护,从资产评估到入表“五步法”,从案例实践到未来趋势,为推进数据资源入表贡献集体智慧。
在此声明以上观点和内容,仅代表原作者和出处,与数治网DTZed 无关,如有出错或侵害到相关合法权益,请通过电邮与我们联系:cs@dtzed.com。
在文末扫码关注官方微信公众号“idtzed”,发送“入”直通相关数治x行业共建群、AIGC+X 成长营,@老邪 每周免费领取法规、标准、图谱等工具包。
欢迎先注册,登录后即可下载检索数据治理等相关标准、白皮书及报告。更多高质量纯净资料下载,在文末扫码关注官方微信公众号“idtzed”,进入公众号菜单“治库”。