企业数据架构实践指南首发 全面提升规划、建设与管理认识

指南为企业数据架构的规划、建设与管理提供指导和支持,阐述了企业数据架构的概念、框架、管理活动及其在企业数字化转型中的重要性,并通过多个典型案例展示了数据架构的实际应用和成效。

企业数据架构实践指南首发 一文全面认识规划、建设与管理
出处:数治网综合

《实践7.0版核心全解:以数据资产管理提升全要素生产率》近日推出,指导企业构建数据资产化的价值基线,扩大数据资产应用的广度和深度,引导以实现数据资产价值最大化为目标,推动企业数字化转型和数据要素市场的发展。

《企业数据架构实践指南(1.0版)》同样由CCSA TC601大数据技术标准推进委员会发布,旨在为企业数据架构的规划、建设与管理提供指导和支持,阐述了企业数据架构的概念、框架、管理活动及其在企业数字化转型中的重要性,并通过多个典型案例展示了数据架构的实际应用和成效。指南为企业数据架构的实践提供了全面的理论基础和实践案例,帮助企业更好地理解和实施数据架构,以支持数字化转型的战略目标。

01 企业数据架构概述

1. 数据架构典型框架

数据架构典型框架包括Zachman、IFW、TOGAF、DMBOK、FEAF、DoDAF和DCMM等,为企业数据架构提供理论和实践指导。Zachman框架1987年由Zachman提出,采用6行6列的矩阵形式,涵盖Why、What、Who、When、Where、How六个方面。IFW框架由IBM为金融服务行业定制,涵盖企业模型、数据模型、功能模型、数据仓库模型等。

TOGAF框架是The Open Group的标准,最新版本为第10版,定义了数据收集、存储、整合、访问和使用的策略、模型和标准。而国际数据管理协会的数据管理知识体系DMBOK框架,强调数据架构是数据管理的基础。FEAF框架是美国联邦政府的架构框架,用于指导联邦政府各部门创建企业架构。DoDAF框架则是美国国防部的体系结构框架,支持国防部首席信息官履行架构开发和维护职责。

DCMM框架作为中国的数据管理能力成熟度评估模型,旨在确保数据在企业内部的流通、集成、共享,以及管理的一致性和有效性。华为数据之道是国内华为的企业级信息架构,包括数据资产目录、数据标准、企业级数据模型和数据分布四个组件。

2. 企业数据架构管理意义

数据架构在企业整体架构中起到承上启下的关键作用,指导数字化规划,促进数据互联互通,提升数据一致性和处理效率,降低企业管理风险。

  • 指导数字化规划:建立数据模型和数据流向,为业务系统建设、重构、优化提供输入。
  • 促进数据互联互通:定义统一的数据标准、构建数据集成平台、优化数据流通路径、强化数据安全机制。
  • 提升数据一致性:统一数据定义、确认权威数据源、消除冗余数据、消除数据混乱。
  • 提升数据处理效率:减少不必要的数据处理环节、优化数据流转链路、科学追加存储和计算资源。
  • 降低企业管理风险:为各类风险的识别、计量、监测和控制提供数据基础,提高内控合规水平。

3. 企业数据架构管理挑战

企业数据架构管理挑战包括多模态数据管理难、企业架构协同难、架构遵从执行难和存量系统改造难等。

多模态数据管理难:涉及结构化、半结构化和非结构化数据的并存与复杂交互。
企业架构协同难:业务架构、数据架构、应用架构和技术架构各有特点和侧重,相互之间紧密联系并相互依赖。
架构遵从执行难:业务需求和业务形态快速变化,架构的响应和支持不及时。
存量系统改造难:协调不同IT系统之间的矛盾和冲突,处理好数据质量的一致性、完整性和实时性问题。

02 企业数据架构框架

1. 企业数据架构管理定义

企业数据架构管理定义:以企业内所有数据为管理对象,对数据的静态属性和动态特性进行管理,包括对数据的定义、分布、集成、整合等进行规划、管控和应用。

2. 企业数据架构管理定位

数据架构是企业架构的重要组成部分,承担着从业务架构向应用架构、技术架构落地的桥梁作用。同时也是数据管理体系的重要基础,描述业务架构中的数据实体和数据需求,并将其转换为应用架构中的物理数据对象。

图 1 数据架构与其他架构的关系

3. 企业数据架构参考框架

围绕OLTP和OLAP两类主要数据处理形式,提出了数据架构的参考框架。OLTP侧以应用系统集成为核心,采用范式数据模型,确保应用系统满足业务交易的数据需求。OLAP侧以数据集成整合为核心,采用维度模型,承接OLTP侧的物理数据实体后进行转换整合。

数据标准全面规范和支持,前者以数据项标准为主,后者以指标数据标准为主。数据分布构建数据实体与业务流程的关联关系。主数据推动应用集成,为数据集成和数据分析挖掘提供高质量的核心业务数据资源。

图 2 企业数据架构框架

03 企业数据架构管理活动

企业数据架构管理的主要活动包括架构规划、数据标准管理、数据分布管理、数据模型管理和主数据管理。架构规划包括数据需求分析、数据资源盘点、构建数据全景视图和数据架构蓝图设计。

  • 数据需求分析旨在分析数据的来源、类型、结构和质量等要求;
  • 数据资源盘点则是对企业数据资源现状的深入分析和全局情况归集;
  • 构建数据全景视图是为了快速、精准、自助式地找到数据;
  • 数据架构蓝图设计则包括定义数据标准、设计数据模型、设计数据分布和集成关系、制定质量和安全策略、设计数据访问策略等。

数据标准管理涉及定义业务属性标准、技术属性标准、管理属性标准等,确保数据在整个组织中的一致性和可比较性,促进跨部门和跨系统的数据整合。数据标准的制定活动包括业务术语的定义、参考数据的定义、指标口径和指标名称的定义等。

图 3 数据标准间关联关系

数据分布管理聚焦在数据源头、数据分布、数据流、数据集成关系等动态关系的管理,管理数据实体与业务流程、IT系统的关联关系。常见的数据分布管理手段包括数据流管理、CU矩阵管理、权威数据源管理、总线矩阵管理和数据采集接口清单管理等。

  • 数据流管理:描述某一业务对象在信息系统中的引用关系。
  • CU矩阵:记录业务对象在每一个流程步骤中被创建、读取、更新、删除的情况。
  • 权威数据源管理:确定数据在真实的业务或系统中的源头。
  • 总线矩阵:指导数据仓库的建设,帮助各方人员直观了解数据架构体系。
  • 数据采集接口清单:制定采集策略、原则和职责,确保数据采集工作稳定连续。

图 4 业务架构下的数据流关系

数据模型管理包括企业级数据模型和系统级数据模型的设计、实施、管理和优化。企业级数据模型一般由主题域、企业级概念模型和企业级逻辑模型构成,系统级数据模型则基于企业级数据模型进行构建。数据资源目录的建设和管理也是数据模型管理的重要路径。数据资源目录采用L1-L5的5层结构作为数据架构体系的基础。

图 5 企业级数据模型分层框架

主数据管理围绕核心业务对象,协调和管理与组织核心业务实体相关的系统记录数据,以主数据建设逐步构建企业级数据架构。主数据管理包括集中式应用模式、联邦式应用模式和分析式应用模式,确保核心业务数据记录的统一管理和分发。

  • 集中式应用模式:所有主数据都通过主数据管理系统进行创建、查询和维护操作。
  • 联邦式应用模式:多个源头系统作为主数据权威源头,各类应用系统既可以将主数据记录传递给主数据管理系统进行统一分发,也能够直接在源头业务系统间落实主数据记录的同步和分发。
  • 分析式应用模式:在数据分析侧对主数据对象进行分析提炼,进入数据仓库和数据湖的数据中包含了主数据对象,经统一清洗、转换、集成,形成准确、一致的主数据集合。

04 企业数据架构的常见误区

企业数据架构管理中常见的误区比如忽略了数据架构的全局性,需要覆盖到源头业务系统,涵盖数据的生命周期管理。IT部门逐渐形成了自己的专业壁垒,与业务部门之间的沟通变得困难。忽视数据架构的战略地位可能在初期不明显,但随着企业数据量的增长和业务的复杂化,缺乏有效数据架构的支持将导致数据孤立、数据质量下降、决策不准确等问题。

1. 过度强调技术的先进性

技术团队主导数据架构的规划与设计,过度关注最新、最先进的技术,而忽视了业务需求的核心驱动力。这种做法可能导致技术选型与实际应用场景脱节,收集、存储和处理的数据无法有效支撑业务决策,最终无法满足用户期望。过分强调技术性能可能导致忽视数据的准确性、一致性、安全性和灵活性,限制数据架构的适应性和扩展性。

2. 过度依赖IT架构能力

企业在规划和设计数据架构时,往往依赖于现有的信息化系统,认为数据架构的设计应当与当前的信息系统保持一致,以便降低实施的复杂性和成本。然而,这种思维方式忽略了数据架构的独立性和长期性,数据架构不应只是信息系统的附属品,而应作为企业整体架构的一部分,具有更广泛的视角和战略意义。

3. 数据架构与项目开发脱节

企业的项目开发实施与数据架构活动间的脱节是一个常见的现象。项目开发过程中,企业往往专注于实现短期的业务目标,而忽略了与数据架构的协调。这种情况下,项目开发可能在没有充分考虑数据架构设计的前提下,直接进入实施阶段,导致架构设计与实际开发的不一致,可能引发数据不一致、功能缺失等问题。有效的数据架构设计必须与企业在项目的各个阶段保持高度的一致性,确保数据架构与业务需求、技术实施同步推进,避免由于缺乏协同而导致的效率低下或数据资源的浪费。

05 企业数据架构案例

1. 东方航空

自2010年起,东航每年都有信息化硬仗,树立“IT引领”的发展理念。企业级数据模型的体系架构遵循“业务驱动,统一目录、统一模型、规范分布”的原则,促进数据与业务的深度融合。企业数据架构建设历程分为系统应用实现阶段、企业模型实践阶段和模型集中管理阶段。形成统一的数据资产管理体系与框架,统筹对接数据类建设、共享需求,打破数据壁垒,减少数据理解成本,避免重复投资,优化数据治理,推动业务与IT深度融合。

2. 平安人寿

平安人寿在行业内率先探索改革转型,打造数字寿险新模式,并以数据架构全面升级支持公司数字化转型战略。在数据分析侧和应用系统侧两个方面介绍数据架构的建设思路。企业数据架构建设历程分为报表驱动阶段、数据集市阶段、大数据平台阶段、数据中台阶段和企业架构阶段。在数据管理、业务支持、风险控制、经济效益方面都取得了显著成绩。

3. 交通银行

通过升级数据架构体系,推进数据与业务紧密融合,加强数据治理制度体系、组织架构和系统平台建设。建立董监高层级的数据治理决策领导体系,制定全行数据治理规划,提出“规范化治理、智慧化服务、平台化支撑、协同化组织”的体系建设目标。自主研发的双“T”数据模型架构,具备“轻量化”“智能化”“开放化”等特性,提升了建模工作的效率和模型成果的准确度。

4. 中车浦镇

以数据架构支撑智能工厂,浦镇公司启动了以精益数字管理体系和“三大驾驶舱”为指导的“城市轨道交通装备智能工厂”建设项目。问题导向的数据架构建设确立了数据资产目录、数据标准、数据模型和数据分布为四大数据架构组件。企业数据架构建设历程分为夯实基础阶段、联接共享阶段和数据驱动阶段。数据架构推动自助式服务,通过构建数据架构,浦镇公司已建立起较为完善的数据管控技术体系,有效支撑了业务架构和应用架构的建设。

06 热点问题关注

1. 企业数据架构规划的具体步骤有哪些?

企业数据架构规划的具体步骤包括:

  • 数据需求分析:收集和分析业务需求,确定数据的来源、类型、结构和质量要求。
  • 数据资源盘点:对企业内所有数据资源进行全面盘点,包括数据库、文件系统、云存储和第三方数据源等。
  • 构建数据全景视图:通过盘点工作构建企业数据全景视图或数据地图,快速、精准地找到数据。
  • 数据架构蓝图设计:基于数据需求分析和资源盘点结果,设计数据标准、数据模型、数据分布和集成关系,制定质量和安全策略,设计数据访问策略。

2. 数据标准管理在企业数据架构中的重要性体现在哪些方面?

数据标准管理在企业数据架构中的重要性体现在以下几个方面:

  • 确保数据一致性:通过统一的数据标准,确保数据在整个组织中的一致性和可比较性。
  • 促进数据整合:数据标准有助于跨部门和跨系统的数据整合,减少数据矛盾和分歧。
  • 指导数据开发:数据标准为数据开发和加工提供业务语义,降低需求理解门槛,减少数据开发工作量。
  • 支持数据共享:数据标准有助于快速高效定位数据资源,促进应用系统内外的数据资源有序归集。
  • 提升数据质量:数据标准支持数据质量问题原因的排查和改进,推动数据质量在源头得到治理。

3. 东方航空的企业数据架构建设历程是如何发展的?

东方航空的企业数据架构建设历程可以分为三个阶段:

系统应用实现阶段(2010-2016年):在这个阶段,数据模型处于“无意识”管理状态。数据分散存储于各类信息系统中,原始系统中的数据格式、数据模型、数据标准均尚未统一。

企业模型实践阶段(2016-2018年):依托业务模型建立企业级数据模型,指导信息系统建设。东航的企业级数据模型参考国内、外行业级组织发布的航空运输行业数据模型,并结合东航业务系统的业务特性进行构建。根据业务属性,东航将业务数据规划为14个主题数据域模型和主题域概念模型,分别是定价、座位库存、订座、机票、客户、销售、财务、维修、航班运行、飞机与设备、航班计划、IT、员工和位置。

模型集中管理阶段(2018年至今):通过引入统一建模工具,实现数据资产管理闭环,形成完整数据地图及多套数据目录体系。东航已实现系统数据模型事前统一、事中评审、事后监控的全流程管理。事前统一即通过统一的建模工具,进行模型设计。事中评审即增加模型评审环节,架构师负责评审,模型工具配合模型规范性检查。事后监控即数据模型部署生产环境后,通过模型工具捕捉模型差异,监控模型的一致性、完整性。在系统模型的管控过程中,了解业务发展,及时分析数据目录差异,同步更新企业数据模型。系统模型应遵从企业级数据模型。

结语

企业数据架构体系得到持续建设和维护,将数据架构管理工作作为一项常态化工作开展,与数据架构配套的管控评审机制、架构师团队、架构工具平台等工作日趋完善。同时,数据架构与业务流程、系统迭代、数字化创新等工作协同建设推进,数据架构与数据安全、数据质量、数据开发等领域融合,形成一体化的数据治理体系。

最后,企业根据组织架构、业务模式和IT系统等因素形成多样化的数据架构体系,制定适合自身发展情况的数据架构管理组件和数据架构管理模式。未来,企业数据架构将趋向常态化、一体化和多样化,每个企业都可以找到适合自身发展的数据架构管理模式。


来源:企业数据架构实践指南(1.0版),CCSA TC601 大数据技术标准推进委员会。下载文档请在数治网微信公众号对话框发送“241223”获取链接。图片:Leif Christoph Gottwald,Unsplash

发条评论

你的电邮不会被公开。有*标记为必填。