数据中台的定义自诞生以来经历了不断的发展演变。数据中台源于企业内部通过组织架构调整所形成的公共数据能力,通常通过将企业各部门和业务线所需的数据能力提炼并整合形成,是企业内部可复用的统一数据能力集合。而随着相关理论和技术的持续发展,数据中台成为了使企业综合数据能力建设的更好的一种形式。
不同于数据仓库和大数据平台,数据中台是一个业务价值创造平台,而不仅是数据资源的生产平台。数据中台的目标是要为业务提供看得见,摸得着,可度量的价值。因此,数据中台的建设前提条件是有可以让数据产生价值的业务场景。
一、数据中台的目标及核心能力
数据中台的总体目标是使数据产生业务价值。
具体来说,企业可以通过建设数据中台构建各项能力,弥合数据供需鸿沟,使数据能够驱动企业提升经营效率、实现业务价值。这一目标具体拆解开来包括快速响应数据需求、建设统一数据平台、打通企业数据资产、提供统一数据服务、数据直接参与业务、产生包括客户价值在内的企业价值等。
为实现上述的一系列目标,数据中台需要具备将各类原始数据进行汇聚、整合、加工、提炼以形成数据半成品,并进一步对其进行分析形成可用的数据服务内容,向数据分析师和业务应用方提供服务的一系列能力。相应的,数据中台作为完成这一系列动作的企业综合数据能力集合,其核心能力必须包括数据汇聚存储、数据开发、数据服务、数据管理、数据资产运营等。
在实践中,企业构建自身数据中台核心能力时,以平台工具建设驱动的形式较多,然而各项能力在这些技术工具之外,仍有较多非工具类能力。同时在部分通用的技术工具之外,个别针对性的高阶需求仍需非通用的专门技术工具进行支持,因此在将数据中台较为通用性的技术工具提取出之后,各项能力需求的本质将更为凸显。在中国信通院牵头编制的《数据中台能力成熟度模型》系列标准中,企业数据中台能力划分为了技术工具、架构管理、数据开发、数据服务、数据管理、数据资产运营六大能力域,在全面覆盖了企业数据中台核心能力的同时,也体现了各类能力对应的层次。具体来看:
图 1 数据中台能力成熟度模型
技术工具是数据中台的物理基础设施,从工具功能的角度集中体现了企业建设数据中台所需的全部技术工具能力集合,是对于数据中台最为具象的体现形式,勾勒出了数据中台的外部轮廓。
架构管理是依据企业自身需求对数据中台内部架构进行设计并持续管理的过程,其中数据架构的设计保障了数据中台对于大多数企业内部结构化和非结构化数据的汇聚存储;技术架构的设计保障了支撑数据中台各项能力的各技术工具模块能够有效结合并交互运作。
数据开发是维持数据中台运转的重要能力,通过数据开发过程,数据中台可以将各类原始数据源源不断的加工、提炼成满足业务方需求的数据半成品或其他形式的数据内容或产品,使数据中台可以持续运转以支撑业务方的各类需求。
数据服务是数据中台对外实际直观可感的内容统一出口,数据中台可以通过数据服务体系中的各项能力,面向业务方提供各类数据服务支撑,并使业务方可以较为便捷的快速检索并获取所需要的数据服务内容。
数据管理是提升数据中台可产生价值的重要工作,通过数据管理,数据中台内整体数据的质量和潜在价值得以提升,使数据中台能够提 供效果更好、可用性更强的数据服务,更大程度的强化了数据中台的内蕴价值。
数据资产运营是提升数据中台使用效果的重要能力,在有相应规划的基础上对数据资产进行识别和应用,并基于一定的策略和方法进一步对使用情况进行优化和推广,同时形成基于成本管理和价值评估的评价体系,促进数据中台的良好使用和价值转化。
二、数据中台的建设流程
1. 建设流程
根据项目建设的全生命周期及交付团队的参与度,数据中台的建设流程主要分为实施前、实施中和实施后三大阶段和七大流程。其中,实施前阶段包括咨询规划,实施中阶段包含需求调研、方案设计、开发实施、测试及交付,实施后阶段包含运维运营。
图 2 数据中台建设步骤流程示意图
2. 建设人员角色及分工
数据中台以业务价值为导向,其实施过程专业要求高、过程管控复杂、交付协同难,要高质量建设数据中台,除了建设流程之外,也需要强有力的组织保障,确保角色完整、分工明确、衔接顺畅、各司其职、各尽其责。
站在数据中台建设全生命周期的视角,除了业务方之外,数据中台实施参与角色构成主要包括项目经理、需求分析师、数据架构师、数据集成工程师、数据开发工程师、数据分析工程师、测试工程师、数据安全工程师以及系统运维人员等,项目不同阶段由不同的团队来负责,每个角色在各个不同阶段及流程中承担的职责如下图所示。
图 3 数据中台建设过程角色及职责列表
三、数据中台建设四大要点
在整个数据中台的建设过程中,存在众多关键环节及影响重大的动作节点,对于这些建设过程中的要点需要进行整体上的把控,确保数据中台建设稳步推进。
1. 数据中台的规划
企业数据中台的建设往往不能一蹴而就,需要较长的周期,相应的也需要有中长期规划。数据中台规划是在对企业现状充分了解的基础上,结合自身战略目标有针对性的提出企业级数据中台建设蓝图的过程,旨在为企业数据综合能力的提升提供宏观指导性框架。同时,本着整体规划、分步实施的原则,还应对需求场景进行全局排优,设计符合企业发展现状的数据中台建设路径,规划清晰的阶段,明确各阶段达成目标,并定义各建设阶段的建设策略,确保后续的方案设计与开发工作顺利进行。
数据中台规划从对于业务、数据的调研开始,对业务、数据、基础环境等信息进行探查,结合战略与组织解读,明确组织战略对企业运营提升的要求,抓住组织运营提升的关键环节,通过问卷、针对性访谈、现场走访等形式,对业务组织进深入行调研,调研的过程中可以收集报表、汇报材料、报告、可视化看板、系统建设材料等信息辅助理解业务,从而组织业务诉求与痛点,为数据中台蓝图提供业务、数据知识基础和输入。
数据中台蓝图一般包含数智化转型战略、设计方法论、组织内业务的整体解析、数据中台的价值化、分析链路梳理、数据域梳理和划分等内容。通过数据中台蓝图可以快速了解企业数据中台建设的范围与价值,为后续数据中台的搭建、完善、应用提供重要依据。
2. 数据组织的构建
组织保障是企业数据中台落地的重要基础。数据中台的具象化体 现往往是企业级的中枢平台,其建设过程牵涉到企业内部的方方面面,组织架构的形态极大程度决定了数据中台建设和后续运营中可能涉 及的部门和人员。从整个企业的组织架构来看,数据中台的建设需要 来自企业决策层的顶层支持,同时,还需要所涉各部门管理层的有效 协同与沟通,更需要各基层人员的大力执行。由此可见,组织保障对 于数据中台建设效果的影响之重。
原则上,包含数据中台建设在内的企业数字化转型是典型的一把手工程,应由企业高层直接负责,组成企业数字化转型领导部门(数字化转型办公室等),对企业数据中台建设进行统筹,并据此建立自上而下的组织保障体系,开展数据中台建设与实施,保障后续的数据治理、数据安全、数据运营服务等系列工作。
在数字化转型办公室的领导下,一般来说,会进行两层组织划分:第一层由总体规划部门、数据治理部门和项目管理部门构成,该层主要负责数据中台具体规划、总体架构和相关规范与制度的制定,其具体构建了企业数据中台的建设和运行框架;第二层为具体执行层,由各专题项目组及其项目下设的专业化实施小组构成,从而保障数据中台的顺利落地和后续持续运营。
3. 价值场景的发现
数据中台建设的初衷是使数据产生业务价值,因此需要对业务中复杂的价值场景进行快速适配和支持,如何发现价值场景直接影响到数据中台的建设效果。
发现价值场景的关键步骤是要识别和构建数据价值驱动因素、理解业务痛点、确定解决方案并进行成本效益分析。具体执行时,需从业务场景与需求出发,获取业务过程中的痛点,将痛点所在的场景进行梳理分析,识别是否可通过数据解决业务环节中出现的问题,在数据可支撑的情况下,拆解出可解决问题的数据支撑形式,从而将业务痛点具象为数据需求,最终明确数据中台的建设内容。
价值场景的发现通常来说是长期持续的过程。一般来说,在数据中台建设初期,业务方难以直接提出适当的价值场景,往往需要数据部门人员同业务人员合作完成价值场景的梳理。后续随着业务人员数据素养的提升,以及数据部门人员对于业务理解的深入,双方均有可能独立的发掘价值场景并提出相应需求或加以实现。
4. 数据资产的盘点
数据资产盘点是数据中台建设过程的重要组成部分,是后续数据开发和数据治理工作的基础。建设数据中台需要对企业内部大量来自不同数据源的不同类型数据进行统一归集和整理,全面的了解企业现有数据的全局情况是设计数据中台建设方案的重要参考。通过数据资产盘点,可以对企业内部的数据资产完成规范化的、系统化的归并、整理、分类等操作,为更好的利用数据打下基础。
数据资产盘点应遵循全面性、丰富性、可持续性和可评价性的原则。全面性是指盘点对象应覆盖企业生产经营活动中所涉及方方面面的数据。丰富性是指盘点的内容丰富而又系统,其中包括数据资产的基础技术元数据、业务元数据、管理元数据等。可持续性是指数据资产盘点过程中应形成一套完整的方法论和制度流程,并有相应的工具支撑,从而保证数据资产盘点工作的可持续。可评价性是指数据资产盘点的成果可见并可对其成果进行显性评估。
具体实施数据资产盘点时,可根据全面摸底、分类分级、差异化盘点的步骤,先宏观了解企业内部数据的全面概况,在此基础上对数据进行分类分级,最后对于重要性不同的数据再采用差异化的盘点方式,对不同级别的数据采用不同粒度的盘点动作,在合理投入的前提下完成整个数据资产盘点工作。
本文摘编自CCSATC601 大数据技术标准推进委员会发布的《数据中台实践指南(1.0 版)》,全文下载:
数据中台实践指南(1.0 版)
更多标准、白皮书、报告等高质量纯净资料下载,在文末扫码关注官方微信公众号“idtzed”,进入公众号菜单“治库”,或按自动回复发送引号内关键词。