一图读懂数据资产赋能业务发展的底层逻辑

在这按白皮书图录全面了解其中数据资产赋能业务发展的核心逻辑,结合企业数据资产管理的典型方法和实践案例,以及有关活动职能、保障措施、实践步骤等重点讨论。

一图读懂数据资产赋能业务发展的底层逻辑
出处:大数据技术标准推进委员会

目前,数据要素所引发的生产要素变革,正在重塑着我们的需求、生产、供应和消费,改变着社会的组织运行方式。经过多年发展,我国数据资产管理逐步进入深化落地时期。政府部门、金融机构、通信运营商、互联网企业等政企机构纷纷提出数字化转型路线,发布数据资产管理框架,在数据资源化方面积累了实践经验,并探索开展数据流通、价值评估、资产运营等数据资产化工作。

在这按白皮书图录全面了解其中数据资产赋能业务发展的核心逻辑,结合企业数据资产管理的典型方法和实践案例,以及数据资产管理的活动职能、保障措施、实践步骤等重点讨论。

图 1 数据资产管理推动数据要素市场构建

良好的数据资产管理是释放数据要素价值、推动数据要素市场发展的前提与基础。数据资产管理通过构建全面有效的、切合实际的管理体系,一方面规范数据资产采集、加工、使用过程,提升数据质量,保障数据安全, 另一方面丰富数据资产应用场景,建立数据资产生态,持续运营数据资产,为政府机构与企事业单位进行资产计量确认提供了良好的数据条件和能力基础,进一步推动数据要素流通,加速要素市场化。

图 2 数据资产管理助力企业数字化转型

数据资产管理提高业务数据化效率,推动数据业务化,加速企业数字化转型。数据资产管理从数据的业务供给端出发,通过数据资源化设计业务流程与数据模型,提高业务从物理世界到数字世界的转换效率,并对线上业务的数据质量和安全进行管控,保障业务运转的高质量,降低业务的安全风险。数据资产化从业务的数据需求端出发,打通企业内部数据、引入企业外部数据,加深数据与业务线的融合,催生数据场景化,应用数据分析技术,实现数据赋能业务发展,推动企业精细化管理变革。

图 3 数据资产管理架构

数据资产管理包含数据资源化、数据资产化两个环节,将原始数据转变为数据资源、数据资产,逐步提高数据的价值密度,为数据要素化奠定基础。数据资产管理架构如图 3 所示。

数据资源化通过将原始数据转变数据资源,使数据具备一定的潜在价值,是数据资产化的必要前提。数据资源化以提升数据质量、保障数据安全为工作目标,确保数据的准确性、一致性、时效性和完整性,推动数据内外部流通。数据资源化包括数据模型管理、数据标准管理、数据质量管理、主数据管理、数据安全管理、元数据管理、数据开发管理等活动职能。

数据资产化通过将数据资源转变为数据资产,使数据资源的潜在价值得以充分释放。数据资产化以扩大数据资产的应用范围、厘清数据资产的成本与效益为工作重点,并使数据供给端与数据消费端之间形成良性反馈闭环。数据资产化主要包括数据资产流通、数据资产运营、数据价值评估等活动职能。

图 5 华为一体化数据建模示例

采用企业架构指导建立企业级数据模型,并采用一体化建模的方法,是提升数据模型业务指导性和模型质量的有效方式。例如,华为成立了 EAC(企业架构委员会),参考企业架构设计了企业级数据模型(包括主题域数据模型、概念数据模型、逻辑数据模型),较好的描述和展示了业务流程与业务关系,同时,在一定时间内企业级数据模型保持稳定性,有效指导了新业务的方向探索与IT 建设。此外,通过引入一体化建模的方法,从技术和机制上支持企业级数据模型与 IT 开发的协同,使物理数据模型与逻辑数据模型保持一致,要求物理数据模型的实体属性来自于数据标准池,并通过元数据对该开发过程进行记录与监控,提升了数据模型的一致性、规范性、可控性。

图 6 数据全流程质量校验管控

数据质量管理遵循源头治理、闭环管理的原则。源头治理方面,主要是指在新建业务或 IT 系统过程中,明确数据标准或质量规则,采用“一数一源”原则,与数据生产方和数据使用方确认,常见于对于数据时效性要求不高或核心业务增量数据等场景。闭环管理方面,主要是指形成覆盖数据质量需求、问题发现、问题检查、问题整改的良性闭环,对数据采集、流转、加工、使用全流程进行质量校验管控(如图 6 所示),持续根据业务部门数据质量需求优化质量管理方案、调整质量规则库,构建数据质量和管理过程的度量指标体系,不断改进数据质量管理策略。

图 7 数据安全分类分级流程与结果

数据安全分类分级成为数据安全管理的基础性、关键性工作。2021 年发布《数据安全法》,提出“国家建立数据分类分级保护制度,对数据实行分类分级保护”,正式确立了数据分类分级的保护要求;同年发布的《个人信息保护法》,要求“只有在具有特定的目的和充分的必要性,并采取严格保护措施的情形下,个人信息处理者方可处理敏感个人信息”;网信办在《网络数据安全管理条例(征求意见稿)》中进一步明确,将数据分为一般数据、重要数据、核心数据,国家对个人信息和重要数据进行重点保护,对核心数据实行严格保护; 各地区、各部门按照国家要求,对本地区、本部门以及相关行业、领域的数据进行分类分级管理。

此外,金融、工业、电信、医疗等行业纷纷出台相应的数据分类分级指南,以数据资产分类为基础,结 合敏感数据分级规则,形成数据资产安全分类分级标准。金融标准化管理技术委员会联合其行业主管部门已发布多项数据分类分级与保护相关的标准,如《金融数据安全 数据安全分级指南》(JR/T 0197-2020)、《金融数据安全 数据生命周期安全规范》(JR/T 0223-2021)等,还有多项处于研制阶段金融行业标准,如《金融数据安全 数据安全评估规范(征求意见稿)》,从全量个人信息、个人信息安全影响、个人金融信息、金融业数据、数据生命周期、网络数据、重要数据以及数据安全评估的维度对金融数据分类分级与保护做出了规定。工业和信息化部于 2020 年印发了《工业数据分类分级指南(试行)》,旨在指导企业全面梳理自身工业数据, 提升数据分级管理能力,促进数据充分使用、全局流动和有序共享。中国通信标准化协会于 2020 年发布的《基础电信企业数据分级分类方法》(YD/T 3813-2020)等行业标准,进一步提出了针对电信企业的数据分类分级方法。医疗行业在 2020 发布了《信息安全技术 健康医疗数据安全指南》,将健康医疗数据可被分为个人属性数据、健康状况数据、医疗应用数据、医疗支付数据、卫生资源数据和公共卫生数据 6 类,根据数据重要程度、风险级别以及对个人健康医疗数据主题可能造成的损害和影响将数据安全划分为五级。

图 8 平安银行双向数据分类分级打标方法

平安银行引入 AI 技术和管理平台,提升数据分类分级效率,满足国家和监管机构的相关法规和要求。由于数据安全分类分级的对象需要细化到字段级,而海量金融数据面临成本与时效的巨大挑战,此外,随着金融行业的业务领域不断扩大、数据分布越来越广,将导致数据字段识别不完整、数据打标不全面的情况。为解决以上问题,平安银行结合自身数据治理条件和数据特点,制定一套细化到数据项(字段级)的分类分级标签, 形成与之对应的覆盖全生命周期各环节的保护措施,采用自上而下(即数据库模型设计阶段,从逻辑模型进行打标,对应物理表继承安全标签)、自下而上(即扫描物理表数据,对物理表字段进行分类分级打标)结合的方法,积极研发 AI 模型,开发出数据安全分类分级 AI 打标及管理平台。

图 9 工商银行数据开发流程示例

依托统一数据开发平台,从技术侧和管理侧提升数据开发管理效率。例如,中国工商银行搭建了大数据开发工作站和研发与测试管理系统,对数据开发过程进行效率管控。大数据开发工作站创造了生产工作区,与常规生产运行资源、数据资源等解耦隔离,构建端到端的数据服务流水线。同时,在现有 Hive、MPPDB 等批量加工的基础上,进一步满足流式数据加工、联机数据访问服务的开发场景,将语言由 SQL 向 Spark、Python 等扩展。测试管理系统建立了数据开发需求管理指标,包括需求项平均周期、开发前置时间、开发节奏等。此外,采用“统计过程控制(Statistical Process Control)”的理念,使用统计方法对开发过程与任务进行实时质量监控。相较于 2020 年第三季度,2021 年第三季度数据需求的平均研发周期大幅缩短,数据需求响应效率提升60% 左右。

图 10 数据共享、数据开放、数据交易的区别

数据共享、数据开放、数据交易的区别在于交换数据的属性与数据交换的主体范围。对于具备公共属性的,在组织体系内部流通属于数据共享,如政府机构之间的数据交换,在组织体系外部流通属于数据开放,如公共数据向社会公众开放。对于具有私有(商品)属性的数据,在组织内部流通属于企业数据共享,如企业部门间数据交换,在组织外部流通属于数据交易。需要说明的是,并非所有的数据交易均以货币进行结算,在遵循等价交换的前提下,不论是传统的点对点交易模式,或是数据交易所的中介交易模式,由“以物易物”延伸的“以数易数”或“以数易物”同样可能存在。

图 12 南方电网数据商业模式示意图

创新商业模式,促进数据价值变现。以南方电网为例,一是打造对外数据产品体系。开发建设深圳供电局“绿电历”、南网互联网公司“南网融 e”等电力大数据产品 134 项,全力推动构建开放共享、有序竞争、分工协作、互利共赢的数据生态。二是建设对外数据服务共享平台。依托数据对外门户建设,打造“一个数据中心、一套数据供给、一个数据对外门户、N 个数据产品”的数据对外服务体系,确保数据资产管理体系和数据资产运营机制落地。三是建立数据结算和收益分配机制。明确利益计量与分配的方法原则,创新数据计费、数据账务和数据结算方法,探索数据产品商业模式,最终实现数据资产价值变现。

图 13 数据战略管理流程与要点

战略是组织长期发展规划及资源配置的一系列行动,对于组织持续稳定发展具有重要的指导意义。在数字时代下,数据战略已成为组织开展精益数据资产管理的基础,是数据资产管理工作长期高效开展的“指南针”。战略管理是指通过对数据战略进行规划、执行、评估,确立数据资产管理的中长期目标和管理活动优先级,明确需要的资源投入总量和资源分配机制,并使数据战略始终契合组织的业务战略。

图 14-15 集中式和联邦式数据资产管理组织架构

集中式数据资产管理组织架构

联邦式数据资产管理组织架构

集中式管理与联邦式管理是数据资产管理的两种组织模式,主要区别在于数据管理专员集中于数据资产管理层或分布于各个业务部门。集中式数据资产管理组织架构如图 14 所示, 联邦式数据资产管理组织架构如图 15 所示。

集中式管理与联邦式管理在特点、技术、适用对象等方面存在差异。集中式管理对各业务线数据独立性要求较低、数据相关性要求较高,采用数据仓库、大数据平台等技术,适用于中大型企业。联邦式管理对各业务线数据独立性要求较高、数据相关性要求较低, 采用 Data Fabric 技术, 适用于中小型企业或集团型企业。

实践层面,这两种管理和组织模式并没有严格意义上的优劣之分,集中式并不意味着完全的集中管理,联邦式也不意味着完全的分散管理,采用何种模式主要取决于企业自身的数据资产管理基础能力与组织架构,也可以采用融合集中式与联邦式的混合模式。

图 16 数据资产管理制度体系架构

数据资产管理制度体系通常分层次设计,依据管理的颗粒度,制度体系可划分为组织级数据资产管理总体规定、管理办法、实施细则和操作规范四个层次。基本内容如下:

• 总体规定从数据资产管理决策层和组织协调层视角出发,包含数据战略、角色职责、认责体系等,阐述数据资产管理的目标、组织、责任等;
• 管理办法是从数据资产管理层视角出发,规定数据资产管理各活动职能的管理目标、管理原则、管理流程、监督考核、评估优化等;
• 实施细则是从数据资产管理层和数据资产管理执行层的视角出发,围绕管理办法相关要求,明确各项活动职能执行落实的标准、规范、流程等;
• 操作规范是从数据资产管理执行层的视角出发,依据实施细则,进一步明确各项工作需遵循的工作规程、操作手册或模板类文件等。

图 17 数据资产管理长效机制

在数据战略规划、组织架构和制度体系的基础上,培训宣贯、绩效考核、激励机制、审计机制、数据文化培养等长效机制,是数据资产管理活动持续高效运行的重要保障。

图 18 数据资产管理实践步骤

本章定义了一种数据资产管理实践的通用步骤:“统筹规划→管理实施→稽核检查→资产运营”。需要说明的是,各步骤之间并无严格的先后顺序,组织可结合自身情况在各阶段制定合理的实施方案。

图 20 敏捷式数据资产管理示意图

敏捷式数据资产管理主要包括形成敏捷组织、建立敏捷机制、采用敏捷技术三个方面。

敏捷组织包括数据资产管理项目办公室、敏捷项目组两部分。数据资产管理项目办公室可下设于数据资产管理委员会,指导在数据项目中建立跨层次、跨部门、跨团队的团队,负责定期开展数据项目复盘,建立业务案例。建敏捷项目组是针对具体的数据项目,根据数据资产管理角色与职责,从实体部门选择合适人员组建而成。通常来说,项目人数控制在 5-7 个以内会最大化协作和沟通的效率。同时,数据项目经理除对项目负责外,也对组织级数据资产管理负责,这意味着项目经理需与包括 CDO 或数据架构师等角色保持良好合作。此外,利用 Jira、 Slack 等协作工具,以及项目管理工具,提升项目组内各方的沟通合作效率。

敏捷机制方面是指充分利用技术工具,及时响应数据消费端的需求,并在提供数据服务过程中与数据消费端保持良好沟通。例如,在数据产品上线后采用 A/B 测试方式,根据用户反馈优化产品。此外,在统一组织级数据资产管理制度体系下,敏捷项目组根据项目特定需求,通过快速运行、快速试错的方式,迭代数据资产管理操作细则与标准规范。

敏捷技术方面是指将DevOps对于软件开发的敏捷技术要求用于数据生产,支持数据设计、ETL、CI/CD、部署、交付、运维等环节的处理敏捷性。一是通过设计数据开发流水线,定义数据开发环节与流转业务逻辑。二是依托数据管道,根据数据开发流水线,实现数据的自动化采集、转换、加载,并对数据管道中的任务代码、程序进行版本管理和运行监控。三是部署自动化测试套件支持持续集成 / 持续开发 (CI/CD),并利用低代码开发、灵活配置模板、可视化任务编排等方式,提升数据开发、测试和部署的效率。四是持续利用元数据对数据模型、数据标准、数据质量的应用进行检查,使用修复工具进行异常处理,以保证交付数据的可信。五是通过监控数据管道中数据、任务、程序、代码的执行与质量情况,支持回溯和审计。

图 23 DataOps:敏捷协同的一体化管理

DataOps 倡导协同式、敏捷式的数据资产管理(如图 23 所示),通过建立数据管道,明确数据资产管理的流转过程及环节,采用技术推动数据资产管理自动化,提高所有数据资产管理相关人员的数据访问和获取效率,缩短数据项目的周期,并持续改进数据质量,降低管理成本,加速数据价值释放。例如,通过标准设计、模型设计指导数据开发,前置化数据质量管理,并建立SLA 开展数据资产运维,实现开发与管理的协同;数据资产管理成果通过被业务分析人员、数据科学家等角色自助使用,支撑业务运营,同时,运营结果反向指导数据资产管理工作,实现管理与运营的协同。

在此,数治网DTZed特别将以上白皮书图录制作成一张飞行图,便于在数据资产管理实践落地过程中,不论从全局还是到各个过程域,都能做到心中有数,胸有成竹。获取高清大图,加入“数治x”行业社群, 300+ 高质量前沿资料免费下载,不只做个资料党,更开启你的自主个性化学习旅程,在公众号“idtzed”上回复“入”直通:

资料、学习、成长问答助手;
图解、模板、问卷行业工具包;
个人、团队数据素养水准评估;
数治连线产研导师专场直播等。

首期数治x行业工具包的图谱部分已上线,包括高清数据治理工具、数据资产管理实践全景飞行图以及中国智能网联汽车、工业互联网、数据智能、企业数智化转型升级、网络与信息安全服务/产业等图谱。

与我们有更多合作,定制你的数字推广直击目标潜在客户:

数据平台和工具入库;
论坛、讲座等活动推广;
新产品、场景、应用等在线发布;
技术、案例解读等线上公开课召募等。

本文摘编自CCSA TC601 大数据技术标准推进委员会发布的《数据资产管理实践白皮书(6.0版)》,下载白皮书图录,内附PDF版飞行图:

《数据资产管理实践白皮书(6.0版)图录》

更多标准、白皮书、报告等高质量纯净资料下载,在文末扫码关注官方微信公众号“idtzed”,进入公众号菜单“治库”,或按自动回复发送引号内关键词。

一条评论