银行业数据治理通往数据资产管理的演进之路

数据管理从单纯以数据为对象、以技术为手段,转变为注重数据在业务经营和认识决策中收益的识别、度量和评估,强调数据价值的可量化、可监控和可持续优化。

银行业数据治理到数据资产管理的演进之路
出处:上海银行、上海数交所、德勤企业咨询

“春江水暖鸭先知”,金融业的信息化基础设施较为完备,数字化转型启动较早,每年投入较大,业务经营对数据依融程度较高,同时又有明确的数据治理与监管报送数据质量要求,所以金融业一直都高度关注并践行数据要素流通和企业资产化。

2023 年《IDC PeerScape:中国金融业数据治理实践与案例》研究报告中提到,中国金融业数据治理正在进入全新阶段,但是也伴随着困难,包括数据治理整体战略规划与项目落地之间的衔接、数据确责、数据的持续运营、数据治理工作的价值衡量、数据治理工作与业务应用的结合等难题。这其中,数据治理在完成铺底建设后,需要提升能级,通过数据资产化的建设和运营,着力解决上述大部分问题,例如数据确责、持续运营和价值衡量等。

一、“数据治理”的阶段历程

伴随着企业信息化和数字化的进程,对“数据治理”的探索由来已久。从早期探索到广泛应用,可以分为三个阶段。第一阶段为早期探索,早在 1988 年由麻省理工学院的两位教授启动了全面数据质量管理计划(TDQM),可以认为是数据治理最初的雏形,同年, DAMA(国际数据管理组织协会)成立。时间一直走到 2002 年,数据治理概念首次出现在学术界,美国两位学者发表题为《数据仓库治理》的研究探讨了 Blue Cross 和 Blue Shield of North Carolina 两家公司的最佳实践,由此拉开了“数据治理”在企业管理中的大幕。

第二阶段为理论研究,在美国学者发表《数据仓库治理》的第二年,2003 年 DGI(国际数据治理研究所)成立,研究数据治理理论框架,与 ISO 国际标准化组织对数据管理与数据治理进行定义。直到 2009 年,国际数据管理协会 DAMA 国际发布《数据管理知识体系指南》(简称“DMBOK”),至此数据治理的理论框架基本固定。

第三阶段为广泛接受与应用,伴随着数据仓库的建设,主数据管理与商务智能平台的实施,国内也逐步开始接受并利用数据治理的概念进行推广实践。我国数据治理之路在 DMBOK 基础上不断延伸和扩展,里程碑事件为在 2015 年提出了《数据治理白皮书》国际标准研究报告。在总结数据治理中国实践的基础上,2018 年由国家标准化管理委员形成并发布了数据管理国家标准《数据管理能力成熟度评估模型》(GB/T 36073-2018),进一步明确并建立了数据管理相关的 8 个领域,5 个等级的能力模型。为指导企业开展能力自我评估和第三方独立评估,2022 年发布了国家标准《数据管理能力成熟度评估方法》(GB/T 42129-2022),并于 2023 年 7 月 1 日起正式实施。

二、银行业数据治理步入深水区

2018 年,当时的银行业监督管理委员发布了《银行业金融机构数据治理指引》(以下简称《数据治理指引》),这是首个以行业监管指引的方式明确提出的全行业覆盖的数据治理规范,标志着数据治理在银行业的全面实施。各家银行数据治理起步工作可能稍有前后,但以《数据治理指引》的发布为标志,数据治理工作进入深水区。

银行业作为全面实施数据治理工作的行业,监管指引的发布使得数据治理成为银行业的刚需。数据治理的复杂性日益提升,主要体现在以下几个方面:

1. 数据治理与银行数字化转型战略紧密结合

在银行业数字化转型的浪潮下,银行的资产规模虽然仍然很重要,但已经不足以成为银行成功的必要因素;另一方面,数据规模和质量方面的竞争对于维持竞争优势将更为重要。同时,银行主营业务收入将不只是依赖传统、标准化的产品服务,而是来自高度定制化的产品和通过数据驱动的智能化决策所实现的个性化互动。

银行通过数字化手段创建连接客户、产业链、供应商、合作伙伴的能力,该能力带来的数据资源的飞速增长,如果未能通过有效的数据治理,将数据资源转化高度契合业务决策和洞察力所需要的匹配链接能力,银行终将失去领先于同业的差异化竞争优势。因此,银行由自身数字化转型实现差异化竞争,而产生的数据治理内生驱动力,对数据基础和应用能力提出了更高、更迫切的要求。

2. 数据治理由面向数据对象转化为面向数据应用

大部分银行的数据管理起始工作,是从建立基础数据以及指标数据的数据标准开始的,以数据对象的业务属性、技术属性和管理属性的规范定义为目标,形成企业级数据标准,并开展数据质量的检查、分 析、改进和控制,提升局部的数据质量。数据管理工作多数是围绕数据对象展开,并且以存量数据为主, 是对存量数据的规范性进行修复。

面向数据应用的数据治理,以数据应用成效为目标,着力提升数据分析和应用的核心能力,数据治理需要覆盖数据应用以及生成该应用的一系列数据资源,包括源头数据、加工过程中的数据模型、逻辑规则、分析算法、数据服务提供模式、以及为保障端到端数据质量的数据标准、数据质量规则以及元数据等。在数据应用投入运营后,数据管理还需要对增量数据,甚至实时数据进行持续监控,不断收集应用效果的反馈,优化分析规则和算法模型,从而保障数据应用成效可以达成预期的应用目标,包括对过去业务经营情况的准确反映,以及对未来业务趋势的准确预测。

3. 数据治理需要自动化和智能化的工具支持

数据治理的对象日益复杂,数据应用需求琐碎多样,数据加工链路多时序并存,生产数据的源头系统变更无法及时感知等,通过手工方式无法实现复杂的数据管理要求,需要借助自动化和智能化工具,在日渐智能化的数据应用研发过程中,数据管理的方法和工具需要与时俱进。结合当前技术的成熟情况,我们总结了以下数据管理自动化与智能化的应用场景。

4. 数据安全在数据治理中的比重增加

数据安全一直是数据治理体系中的组成部分,数据安全管理与防护措施,用以确保数据的完整性、机密性和可用性。近几年,随着《网络安全法》、《数据安全法》和《个人信息保护法》等上位法的发布, 以及中国人民银行陆续发布的行业数据安全规范,包括《金融数据安全 数据安全分级指南》(JR/T 0197 – 2020)、《金融数据安全 数据生命周期安全规范》(JR/T 0223 – 2021)以及《业务领域数据安全管理办法(征求意见稿)》等,数据安全在数据治理领域的重要性突显,数据合规不仅是保护企业自身数据权益,也是满足法律法规要求的必要条件。

在银行实践来看,数据安全侧重于数据加工全链路中的数据对象安全,面向业务应用的数据服务安全,以及面向数据内外部流通的数据共享安全。通过对全链路数据对象的分级分类,形成等级完整的数据保护机制,将数据安全管理流程与数据保护技术相融合,主要包括数据脱敏、加密解密、数据防泄漏、身份认证、数据权限、数据库审计等,同时依托网络、主机、操作系统等基础设施层级的信息安全保护机制,形成专业分工、守护底线、服务应用的平衡型数据安全体系。

数据合规还需要关注个人信息保护与数据应用权属之间的平衡,这也是数据治理中的一个难题。以银行为例,在零售金融业务活动中,个人用户在享受便捷的金融服务同时,也将部分个人数据、家庭数据、消费数据、账户资金数据等沉淀在银行。银行在数据安全体系下,通过脱敏、加密、标签化等技术手段,形成数据应用,并在营销、风控等场景中发挥作用并产生收益,这个过程中需要做到个人信息保护的底线未被突破,又需要在明确权属的情况下鼓励对数据的创造性加工。

目前我国尚未发布《个人信息保护法》的具体实施细则,也未有数据应用权属的明确立法,在数据治理实际工作中,需要坚决守住红线,加强对个人信息的技术防护,在内部应用场景中也需要限制对个人信息的接触范围,及时跟进法律法规进展和相关判例,在合规的框架下更有信心地开发有创新性的数据产品。

三、打破当前数据治理的局限与困境

1. 数据治理要做到“神形兼备”

无论是国际数据管理协会引入的 DMBOK,还是数据管理能力成熟度的国家标准,亦或是银行业的数据治理指引,企业开展数据治理有章可循,有据可依。通过开展一系列“规定动作”,企业初步成立了数据治理的组织架构,明确了数据管理职责,建设了数据管理的制度及流程,抓住“数据标准”、“数据质量”和“元数据”三项数据管理核心工作,开展重要的数据标准定义和数据质量提升等工作。

更进一步,一些先行开展数据治理的企业还积极推进主数据管理,或是以关键业务系统如核心系统、信贷系统、中间业务系统等的重构为契机,落地数据标准,进一步从数据源头强化数据标准落地和数据质量控制。还有一些企业,通过数据仓库、湖仓一体等数据平台建设,以规范入仓入湖的数据标准化为抓手,通过唯一性整合、编码映射、重分类、清理异常值等方式实现数据标准落地,支撑日常统计、多维度经营分析、场景营销、风险管控等各类数据分析应用。这些工作的引入和运作,初步搭建起企业数据治理的骨架,数据治理的“形”有但更需“神”在。

数据治理的“神”在于将数据管理活动贯穿于数据应用开发的全流程中,建立起从数据源头到数据应用空间链路,数据从生成到销毁全生命周期的时间链路的伴随式数据管理机制,数据在时空链路上的流动变换,数据治理中的需求分析、模型设计、标准建设、质量监控、血缘追溯、安全管理等各项具体工作依次展开,如图 1 所示。

数据治理与数据应用的融合,并不是在时空各环节依次叠加数据管理的各项工作,而是分析拆解数据应用的需求,提取需求中基础数据和数据加工的共性部分,以数据模型为核心,以数据血缘关系为连接,整合数据标准和数据质量检核规则,在数据应用开发过程中,保障时空链路中的数据规范有序,加工逻辑准确无偏,及时识别数据质量问题并有效纠偏。数据应用上线运行后,数据治理持续守护数据时空链路中的增量内容,第一时间感知源头数据库表结构变化或业务变化带来的数据偏离,监控数据链路中数据各层级接口、数据订正、数据加工调度、维度数据变化导致的数据质量异常,阻断脏数据通过时空链路向数据应用的蔓延。

图 1 时空全域数据治理

打通数据管理与数据研发流程,将规范的数据模型与数据标准伴随数据研发全过程,研发人员在编写代码的环境中可以获得模型和数据标准的提示,或是自动补齐SQL 代码,让数据管理的要求无缝嵌入项目建设的各个环节。通过需求拆解和模型复用,下沉共性数据加工逻辑,减少数据需求响应时长,避免重复资源浪费和单独加工可能导致的不一致性。从数据需求至服务供给的端到端数据研发治理一体化,数据可信程度提升,也进一步增强业务人员自主取数用数的能力。

2. 数据治理要避免“孤军作战”

数据治理之所以称其为“治理”,与企业上下层级间的统一共识、跨部门的协作配合密切相关。企业治理层参与数据治理目前在大部分企业已达成共识,治理层参与制定企业数据战略决策,评议并决策数据管理工作中的重大或争议事项。在实务工作中,治理层的参与形式主要是定期或不定期召开的数据治理相关会议,更重要的是在会议过程中“有事可议”并形成决策事项。这就要求数据归口管理部门收集并整理数据管理工作中的重大事项或争议事项,提请企业治理层进行决策,形成决策事项的落实台账,并跟进执行情况。

企业设置数据归口管理职责,通常存在三种模式。一种是单纯行使数据管理职责,另一种是整合数据应用研发与数据管理职责,第三种是数据底座建设、数据应用研发与数据管理职责三合一。这三种模式各有优劣,企业可根据自身数据能力成熟情况与资源分配进行排列组合。同时,我们也认识到,这三种模式都有一个共同点,即数据归口管理职责,往往不在产生数据的部门,也不在最终应用数据的部门。数据管理具体工作琐碎而细致,同时又责任重大,数据归口管理职责按数据的业务性质分配具体的数据标准维 度、数据质量问题修正等工作,其优先级往往低于一般的业务作业。一旦出现数据质量问题导致业务损失,又出现相互推诿的情况。

以银行业数据治理中的监管报送数据质量管理为例,近几年监管机构对报送数据的质量要求越来越高,因监管数据质量产生的行政处罚成为悬在各家银行头上的“达摩克利斯之剑”。监管报送的目的是为了收集反映银行保险机构经营情况和风险状况的数据,而数据由业务部门办理业务记录沉淀下来以后,经信息系统加工汇总,根据监管的各类报送要求规范进行映射转换,由相关部门复核后,由数据管理部门或者监管报送归口部门报送至监管处。

如原银保监的检查分析系统(Examination and Analysis System Technology, EAST),需要银行报送各类客户数据、账户数据、合约数据、交易数据,业务部门需要理解相应的报送口径,识别该类数据在哪些源头系统的哪些业务流程中产生,数据开发部门需要根据监管的规范要求对源头系统中的数据进行标准化转换,数据管理部门对整个过程进行管理监控,不仅需要组织对监管口径进行解读,还需要开展必要的质量校验,一方面满足监管的基本规则要求,另一方面还需要满足各表之间的关联校验以及不同报送的数据校验,并对出现争议的问题组织管理层进行决策。因此,数据治理并非是单一部门的事情,针对全行数据的创建采集、处理应用、处置销毁整个路径上不同部门所承担的职 责,以及数据从源头系统到数据平台进行映射转换、到报送系统整个空间路径上分工不同,需要各部门相互协同共同完成高质量数据报送。

数据治理齐抓共管,需要明确数据管理、数据资源供给和数据产品消费这三者在数据价值链条上的各自权属和价值收益,转变数据管理只有“责任分派”,没有“权属收益”的状况。建立企业内数据权属类别和权属分配原则,以权属为桥梁,权属与责任相匹配,权属与收益相挂钩,从而调动各方参与数据管理的积极性。根据“数据二十条”数据确权原则可以包含以下内容,如图 2 所示:

图 2 数据确权原则

“数据二十条”定义的数据资源持有权,数据加工使用权和数据产品经营权,并且倡导“平衡兼顾数据内容采集、加工、流通、应用等不同环节相关主体之间的利益分配”,“数据要素收益向数据价值和使用价值的创造者合理倾斜”的原则,在企业内部同样适用。数据资源持有权对应数据创建生产的环节,通常是某一业务的主管部门,其需要落实源头数据质量管控措施;数据加工使用权对应数据应用的研发部门,包括前面论述的在数据加工环节落实数据管理需求;数据产品经营权对应在业务场景在使用数据产品进行业务分析决策的业务部门,并且需要对使用效果进行收集和反馈,保持数据产品的生命力。数据应用的价值通过归因逻辑分配至各个角色,适当体现在部门或岗位绩效之中,数据应用的价值成效,通过各参与方的权属分配,落实具体的各参与方的数据管理职责,“以用促管”使得数据管理工作更加深入业务经营环节。

3. 数据治理要体现“物有所值”

数据治理工作类似房屋装修中的“隐蔽工程”,作用不可或缺但显性化的成效难以体现,或是短期投入与长期收益之间的错配,让数据治理是否“物有所值”存在质疑。数据治理工作的成效,可以从三个方面体现:

  • 数据质量改善:

数据质量管理是数据治理的生命线,也是评价数据治理成效最重要的维度。数据质量改善成效可以从三个子维度进行评价,即数据标准偏离情况、数据业务质量达成情况以及用户评价,可以建立以下评价指标,包括数据资源内容空值率、数据内容查得率、质量检核规则通过率、元数据内容空缺数量、数据业务真实性、数据业务完整性、质量用户评价等。

  • 数据研发效能提升:

侧重考察数据治理对数据研发时效性、有效性、交付质量和成本等维度,评价维度包括数据研发运营特征、数据研发过程、数据研发交付能力以及数据研发成本等。数据治理对数据研发过程质量提升、响应时长缩短以及研发成本降低,是其成效的重要体现。

  • 数据产品业务价值:

数据产品在应用场景中发挥的业务价值,是数据治理的终极目标,也是数据资源认定为数据资产的前提条件。业务价值中多少比例可以归因于数据治理,这个还有待探讨和实践,但两者呈现强烈的正相关性,这一点是毋庸置疑的。业务价值的评价维度包含了对数据应用质量的评价和数据应用所达成的业务收益的评价。前者包括应用范围、应用质量和应用热度等维度,后者包括业务创新、收入增长、成本降低、风险管控等价值认定,还包括了数据应用带来的社会责任、环境责任的评价。

企业可以从上述三个维度建立数据治理成效评估体系,以可视化的方式定期生成数据治理综合看板,在管理层和业务部门宣传数据治理成效,也接受同仁对数据治理工作的监督,形成众人拾柴火焰高的数据治理文化。

四、演进必经之路:数据资产管理

数据管理能力成熟度第 3 级稳健级到第 5 级优化级能力提升的路径,反映了企业对数据价值从有意识、到可量化、再到持续创造更多价值。数据资产在企业中发挥的作用逐级提升,从实现绩效目标,到获取竞争优势,再到成为生存发展的基础。其中,数据管理效率和效益的量化评估,是高等级数据管理能力的重要特征,它体现了数据管理从单纯以数据为对象、以技术为手段,转变为注重数据在业务经营和认识决策中收益的识别、度量和评估,强调数据价值的可量化、可监控和可持续优化。这也体现了数据管理向高等级发展,所需具备的技能和特征。如图 3 所示:

图 3 数据管理能力成熟度

在数据资产体系中,数据治理仍然占据着基础性的地位,并且贯穿数据资产的全生命周期。数据资产研发、运维和业务运营的过程,各项具体细致的数据管理工作将保障数据资产从业务需求到达预期可使用状态的数据基础。

本文摘编自上海银行、上海数交所以及德勤企业咨询发布的《商业银行数据资产体系白皮书》。

加入数治网院iDigi AIGC+X 赋能成长计划,人均选用育留支出有望降低 20%-40%,技能升级 40%-60% !5人组团开课,¥999起开启数据治理、安全以及合规等自主学习、素养测评、实践认证一体升值通道,详情下载:

内推、热招职位征集中,一起用 AI 工具打败工具人。扫码添加老邪企业微信,入群预约 AI 共创导师: