数治入门 | 金融机构外部数据全流程管理一览

在此阐述外部数据的管理模式以及统一集中模式下的管理流程，并根据这一年来的变化和发展，结合行业实践对统一集中模式下的管理流程进行调整与更新。

重塑外部数据管理流程，深耕外部数据应用，保障外部数据安全合规，促进外部数据降本增效已成为当前金融机构的热门话题。然而，外部数据在机构内部运用时，经常面临需求重复、标准不一、授权范围不规范、共享不充分等问题，加之外部监管对于数据安全的合规要求不断增加，构建具备安全屏障的外部数据管理流程和机制势在必行。

在此沿用 2022 年版本的结构，阐述外部数据的管理模式以及统一集中模式下的管理流程，并根据这一年来的变化和发展，结合行业实践对统一集中模式下的管理流程进行调整与更新。需要注意的是，各机构由于业务模式和组织架构不同，统一集中模式下的管理流程存在差异，各金融机构可根据实际情况参考本章内容并选用适合的管理模式。

一、外部数据的管理模式

目前，国内金融机构对于外部数据的管理主要分为自主分散、统分结合以及统一集中三种模式。自主分散模式指金融机构的外部数据由内部各业务部门自行管理。统分结合模式指金融机构对外部数据统一管理，包括维护和发布外部数据目录，管理基础平台工具等，业务部门在统一管理下根据各自需求引入并应用外部数据。统一集中模式指金融机构内部明确外部数据归口管理部门，并授权其对金融机构所有外部数据进行全流程集中管理，包括需求、预算、引用、应用和退出等。

为加强外部数据资源的集约化管理，实现外部数据的共享应用，进一步发挥外部数据的价值，统一集中模式已逐渐成为外部数据管理的主流模式，其主要优势有以下几点：

■ 整合需求，避免重复

统一管理的模式下，机构可将所有外部数据需求进行整合论证，合并去重，最大限度地确保数据需求的合理性，避免重复引入造成不必要的资源浪费。

■ 规范流程，提高效率

统一管理的模式下，机构可从顶层出发对外部数据全流程进行规范管理，通过组建专业的外部数据管理团队使其专注于外部数据管理，提高外部数据引入和应用的效率。

■ 一点接入，充分共享

统一管理的模式下，机构通过建设配套的外部数据系统，实现外部数据在机构层面的统一接入，最大限度实现数据共享；同时，通过对外部数据进行调用情况的整体统计分析、系统对账、费用监测等，机构能够最大程度挖掘出外部数据的应用价值。

■ 双重约束，确保安全

统一管理的模式下，机构通过建立统一的管理制度、流程以及一体化的技术手段对外部数据管理全流程进行双重约束，进而确保数据引入的合法合规以及数据使用过程中的安全。

图 1 统一集中管理模式下的外部数据管理流程（示例）
来源：CCSA TC601

二、外部数据的引入流程

外部数据在引入阶段主要包括需求申请、需求评估、数据供方评估、数据验证测试、预算申请以及采购流程。

■ 需求申请

首先，按照外部数据的覆盖范围，可将需求分为全域型和区域型两类，全域型需求指全机构均适用的外部数据需求，区域型需求指仅适用于地方的外部数据需求。在集中管理模式下，两类需求均需要由归口管理部门汇总整合、归并去重、充分论证并统一进行数据接入和管理。

其次，按照外部数据需求的获取方式，可将需求分为申请和征集两种。需求申请指各部门可以根据业务需要，收集部门内提出的外部数据需求，论证后提交至外部数据归口管理部门审核。需求征集指外部数据归口管理部门通过与行业间以及数据供应商的沟通交流，及时掌握市场动态，将时下新颖的数据和应用场景推荐给各业务部门，主动收集相关外部数据需求。

■ 需求评估

各部门提交至外部数据归口管理部门的需求包括需求描述、应用场景描述、数据使用量预估、效益预估、业务可行性方案、安全保障措施和应急处置预案等内容，其中需求描述又包括数据字典、数据范围、更新频率、数据质量以及售后服务等内容。之后，外部数据归口管理部门将根据数据测试情况、初步询价结果、效益预估以及业务可行性分析等综合判断是否采购数据。

■ 数据供方评估

在确定外部数据需求后，需要对外部数据的供应商进行调研评估，包括供应商的资质、经营情况、数据来源、数据授权、数据质量、数据供应能力、合同履约能力、数据价格与售后等方面。该评估一般由外部数据归口管理部门与业务部门以及其他相关部门联合执行，设置外部数据供应商的合作准入要求，建立并维护外部数据产品及供应商的资源库，全面掌握当前外部数据供应商的状况以及数据市场的整体情况。

■ 数据验证测试

在确定了外部数据需求和供应商后，可由业务部门按需对将要引入的数据进行验证测试。测试项目可包括外部数据的准确性、完备性、时效性以及业务适用性等。测试团队可包含外部数据管理人员、业务需求管理人员、数据分析人员，必要时也可包含采购人员与相关技术人员。需要注意的是，涉及个人信息，尤其是敏感个人信息的验证测试，需要在测试前与数据供应商签订保密协议或要求供应商出具保密承诺，规定其不留存、利用、转让、泄露金融机构提供的样本数据以及获得的查询结果，并要求供应商履行告知个人信息主体的义务。

■ 预算申请

预算申请可分为定期申请和随时申请两种模式。定期申请指财会部门约定本年度预算申请的时间和周期，外部数据预算在相应的时间内完成申请。随时申请指财会部门在每年初框定外部数据概算，在概算范围内，外部数据预算可以根据业务需要进行申请。相较而言，随时申请的模式更灵活，也更有助于提高外部数据的引入效率。另外，为加强外部数据精细化管理能力，确保外部数据切实应用到业务中，金融机构开始推行预算“分摊”机制，按照“谁使用，谁分摊”的原则将外部数据预算分摊至相关部门。

■ 采购流程

外部数据的采购需要严格按照各金融机构相关的采购制度和流程执行。采购流程主要包括采购申请、采购实施、合同管理、评估验收、费用结算等五个步骤。

采购申请通常由业务部门向外部数据归口管理部门提出采购需求，再由归口部门统一进行整合、审核以及申请。采购实施环节，金融机构可根据实际情况设置集中采购限额，采购金额在限额以上的由外部数据归口管理部门统一向采购部门提出集中采购申请。合同起草可根据采购流程由外部数据归口管理部门牵头，相关部门协同完成，在经由法律、内控合规等部门审核后提请签署。服务验收可由归口部门组织业务部门开展，包括外部数据的效果评估和服务验收。费用结算通常由合同签署部门执行，并依照合同执行供应商的费用支付。

三、外部数据的应用管理

统一集中管理模式下，外部数据将接入到外部数据管理系统，并将其作为统一入口和出口，负责外部数据的接入与共享。

■ 外部数据的接入

外部数据的引入包括标准数据服务、联合建模和隐私计算等多种模式。在发展初期，大部分外部数据供应商会提供统一标准的数据服务，随着外部数据市场的发展，金融机构倾向于根据业务场景和数据特点引入个性化、定制化的数据服务，联合建模在此阶段应运而生。金融机构与政府部门或第三方企业通过合作建模共享数据，能够避免数据向外部传递而产生的衍生问题。此外，为保障数据安全和个人信息，通过采用隐私计算等新技术实现数据“可用不可见” 的融合共享也成为外部数据引入的新模式。

不论采用何种引入模式，出于系统安全和管理规范的要求，金融机构外部数据的接入大多采用系统对接，即与供应商分别建立接口来实现数据接入，包括实时联机查询和批量数据传输两种方式。

■ 外部数据的传输

随着各机构对于数据安全需求的增加，系统直连成为当前外部数据传输的主要方式，一般分为网络专线和互联网传输两种。网络专线传输指金融机构与供应商之间通过运营商建立独立的网络连接通道，互联网传输指金融机构与供应商之间通过互联网建立网络连接，并通过软硬件加密的方式传输数据。

■ 外部数据的存储

外部数据需要根据数据遭到破坏后的影响范围和影响程度来确定存储的安全等级以及相关管控手段。

统一集中管理模式下，外部数据通常进行集中存储。其中实时联机查询应统一由外部数据管理系统对外提供服务接口，并在合法合规的前提下留存查询结果；而批量数据传输应统一由外部数据管理系统接入后传输至数据仓库或数据湖进行存储。

■ 外部数据的共享

外部数据的共享指同一条数据在有效期内由不同部门进行二次及以上的查询。外部数据的共享通常由各业务部门发起，提交共享需求至外部数据归口管理部门进行审核，待审核通过后，数据由外部数据管理系统或其他相关系统提供，当数据共享内容以及数据共享范围发生变化时，需要业务部门再次提出申请。外部数据管理系统能够提供统计分析等功能辅助数据共享部门跟踪数据使用情况，并通过接口控制、权限控制等措施实现对外部数据共享的可控可计量。

外部数据的共享同样需要遵循“最小必要”原则，共享范围应限于用户授权范围与业务实现目的。个人类外部数据可通过“可用不可见”的方式进行共享，相关信息可嵌入到系统化的业务流程或模型中使用，非必要不得采用个人查询的方式。

■ 外部数据的质量监测

外部数据的质量指外部数据能够真实、完整地反映实际情况的程度。外部数据的质量监测指依据质量规则对外部数据质量进行检查、核对，量化外部数据质量水平并识别质量问题的过程。金融机构对于外部数据的质量要求较高，通常在事前、事中和事后三个阶段分别开展质量检测，事前通过验证测试评估数据质量，事中通过系统功能实时监测外部数据质量，事后可由外部数据归口管理部门汇总各业务部门在使用过程中发现的质量问题，形成数据质量监测报告。不同于内部数据对质量的控制和提升，外部数据的质量依赖于数据源本身，其质量更侧重监测、有限度地替换和补充。

■ 外部数据的效用评估

外部数据效用评估指对数据使用效果进行深度分析，由各业务部门基于系统平台提供的统计结果以及业务成效评估方法进行分析，评估结果将汇总至外部数据归口管理部门，以此作为开展下一年度外部数据需求分析、费用申请及数据采购等多项工作的重要依据。由于金融机构降本增效的要求，外部数据预算及采购政策趋严，业内已经将外部数据效用评估工作提升到更高的层次，逐步由定性评估过渡到定性和定量相结合、着重定量分析的阶段。

■ 内外部数据的融合

内、外部数据的融合可以最大限度发挥数据本身的使用价值，数据融合可以进一步分为数据清洗、数据关联和数据融合等步骤。由于外部数据和内部已有数据的格式、标准、存储方式等存在一定差异，需要多平台、多技术配合对外部数据进行清洗和整理，包括统一标准的码值转换、合并同类型去重、剔除干扰项，数据标准化、格式化等操作。数据在融合之前还应进行关联，例如，企业数据可通过企业名称和企业统一社会信用代码进行关联整合，并将其作为查询条件。基于业务需要，在实现外部数据与内部数据实体的关联后，金融机构可将数据进行整合并形成新的数据视图。

■ 外部数据异议处理

外部数据的异议指数据主体在办理业务过程中认为金融机构使用的外部数据存在不准确、不一致或数据缺失而提出的更正要求，异议内容提出人称为异议申请人。

外部数据异议处理指受理异议申请、开展异议核查、异议更正并回复异议申请人的过程。每件异议从受理到处理结束的整个过程应在规定时限内完成。

使用外部数据的各业务主管部门受理外部数据异议申请，对下级机构提出的异议申请进行审核，并将审核结果反馈至外部数据归口管理部门，归口管理部门应以审核结果作为依据受理、核查并回复业务主管部门提出的外部数据异议申请。

对于审核同意的异议处理申请，外部数据归口管理部门应协调数据供应商进行处理并及时通知异议申请人。

四、外部数据的退出流程

外部数据退出分为正常退出和异常退出。正常退出指与外部数据供应商合作到期且无相关数据需求的自然退出；异常退出指与外部数据供应商合作期间出现政策规制、供方履约异常、重大违法违规、严重舆情以及其他不可抗力问题而导致的强制退出。

金融机构需要针对外部数据建立统一的退出管理机制和流程，在每份外部数据采购合同到期前一段时间，外部数据归口管理部门应针对该数据再次征集需求，若无续期需求，则应协同相关业务部门开展数据停止供应影响性分析，并根据分析结果协同相关部门在合同到期后下线相关数据服务。此外，为保证业务连续性，金融机构需针对重要性及连续性要求高的数据建立主备数据机制。

本文摘编自CCSA TC601 大数据技术标准推进委员会、大数据流通与交易国家工程实验室发布的《金融机构外部数据管理实践白皮书（2023年）》，全文下载：