人手一张数据治理工具全景飞行图 让你胸有成竹

数治网DTZed特别将20个通用工具能力图谱制作成一张飞行图,便于在数据治理落地过程中,不论从全局还是到各个过程域,都能做到心中有数,胸有成竹。

数据治理工具全景飞行图
出处:全国信标委大数据标准工作组

数据作为推动经济社会发展及数字化转型的新动能已成为社会共识,数据治理作为基础性工作,受到越来越多企事业单位的重视。数据确权、数据质量、数据安全、数据流通已成为影响数据要素价值潜力发挥的重要因素,如何做好大数据治理工作成为数字化转型的新挑战。数据治理是一个需要长期投入的工作,涉及业务和技术等方方面面,影响范围及复杂度高,治理效率尤为重要。

为进一步增强我国各行业各领域对数据治理工具的认知,通过治理工具实现对数据治理工作的降本增效,全国信标委大数据标准工作组组织编制本研究报告,为各行业、各领域数据治理工具的研发和应用提供实践参考,也为后续数据治理工具标准化工作提供思路。

数据治理工具

数据治理工具指为数据治理项目而开发,以满足数据治理规划、设计、实施、常态化运营工作的一系列应用程序系统集和其他技术。数据治理工具根据数据治理需求及其技术架构,可以包含一个或多个程序系统或技术,每个程序系统或技术都有其独立的使用场景和价值,但在某些特殊的场景下,系统与系统、系统与技术、技术与技术之间存在一定的关联 性。数据治理工具的选择不限于开源或者商用,主要取决于数据治理工作的目标、范围及所管理数据的特征。

数据治理工具主要的价值体现在:

在战略层面,引入工具可以保证数据治理组织在治理活动中制定的各种规章制度、指导方针、规范标准、操作程序、工作流程、行为准则和方法等加快落地。对组织理解数据治理提供了基础保障,对组织过程资产的积累和提升具有促进作用。同时,引入工具能帮助企业加快度量、监控, 辅助评估、决策。

在管理层面,引入工具可以明确管理目标、活动流程,将具体的管理活动落地到工具上,能帮助企业快速搭建数据管理体系。同时,通过引入更先进的技术、工具和自动化手段代替低效的重复劳动,可以让组织效率有明显提升。

在操作层面,引入工具可贯穿数据的整个生命周期,实现过程可查、结果可依,对辅助决策及审计有重要意义。其次,面对海量数据,部分场景下必须使用数据提取、分类、处理的技术及工具才能完成相关工作。

数据治理工具图谱

图谱全景图是在GB/T 36073-2018《数据管理能力成熟度评估模型》、GB/T 36344-2018《信息技术 数据质量评价指标》、GB/T 34960.5- 2018《信息技术服务 治理 第5部分:数据治理规范》指导下,结合本文所研究的重点行业数据治理工具的应用情况、典型数据治理工具厂商的功能架构研制而成。

需要特别说明的是:

第一,图谱中的工具划分是按照工具应具备的能力进行划分,并非按照工具的功能开发模块进行划分。

第二,本文未对数据治理与数据管理进行严格的定义与区分,数据治理的主要工作仍然被理解为战略、指导与决策。本图谱中所列工具不局限于支撑治理本身的工具,还包含了数据管理的工具和对数据生命周期操作的工具。主要原因如下:

一是数据治理工作离不开数据管理活动及对数据的操作协同,管理活动与数据操作的行为受数据治理监督和指导,同时其行为及结果也对数据治理的评估及决策产生影响;

二是技术工具的选型本身也为数据治理战略制定的一部分;

三是便于读者全局了解技术工具在数据治理工作的作用、地位及所需能力。依据数据治理及管理组织各层级所关注的侧重点,本图谱将工具划分为三层,包括战略层、管理层、操作层。

DG-1-1 数据治理工具全景图

(一)治理战略层

为提供数据治理战略规划、评估、指导、监控的工具或功能。主要包括五大过程域:组织与职责、体系与制度、团队与文化、计划与监控、成效与评估,其中:

  1. 组织与职责:对数据治理组织及其职责进行规划、管理的工具或功能。
  2. 体系与制度:对数据治理相关体系、制度、流程进行管理、发布的工具或功能。
  3. 团队与文化:提供数据治理文化发布、查询、学习培训等工具或功能。
  4. 计划与监控:提供数据治理项目管理及监控的工具或功能。
  5. 成效与评估:对数据治理成效提供评估依据及评估行为的工具或功能。

受企业的业务架构和技术架构的影响,治理战略层的工具形态会有差异。可以是企业内部通用的信息化平台和电子办公软件,也可以是为数据治理项目专项采购和开发的信息化平台,亦或是线下纸质方式。无论哪种形态,满足过程域能力要求即可,可能的组合包括项目管理工具、文档管理系统、绩效评估系统、信息发布平台、电子办公软件、知识库平台等等。

DG-2-1组织与保障工具能力图谱

(二)数据管理层

为应落实数据治理战略而进行的数据管理活动的工具或功能。主要包括八大过程域:数据架构管理、元数据管理、数据标准管理、主数据管理、数据质量管理、数据资产管理、数据安全管理、数据生存周期管理。

  1. 数据架构管理:提供数据架构规划、设计相关工具及功能,包括数据层次、数据模型和数据流向设计。
  2. 元数据管理:提供统一的企业元数据存储库,支持相关血缘、影响分析及变更管理的监控。
  3. 数据标准管理:提供统一的指标数据技术标准、业务标准、管理标准的视图,具备基本的增删改查及废止功能,可进行标准符合性检测。
  4. 主数据管理:提供对企业主数据、参考数据统一管理,支持主数据模型定义、数据约束及分发策略的管理。
  5. 数据质量管理:支持对数据质量建立质量规则,支持数据治理评估,并生成质量报告,提供质量整改机制。
  6. 数据资产管理:提供企业以资产价值视角的数据管理功能,包括资产索引、资产开发、资产服务等功能。
  7. 数据安全管理:支持对数据进行安全分级分类,定期监督和执行数据安全策略执行情况。
  8. 数据生存周期管理:对数据进行生存周期管理,定期监督和检查数据归档和销毁策略执行情况。

(三)数据操作层

为基于治理战略目标要求,以满足数据管理需要,对数据进行操作的工具或功能。主要包括六大过程域:数据存储工具、数据采集工具、 数据处理工具、数据共享交换工具、AI计算支撑工具、数据分析应用工具。

  1. 数据存储工具:基于数据治理战略及数据架构、数据标准、元数据、质量等管理要求,对数据进行存储。包括分布式存储、传统关系型存储、文件存储及图数据库存储。
  2. 数据采集工具:基于数据治理战略要求,完成相关数据采集工作。支持不同采集方式及频率,包括实时采集、离线采集、报表填报采集、API采集等。
  3. 数据处理工具:基于数据质量、标准、数据架构等要求,对数据进行加工、转换、清洗、集中等工作。
  4. 数据共享交换工具:基于业务与之间的数据共享需求,对不同异构数据执行交换或服务。包括文件、库表、接口、实时流等。
  5. AI计算支撑工具:将人工智能技术运用到数据采集、处理、共享、评估、度量等活动中。
  6. 数据分析应用工具:通过数据可视化、报表等工具完成数据治理的报告、诊断分析、监控图表等的开发制作。

除全景图外,本报告对每层工具能力要素进行了更细一步的绘制,并收录了部分行业案例采用的工具架构图。本报告共研制、收录了26个图谱,其中研制了20个通用工具能力图谱,收录了6个案例工具能力图谱,以供读者参考。

在此,数治网DTZed特别将20个通用工具能力图谱制作成一张飞行图,便于在数据治理落地过程中,不论从全局还是到各个过程域,都能做到心中有数,胸有成竹。获取高清大图,加入“数治x”行业社群, 300+ 高质量前沿资料免费下载,不只做个资料党,更开启你的自主个性化学习旅程,在公众号“idtzed”上回复“入”直通:

资料、学习、成长问答助手;
图解、模板、问卷行业工具包;
个人、团队数据素养水准评估;
数治连线产研导师专场直播等。

首期数治x行业工具包的图谱部分已上线,包括高清数据治理工具、数据资产管理实践全景飞行图以及中国智能网联汽车、工业互联网、数据智能、企业数智化转型升级、网络与信息安全服务/产业等图谱。

与我们有更多合作,定制你的的数字推广直击目标潜在客户:

数据平台和工具入库;
论坛、讲座等活动推广;
新产品、场景、应用等在线发布;
技术、案例解读等线上公开课召募等。

本文摘编自全国信息技术标准化技术委员会大数据标准工作组、中国电子技术标准化研究院联合发布的《数据治理工具图谱研究报告(2021版)》,下载报告全文,内附PDF版飞行图:

更多标准、白皮书、报告等高质量纯净资料下载,在文末扫码关注官方微信公众号“idtzed”,进入公众号菜单“治库”,或按自动回复发送引号内关键词。

发条评论

你的电邮不会被公开。有*标记为必填。