2023年1月4日,为进一步赋能数据要素价值释放,加强数据资产行业交流合作,由中国信息通信研究院、中国通信标准化协会指导,中国通信标准化协会大数据技术标准推进委员会(CCSA TC601)主办的第五届数据资产管理大会在线上召开。
会上,中国信息通信研究院云计算与大数据研究所大数据与区块链部工程师尹正发布了《DataOps系列标准介绍》。
【以下为演讲实录】
各位领导、各位嘉宾、各位朋友们大家好,我是来自中国信息通信研究院,云计算与大数据研究所的工程师——尹正。很高兴今天能够在这里,以线上的形式为大家介绍DataOps系列标准的情况。
DataOps的概念最早在2014年由国外学者提出,随后业界逐步对其内涵进行补充。在2018年DataOps正式被纳入Gartner的数据管理技术成熟度曲线,由此进入了国际的视野当中。2022年中国信通院正式牵头成立了DataOps能力标准工作组,以此为基础推动我国大数据产业的多元化发展,助力企业完成数据驱动型组织的蜕变。
从发展上看,自2018年被Gartner纳入到数据管理技术成熟度曲线以来,DataOps热度逐年上升,在2022年达到了关注的顶峰。预计未来2-5年内DataOps将达到一个成熟的状态,也预示着在接下来的一段时间内,企业将对DataOps进行更多的尝试和探索,目前是一个从“关注”到“实践”的关键转折点。
从定义上看,Gartner、IBM、Wikipedia争相对DataOps提出了自己的定义。普遍认同DataOps是一种实践而不单单是一种产品工具,其具有敏捷、协作、自动化等特点。对组织、流程、工具的关系重构是DataOps落地的关键。
在数据驱动的大背景下,越来越多的组织已经能够意识到数据的价值,加速建设信息系统,加速建设数据基础设施,加速建设数据能力。随着数据需求激增,组织的数据引擎的动力略显不足。数据工作链路长、工具杂、协同差,数据准备时间长、可信度低、用数难等管理和治理的问题浮出水面。DataOps以破局者的身份出现在大家的视野当中,为企业的数据引擎换挡。
DataOps适合已经或准备进行数字化转型的企业,在企业面对数据工作的管理、开发、维护过程中的一些典型问题时,例如数据工作的人工依赖度高、协同能力差、需求响应低于预期、开发效能不足、有效管理缺失等问题,DataOps通过对数据工具、流程和人员的重构,能够更好的协调和处理好以上的种种问题。当然,这种方案还需要更多的企业通过更多的实践来打磨和完善。
那么DataOps在哪些方面对企业起到了影响呢?我们可以看到,DataOps在组织、流程和工具三个方面对企业产生了影响。要求组织内人员更深入的接纳数据文化、加强协作,重构数据工作流程,加强一体化设计理念的数据开发、治理、运营运维和应用的工具建设与优化。
对于组织来说,一是全面拥抱数据思维,将数据思维的培养纳入到组织的通识教育中;二是增加关注效能的专职或兼职岗位;三是获得领导决策层的支撑和保障。
对于流程来说,一是识别并形成标准化的数据工作程序;二是数据人员要面向业务价值进行研发和运营运维;三是减少个人经验主义,通过流程驱动数据工作的开展。
对于工具平台来说,一是扩大数据自助平台使用者范围,加强重视业务人员、管理人员的数据工具使用体验感。二是加强一体化的平台设计能力,一体化设计不是功能的简单集成,而是遵从同一套设计逻辑的工具集。三是面向效能提升的持续优化能力,不断发现效能问题并不断优化效能问题。
DataOps标准的建设意义在于:一是确定DataOps概念意义、明确DataOps实施流程、把握企业发展阶段和方向;二是通过标准引领的方式,引导企业快速接纳DataOps文化,提供DataOps的实践基线;三是以评促建,通过自评或三方评估的方式,对DataOps能力查缺补漏。即确定概念、确定流程、确定能力水平。
数据研发运营一体化(DataOps)是一种面向数据全生命周期,以价值最大化为目标的最佳实践。DataOps的标准体系分为7大模块,分别是研发管理、交付管理、数据运维三项核心技术能力,价值运营、系统工具、组织管理、安全风险四项保障能力。标准细分为25个能力子域、70余个能力项和200余个能力子项,近5千条指标条款要求。
目前,工作组已就标准整体框架达成共识,并完成第一个模块“研发管理”的主体内容和能力指标条款要求。其余部分的编制仍在进行当中,在此要感谢各个参与企业的支持,也欢迎更多的企业和专家一起参与到后续标准编制及相关活动中来。
DataOps鼓励更多的角色能够参与到数据的使用当中。
一是加强引导全民主动用数。充足的数据资产储备、清晰易读的业务可理解的数据资产目录和易用的自助应用平台,能够更直接地为业务、经营和决策提供有效支撑。数据准备工程师们借助持续集成、持续交付、持续部署等能力,加速数据资源的整合,优化企业数据资产质量。同时,数据工程师们不断优化数据基础设施功能和性能,提供更友好高效的开发环境。
在数据可观测性能力加持下的数据运维运营工作中,能够以全局视角从资源利用、开发任务、数据资产、数据管理、数据效能、数据安全、数据分布等维度进行监控分析,更直观高效地掌握、管理和优化组织的数据工作。
二是加强引导全生命周期的数据治理。尝试将数据治理工作前置,从事后治理向事中治理、事前治理推进。虽然目前已有不少企业具备了一定的数据治理能力和经验,但是其中大部分企业仍在做事后治理,造成成果不显著、治理工作难推进等问题。DataOps工作组借鉴目前较为成熟的事中、事前治理经验,探索更为协调的开发治理关系,形成一套具有指导意义的基线标准。
目前信通院已开启首批DataOps能力的研发管理能力专项评估活动。并同步启动《DataOps白皮书1.0》以及DataOps能力标准——工具平台专项标准的调研工作,计划于2023年一季度发布《DataOps白皮书1.0》(拟)以及工具平台部分标准成果。欢迎各个企业以及各位专家一起加入到标准工作组中,共同推动DataOps能力标准的高质量编制以及理念的推广与实践。
对于DataOps的整体工作进展以及后续安排如图所示:
目前信通院已开启首批DataOps能力的研发管理能力专项评估。并同步启动《DataOps白皮书1.0》以及DataOps能力标准——工具平台专项标准的调研工作。2023年将陆续发布《DataOps白皮书1.0》(拟)以及系列标准中的工具平台、交付管理和数据运维部分。并持续开展相关的评估评测工作,按需举办专题的峰会及论坛活动。后续,信通院将持续关注和推动DataOps能力的落成,打造能够沟通产业的交流平台。
我今天的分享就到这里,感谢大家的观看。
DataOps相关工作咨询请联系:
尹正
15810811776(微信同)
yinzheng@caict.ac.cn
田明慧
13681585066(微信同)
tianminghui@caict.ac.cn
一条评论