数治入门 | 从能力模型到实践保障一文了解 DataOps（附下载）

指南将围绕 DataOps 助力企业高效、高质量释放数据要素价值为核心逻辑，阐述 DataOps 理念的演进历程、发展现状，重点讨论 DataOps 的概念内涵、价值作用、能力框架等。

目前，国内 DataOps 的实践尚处于探索阶段，只有头部的机构（互联网、电信、金融、电力）在进行点状试点，业界缺少体系化的实践和基于最佳实践的理论框架，阻碍了 DataOps 理念的发展。2022 年，中国通信标准化协会大数据技术标准推进委员会（CCSA TC601）联合金融、通信、互联网行业头部企业以及各大服务厂商，共同成立了DataOps 能力标准工作组，旨在凝聚共识，建立 DataOps 的理论框架和实践路径，搭建交流平台，培养 DataOps 生态，推动数据驱动型企业的能力建设。

经过与十余个行业、百余家企业的几百位专家学者共同探讨，我们发现企业目前对 DataOps 的实践效果主要有两方面预期。

一是关注用数赋能。一些非数字原生型企业，在数字化转型的过程中，逐渐认识到数据文化意识的重要性，并开始努力培养这方面的能力。然而，由于缺乏相关经验，这些企业较难提出能够促进业务发展的具体数据需求。这些企业希望借助 DataOps 的实践，提升用数据进行决策的能力，养成用数据分析的习惯，从而更好地应用数据赋能业务，同时搭建起一条敏捷高效的数据研发流水线来支撑业务的探索。

二是关注研发效能。另外一些以互联网企业为代表的数字原生型企业更加关注数据的研发运营效能，这一类企业普遍有着较强的数据应用意识，能够提出具体的数据需求来赋能业务的发展。这类企业希望通过 DataOps 的实践来提升数据供给的效能，加速数据产品的研发，降低数据管理与维护的成本。

（一）DataOps 能力模型

工作组通过对 130 多家企业的走访与调研，收集了大量的企业案例与实践，经过工作组的抽象和提炼，以及组内 10 多次的研讨，最终形成了一套DataOps 能力模型框架。

图 2 DataOps 能力模型框架

DataOps 能力模型框架围绕数据开发流水线，形成“4+3”的组织架构，即 4 个环节和 3 项保障职能。具体来看，数据开发流水线能够划分为 4 个环节，包括了数据的研发管理、交付管理、数据运维和价值运营，就像大工业化时代的流水线生产一样，让企业数据应用开发以非常高效的状态运转。在流水线之外，还需要 3 项外围保障职能来支撑流水线的平滑运作，保障职能包括系统工具、组织管理和安全管控。

DataOps 能力模型框架的提出，旨在帮助企业建立对 DataOps 工作的宏观视图，了解 DataOps 能力建设的核心主线与保障体系，为企业的能力建设提供参考。随着标准的进一步的细化，能够为企业提供详细的建设依据，全面地评价企业在 DataOps 方面的能力状况，摸清当前的现状和问题，指明下一步发展的方向。

（二）DataOps 核心环节

为了实现不断提高数据产品交付效率与质量，实现高质量数字化发展的目标。DataOps 工作组从数据工程化能力着手，结合 DataOps 的内涵构建出高效的数据研发运营流水线。包括研发管理、交付管理、数据运维和价值运营四个环节。

1. 数据研发管理

图 3 DataOps 数据流水线框架

2. 数据交付管理

数据研发管理是指企业对数据开发过程的标准化管理，目的是构建研发治理一体化能力。企业在数据开发阶段，构建数据研发治理一体化流程，将数据治理工作左移，把数据治理工作与数据开发工作有机结合，能够加强数据治理与开发工作的协同配合，同时降低数据治理后置所产生的风险。此外，在数据研发阶段加强对数据需求的约束，并利用自助分析能力来提前探查或解决部分数据需求，大大提升了数据需求的沟通效率，减少了部分研发工作压力。数据研发管理包括需求管理、设计管理、数据开发和自助分析四部分内容。

需求管理：强化需求评价，明确数据需求内容，降低沟通成本。
设计管理：通过“先设计，后开发”的方式，在建模环节做好数据标准、质量的设计。
数据开发：构建离线、实时、数据挖掘的一体化开发能力，并在开发任务链中嵌入数据质量稽核能力，及时发现并解决数据质量问题。
自助分析：为业务人员提供便捷的数据自服务空间，支持数据需求自助探查，缓解需求响应和交付压力。

数据交付管理是指通过对测试、配置、部署和发布等环节的自动化与标准化，提升交付效率和质量的管理过程。企业在数据的交付与部署阶段，通过构建自动化的测试和交付流水线，加强数据版本与代码质量的管理，帮助企业提升数据产品交付的自动化水平，加快交付速度，提高交付质量。

数据交付管理包括测试管理、配置管理、部署与发布管理三部分内容。

测试管理：建设自动化测试流水线，加强对单元测试、集成测试的管理，对代码质量、数据质量均进行测试，提前发现问题、处理问题。
配置管理：加强版本控制与环境管理。对代码版本与数据版本均进行管理，保证各阶段数据的随时可用性和可验证性。
部署与发布管理：建设自动化部署发布流水线，加快数据部署效率，降低人为操作风险。

3. 数据运维

数据运维是指对数据研发运营管理全生命周期的效能、资源、质量、成本等方面进行系统性的管理，目的是构建全链路可观测能力，进而持续监控、发现、处理数据问题。企业通过构建全链路数据可观测能力，通过对数据研发运营管理全生命周期的效能、资源、质量、成本等方面进行系统性的监测与度量，帮助企业全面掌握数据研发运营的各环节情况，及时发现问题、反馈问题、处理问题，进而不断优化数据开发全流程。

数据运维包括监控管理、资源管理、变更管理、异常管理、持续优化五部分内容。

监控管理：构建完整的监控体系，对开发流水线运行情况、质量情况等进行时刻监控预警。
资源管理：对数据资源、计算资源、存储资源等进行的调度优化，合理分配相关资源，优化运维成本。
变更管理：打造标准化、敏捷化变更流程，应对开发流水线的各类变更场景。
异常管理：构建异常管理知识库，构建自动化运维能力，提升运维效率。
持续优化：基于数据流水线运行情况，持续对流水线任务编排情况、平台配置情况进行调优，不断提升开发流水线性能。

4. 价值运营

价值运营是指通过量化指标驱动数据运营，从而提升数据研发的质效，目的是构造精益数据运营管理能力。企业基于量化指标对数据开发工作的成本进行精细化管理，并驱动企业对经营管理、开发流程和工具平台持续优化，形成“以数治数，持续革新”的闭环运营。

价值运营包括成本管理、持续变革、量化驱动三部分内容。

成本管理：细化数据产品交付和维护成本核算，精细控制相关资源投入，识别并减少浪费。
持续变革：打造反馈机制，及时收集数据研发各环节堵点问题，深挖问题源头并持续改进。
量化驱动：构建完善的量化指标体系，对数据开发流水线交付效率、需求响应速度等进行定量评估，不断优化工作流程和资源分配策略。

（三）DataOps 实践保障

为了保证 DataOps 研发流水线能够持续高效运转和迭代完善，企业需要有力的保障措施。本指南提出了组织、工具和安全三个维度的保障要求。这些要求的目标是引导企业以全局最优为目标，保障数据研发流水线的平滑运作。

1. 系统工具

系统工具是指围绕数据流水线构建的敏捷、自动化、一体化的工具平台。工具平台是企业实践 DataOps 理念的抓手，帮助企业内部工具研发团队或外部厂商搭建完整、成熟的 DataOps 工具链，为更好的保障企业形成一体化的数据研发治理能力提供技术支撑。

系统工具包括研发管理、交付管理、运营运维、数据安全四部分内容。

研发管理：支持代码线上流转，遵从“先设计，后开发”的建设原则。
交付管理：构建 CI/CT/CD 能力，支撑自动化的测试流水线与部署流水线功能，能够对代码和数据进行版本控制。
运营运维：支持对数据研发全链路的监测与报警功能，通过大屏展示等形式实时展现研发效能、质量等信息。
数据安全：建立全链路数据安全监测与管控能力，在数据研发全生命周期中落实权限的管控、敏感数据脱敏加密、高危操作审计等功能。

2. 组织管理

组织管理是指对企业内部组织管理架构、角色的管理，目的是打造为敏捷、协同的数据驱动型组织。通过重构组织架构、岗位角色及协同机制支撑 DataOps 流水线运行，企业结合现状与发展需要，健全落实管理规范和要求，革新数据研发、管理、运营架构，完善岗位及晋升考核体系。为长期践行 DataOps 理念，优化数据开发流程提供组织保障。

组织管理包括组织架构、岗位角色、协作协同三部分。