数治入门 | AI 协同引领下的制造业数据建设和平台化治理

为助力制造业企业数字化转型和数据治理，本白皮书解读相应的法律法规，分析面临的问题和挑战，并提出应对策略以建立相应管理体系和构建数据治理平台。

制造业是国民经济的主体，是立国之本、兴国之器、强国之基。伴随科学技术的发展，在云计算、人工智能、机器学习、区块链、物联网等新兴技术的推动下，正全面改变着制造业企业的生产制造与运输方式，推进制造业企业数字化转型和数据治理将会为制造业企业创造巨大价值。

而这一切的核心关键是制造业企业数据治理框架的形成、数据治理平台的建设和企业数据资产的管理。数据资产作为人类最新最有活力的资产形式将成为企业最核心竞争力的来源。时下，制造业企业如何形成企业数据治理框架、搭建数据治理平台和实现数据资产管理已成为制造业企业当下共同面临的巨大难题。

一、制造业面临数据问题和挑战

1. 数据多源异构让数据集成共享存在壁垒

异构信息源导致制造企业形成巨大而复杂的异构信息环境。由于历史原因或其它原因，大部分制造业企业已拥有多种业务系统，这些系统和数据已成为企业运转和发展不可缺少的组成部分，但这些数据库大都是被独立创建和管理的，在信息系统方面，企业内部各部门往往各自独立，彼此的信息和组织也不尽相同，以至于计算环境和信息系统平台都不一样，因此每个部门都可视为一个异构的信息源。这些异构信息源使得整个企业构成了异构信息的集成。

大量异构数据制约制造业企业数据的传输和共享。随着制造业企业数字化的建设，制造业企业出现并收集存储了许多新的数据形式（文本、音频、图像、视频数据等），这些大量存在的异构数据，被分布保存在不同的存储环境或数据库中仅服务建设初期自身的独立系统，制约了企业各部门间的数据传输和共享。传统的关系数据库之间的数据信息的交换采用文本文件作为中间媒介，但文本只能实现单张关系表间的简单信息交互。在信息系统中，需要交互的信息量是庞大而复杂的，这种简单的文本信息交换显然力不从心。

如何将不同的数据库应用系统纳入到一个系统下，实现用户在各系统间的数据信息交换、共享和集成，就必须利用一种具有通用性、操作性良好的数据交换技术，使信息系统具有异构相容、集成现有信息的特点。因此如何将原有的各类成熟的数据库系统不加修饰的纳入到新的数据集成系统中，实现多个异构数据库间信息的共享和互操作已成为企业迫切需要解决的问题。

制造业企业数据资产管理能力不足。调查显示工业、制造业、能源行业、医疗行业、教育行业等传统行业仍处于初级阶段，数据资产管理的意识和动力不足，数据资产管理的资源投入仍集中于大数据平台建设，尚未组建相对专业化的数据资产管理团队，尝试性对核心业务开展数据标准化工作。根据数据管理能力成熟度评估模型标准 (DCMM) 评估结果显示，以上行业评估结果集中于第 2 级。金融行业、互联网行业、通信行业、零售行业等较早享受到了“数据红利”，持续推进业务线上化，数据资产管理重要性随之提升，逐步发展数据资产管理部门，加大技术创新与应用，开展数据分析和数据服务。DCMM 评估结果显示，以上行业评估结果集中于第 3 级或以上。

传统的数据整合思路是建立组织的数据中心，将数据从各个系统抽取过来进行集中，再统一提供数据服务。随着大数据与人工智能技术的应用普及，海量多源异构数据急剧增加，特别是非结构化数据的增加，传统大数据平台在面临多源异构数据处理时，面临数据采集处理能力不足、数据结构难以统一，数据运维困难等挑战，为洞察数据的价值带来了层层阻碍。

因此，传统大数据中心已经无法适应现在的组织数据整合要求，需要考虑一种新的整合方式，基于服务的逻辑数据整合，而不是基于数据集中的物理整合。

2. 数据质量难以满足企业需要、可信度低

制造业产业链条长，多业态并存，形成“数据孤岛”，数据质量难以保证。非数字原生企业，特别是大中型的制造企业，往往有着较长的业务链路，从研发到销售全产业链覆盖，在各个工艺流程中沉淀着大量的复杂数据。在信息化时代初期建立了很多相对独立的 IT 系统，典型的的特点是形成了“一类业务、一个 IT 系统、一个数据库” 的烟囱式 IT 架构。其直接带来的问题就是“数据孤岛”。IT 系统中的数据语言不统一，不同 IT 系统之间的数据不贯通，同样的数据需要在不同的 IT 系统中重复录入，甚至在不同 IT 系统中的同一个数据不一致等。

制造业企业数据环境复杂，历史包袱重，缺乏数据认责，数据质量难以保障。非数字原生企业特别是制造业企业普遍有较长的历史，组织架构和人员配置都围绕着线下业务开展，大都经历过信息化过程。很多制造型企业随着不同阶段的发展需求，保留着各个版本的 ERP 软件和各种不同类型的数据库存储环境，导致数据来源多样，独立封装和存储的数据难以集中共享，也不敢随意改造或替换，IT 系统历史包袱沉重。数据没有管理责任人，各系统之间甚至同系统内的数据标准不统一。

3. 企业数据文化建设薄弱、数据驱动意识缺位

制造业企业数据战略，数据建设目标不明确，企业数据文化重视度不高。数据作为一种新的生产要素，在企业构筑竞争优势的过程中起着重要作用，企业应将数据作为一种战略资产进行管理。数据从业务中产生，在 IT 系统中承载，要对数据进行有效治理，需要业务充分参与，IT 系统确保遵从，这是一个非常复杂的系统工程。一个企业想要做大做强，成为世界一流企业需要注重数据文化建设，明确企业数据战略，数据建设目标，指明企业数据建设的方向。

制造业企业没有完整的数据综合治理体系，缺乏数据驱动意识，数据管理责任制。只有构筑一套企业级的数据综合治理体系，才能确保关键数据资产有清晰的业务管理责任，IT 建设有稳定的原则和依据，作业人员有规范的流程和指导；当面临争议时，有裁决机构和升级处理机制；治理过程所需的人才、组织、预算有充足的保障。

4. 让数据可视、可控、可用及可信是当务之急

树立正确的企业数据建设工作思路成为保成为保障企业成功实现数据治理的根本。作为非数字原生企业，数字化转型的关键要素之一是在现实世界的基础上构建一个跨越孤立系统、承载业务的“数字孪生”的数字世界。通过在数字世界汇聚、联接与分析数据，进行描述、诊断和预测，最终指导业务改进。在实现策略上，企业需要构建以云为基础、以数据为驱动的新型 IT 架构。数字世界一方面要充分利用现有 IT 系统的存量数据资产，另一方面要构建一条从现实世界直接感知、采集、汇聚数据到数字世界的通道，不断驱动业务对象、过程与规则的数字化，让企业数据实现可视、可控、可用和可信企业数据建设工作的整体思路如图 2-1 所示：

图 2-1 数据建设工作整体思路

建立完善的企业数据建设框架是企业顺利完成数据治理的必要手段。针对企业数据治理整体思路解读形成企业数据建设工作框架，基于统一的规则与平台，以业务数字化为前提，数据入湖为基础，通过数据主题联接并提供服务，支撑企业业务数字化运营。如下图 2-2 企业数据建设工作框架所示：

企业数据建设工作框架主要包含以下 5 个方面：

1）数据源：业务数字化是数据工作的前提，通过业务对象、规则与过程数字化，不断提升数据质量，建立清洁、可靠的数据源。
2）数据湖：基于“统筹推动、以用促建”的建设策略，严格按六项标准，通过物理与虚拟两种入湖方式，汇聚企业内部和外部的海量数据，形成清洁、完整、一致的数据湖。
3）数据主题联接：通过五种数据联接方式，规划和需求双驱动，建立数据主题联接，并通过服务支撑数据消费。
4）数据消费：对准数据消费场景，通过提供统一的数据分析平台，满足自助式数据消费需求。
5）数据治理：为保障各业务领域数据工作的有序开展，需建立统一的数据治理能力，如数据体系、数据分类、数据感知、数据质量、安全与隐私等。

二、平台化的集中式数据治理

建设一个完美的数据治理平台是企业实现数字化转型和数据治理的必经之路。数据从业务中产生，在 IT 系统中落地，决定了企业数据治理工作必须充分融入到企业的数据治理平台建设中去。如下图 3-3 所示为数据治理平台建设思路 :

图 3-3 数据治理平台建设思路

数据治理平台建设的七个关键步骤：

平台设计：企业数据治理平台设计要充分考虑企业数据架构，包含但不限于需求分析、总体架构设计、数据规范定义、数据引入和数据指标设计等。在数据治理平台设计过程中还需充分考虑到平台界面设计、数据库设计、数据集成方案设计，向上承接企业数据战略的规划要求，向下要保证字段遵从数据标准的定义，库表和字段的设计满足企业数据架构的设计要求，从而达到数据治理融入到数据治理平台的目标。
数据采集：数据采集是企业数据治理平台建设的基础，主要指数据的收集和同步。数据同步包含同构 / 异构数据库同步、基于Log 的文件同步、实时数据同步、增量 / 批量数据同步和非结构数据同步等。
数据开发：数据开发是数据治理平台发挥作用的重要保障。数据开发主要包括数据分布、数据对比、数据脱敏、数据重构和数据修改等。
数据管理：数据管理是数据治理平台发挥作用的有效措施。重要包含数据标准、数据质量、主数据、元数据以及数据的生命周期和数据安全的管理。其中数据标准是在企业范围内确保数据一致的关键，是企业需共同遵守的属性层数据含义及业务规则，是对某个数据的共同理解，这些理解一旦确定，就应作为企业层面的标准在企业内被共同遵守。
数据建模：数据建模是从数据的视角对企业的业务对象、业务过程和业务规则的模拟和抽象，根据业务需求抽取信息的主要特征，反映业务信息之间的联系关系，是建设一套完美的数据治理平台的关键。数据建模主要包括概念模型、逻辑模型和物理模型的设计。
数据应用：数据应用是企业数据治理的成果展示，主要包含数据可视化、BI 报表展示、企业图谱、智能推荐和精准营销等。
平台运维：平台运维是保证数据治理平台正常运转的有效措施。主要包含监控管理、安全管理、报告和持续改进和优化等。其中持续改进和优化是建设一个完美的企业数据治理平台的必要保障，企业的数据治理平台建设不可能一蹴而就，需要根据企业的发展和业务状况不断改进和修正，最终达到建设完美的企业数据治理平台的目标。

数据治理平台需具备的关键功能：

数据源：数据同源是数据治理的核心，所以数据治理平台的数据源必须支持主流的数据库接入，开放式数据库连接驱动，保证企业所有系统的数据都可接入，实现对其进一步处理。
数据集成：企业的数据集成的价值体现在速度上、促进智能分析和促进管理水平提升等。一个完美的数据治理平台需要具有高效的数据库传输方式，可视化配置等功能。
数据开发：用编写代码的方式构建复杂的数据模型和不同类型的代码任务，降低代码开发的成本和门槛，轻松实现数据间的互联互通。
数据质量：数据质量的持续提升是数据治理的核心目标。需要数据治理平台具备提升数据质量的能力，保障数据的安全，对数据质量进行实时监控，第一时间感知脏数据，并采用一定措施不断提升企业数据质量。
运维监控：数据治理平台需要具备提供各种任务操作与状态、告警等多方位的运维能力，提供图形化任务管理模式，任务依赖图逐级展示等功能。
数据地图：数据治理平台需要具备数据资产的元数据信息查看、数据明细信息、分区信息、血缘分析等功能，方便对数据进行检索分析等。
数据服务：需要支持数据云处理，支持通过可视化配置的向导模式，快速将关系型数据库生成 API ，方便提供各种数据支持。

三、推进数据进行资产化管理和应用

良好的数据资产管理是释放企业数据要素价值、推动企业完成数据治理的前提与基础。随着数据的重要性日益显著，数据资产管理成为激发组织数据要素活力、加速数据价值释放的关键。数据资产（Data Asset）是指由组织（政府机构、企事业单位等）合法拥有或控制的数据资源，以电子或其他方式记录，例如文本、图像、语音、视频、网页、数据库、传感信号等结构化或非结构化数据，可进行计量或交易，能直接或间接带来经济效益和社会效益。在组织中，并非所有的数据都构成数据资产，数据资产是能够为组织产生价值的数据资源，数据资产的形成需要对数据资源进行主动管理并形成有效控制。

建设企业级数据资产管理架构是企业数据发挥高效价值的有力保障。数据资产管理包含数据资源化、数据资产化两个环节，将原始数据转变为数据资源、数据资产，逐步提高数据的价值密度，为数据要素化奠定基础。数据资产管理包括数据模型管理、数据标准管理、数据质量管理、主数据管理、数据安全管理、元数据管理、数据开发管理等活动职能。

如图 3-7 所示为数据资产管理架构图：

数据资产化管理的具体应用：

数据模型管理。是指在信息系统设计时，参考逻辑模型，使用标准化用语、单词等数据要素设计数据模型，并在信息系统建设和运行维护过程中，严格按照数据模型管理制度，审核和管理新建和存量的数据模型。
数据标准管理。数据标准管理的目标是通过制定和发布由数据利益相关方确认的数据标准，结合制度约束、过程管控、技术工具等手段，推动数据的标准化，进一步提升数据质量。
数据质量管理。是指运用相关技术来衡量、提高和确保数据质量的规划、实施与控制等一系列活动。衡量数据质量的指标体系包括完整性、规范性、一致性、准确性、唯一性、及时性等。
主数据管理。主数据管理是一系列规则、应用和技术，用以协调和管理与企业的核心业务实体相关的系统记录数据。
数据安全管理。是指在组织数据安全战略的指导下，为确保数据处于有效保护和合法利用的状态，多个部门协作实施的一系列活动集合。包括建立组织数据安全治理团队，制定数据安全相关制度规范，构建数据安全技术体系，建设数据安全人才梯队等。
元数据管理。元数据管理是数据资产管理的重要基础，是为获得高质量的、整合的元数据而进行的规划、实施与控制行为。

四、人工智能引领下的计划协同

良好的数据治理体系和数据治理平台会帮助让制造企业创造更大的价值，数据治理离不开大数据和人工智能的先进技术。大数据的发展为人工智能提供了海量的训练数据，为机器学习和深度学习的突破提供了重要支撑，而人工智能应用的发展又催生出更多数据资源，促进大数据产业进一步发展。制造业企业实现工业数字化转型离不开大数据与人工智能的引领和有效协同。

业务场景：企业战略管理体系没有持续和规范运作，不能绑定战略、业务、资源和部门与个人绩效，从而实现上下对齐、左右协同、前后贯通、战略的延续性差、部分管理层缺乏方向感；缺乏企业架构的顶层设计和管控，流程碎片化、信息孤岛化、应用烟囱化，部门协同不畅、数据共享和利用低敏、应用系统操作复杂；缺乏完善的数据管理体系，无法持续提升各类数据质量和保证数据使用的安全合规，支撑数字化转型差距较大；

需求分析：

业务方面，缺失完善的指标管理体系，企业管理层无法通过指标准确、实时、全面的了解公司经营状况，及时做出具有数据支撑的科学决策；信息安全策略不清晰，安全组织不完善，技术防护能力偏弱，安全管控未融入流程，保密文化建设缺失；企业目标需要实现“智能制造”、“智慧园区”和“智能运营中心”三大智能化主题建设及协同。

技术方面，企业已建设相应领域 IT 应用支撑业务运作，但是主航道核心 IT 系统分散建设，大量工作体外进行，现有系统孤岛式存在，数据共享和集成较差；技术架构基本满足目前业务和信息化管理要求，但对未来支撑业务变革的前瞻性不足。

解决方案：在理解客户发展战略、商业模式、业务发展态势的基础上，为客户构建数字战略；基于亚马逊云科技云架构相关组件，围绕 3 大智能化主题建设开展 6 大关键设计，包含数据资产化、安全体系化、应用服务化、业务智慧化、服务体验化、人文科技化，帮助企业数据治理快速上云；运用大数据和人工智能协同实现 6 大智能，即智能营销、智能研发、智能生产、智慧园区、智能管理、智能服务；通过大数据和人工智能等技术手段实现“智能制造”、“智慧园区”和“智能运营中心”三大智能化主题建设及协同运作，不断为企业创造价值。具体数据治理方案架构如下图 4-5 企业数据治理顶层架构图所示：