自2005年开源大数据项目Hadoop诞生开始,大数据技术持续演变迭代,出现了Storm、Spark等广受应用的开源项目,并一直主导着大数据技术的发展方向和创新模式。现阶段我国大数据技术在数据采集、存储、清洗、分析、可视化等偏应用层的技术领域取得显著进展,但在大数据基础理论、核心算法、关键软件层面较发达国家仍存在明显差距。
趋势一:“技术创新+标准完善”是解决大数据“5V” 特性难题的关键
大数据具有容量大、类型多、速度快、精度准、价值高等“5V”特性。大数据发展进入新的阶段,亟需解决大数据“5V”特性下面临的数据处理难题,并进一步释放数据价 值。具体来看,整个社会的数据量呈现爆发式增长,大数据容量的“量变”需要数据处理技术的“质变”,高效存储和计算数据成为大数据未来发展亟需解决的问题。数据资源包括多模、异构等不同类型的数据,大数据的价值来源于对结构化、半结构化和非结构化等不同类型的数据整合和关联分析。数据和信息呈现爆发式增长和高速变化态势, 大数据技术需要从海量、变化、复杂的数据中实时动态提取有价值的信息,并挖掘出隐藏在瞬息万变且庞杂数据背后的潜在信息,帮助政企及时发现并诊断问题。数据是对现实世界的客观记录与刻画,准确反映物理世界的现状。数据质量是影响数据价值高低甚至有无价值的关键问题, 也是亟需进一步解决的挑战性难题。
加大对大数据基础理论、核心算法、关键软件等的研发是突破大数据发展难题的关键。例如,有界计算、并行计算解决数据规模问题,在有限资源下实现大数据复杂计算,保障数据及时有效处理;跨模计算能够实现结构化数据、半结构化数据、非结构化数据的高效统一计算;实时预测算法设计、高性能实时大数据处理系统能够及时快速处理高速变化的数据;构建数据质量管理平台,为数据完整性、一致性、准确性、实时性等提供支撑,同时因果关联分析技术保障分析结果的正确性。此外,建立数据采集和存储的标准体系,能够从源头提升数据的质量,便于对数据分析和应用。
趋势二:“交易中心提质+顶层规划细化” 将是破解数据交易难题的关键
自从十九届四中全会提出将数据作为第五大生产要素以来,数据的要素价值成为社会共识,党中央、国务院高度重视数据要素及其市场化配置改革,不断推进数据要素市场建设,相关政策也不断细化。数据交易是数据要素市场建设的关键环节,对推动数据要素流通、释放数据价值, 培育数据要素市场具有重要意义。
近几年,我国在数据交易方面进行了大量的探索,数据交易具备一定的发展基础,呈现稳步发展的态势。如何细化数据确权与定价、数据交易流通、数据交易模式等规则和制度将是实现数据高质量交易亟需解决的问题。
自2014年我国最早的3家数据交易机构建立以来,目前已有40多家数据交易机构先后成立,但同时也有不少机构停止业务。2020年4月,中共中央、国务院发布《关于构建更加完善的要素市场化配置体制机制的意见》,全国各地开启了新一轮的数据交易市场建设热潮,2021年和2022年先后有15家机构成立。2021年11月,上海数据交易所成立,旨在建设国家级数据交易所,引领全国数据交易发展,这标志着我国数据交易市场的发展进入新的阶段。推动数据交易机构发展和升级,将有力助推数据交易难题破解。
当前,发展数据交易主要面临三方面的问题:一是数据资产具备多重特性、价格受多种因素影响,较难形成统一的确权和定价规则;二是数据流通壁垒高、共享难度大,降低数据交易活力,阻碍数据交易发展进程;三是数据安全与隐私问题频发,影响多方主体参与数据交易的积极性。未来,应从数据确权与定价、数据交易流通、数据安全三个方面出发,构建并细化适用于数据产权的法律体系和标准体系、鼓励多种所有制企业积极探索多种数据交易模式、围绕数据安全共享与可信计算构建数据交易技术体系来推动数据交易发展,从而为建设高效安全的数据要素市场提供支撑。
趋势三:全国统一数据要素市场正加快培育和建设
数据在全国范围规范、活跃、有序流通是最大化释放数据要素价值并支撑数字经济高质量发展的关键,也已成为建设全国统一大市场的关注点之一。2022年4月,中共中央、国务院发布《关于加快建设全国统一大市场的意见》, 提出加快培育统一的技术和数据市场。目前,全国数据交易联盟、全国一体化政务数据开放平台、全国一体化大数据中心协同创新体系算力枢纽、国家的法律法规等协同发展,为数据全国范围交易流通提供支撑。
2014年起,全国各地方先后设立40多家数据交易中心(所),并在2021年7月,上海数据交易中心联合天津、内蒙古、浙江、安徽等13个省(区、市)数据交易机构共同成立全国数据交易联盟,共同探索全国范围内的数据流通和交易。全国一体化政务数据开放平台加速建成,截至2021年底,该平台已开放53个国务院部门的9000余项数据资源,并与国务院相关部门和地方政务平台实现对接,政务数据集中调用和全国范围内共享流通有了支撑平台。
2021年以来全国一体化大数据中心协同创新体系算力枢纽建设加快实施,利于数据跨区域和大规模存、算、取、用等。自2021年9月1日起施行的《数据安全法》明确了数据利用和交易各方的行为边界和责任义务,其中第三十三条对数据交易中介服务机构的基础行为进行了规定,这从国家层面为国内数据安全合规交易提供了法律依据和保障。建设全国统一的数据要素市场仍需思考三方面的问题,一是顶层设计方面,明确数据确权、定价的制度和机制,创新数据交易模式,推动数据交易的合规化和专业化; 二是数据供需方面,推动政府及大型企业集聚的潜在高价值数据进一步开放,形成数据实际需求和有效供给的良性循环交易;三是平台建设方面,统筹规划建设国家级数据交易中心,并与各地错位发展的交易中心互联互通,形成协同发展的格局。
趋势四:大数据融合应用重点转变为实体产业和民生服务
产业数字化转型是大势所趋,这也为大数据发展带来丰富的应用场景,大数据与实体产业深度融合将具有广阔的市场空间和前景。未来我国产业持续优化升级,大数据与各产业融合步伐不断加快、融合深度不断加强,各细分产业应用场景的拓展和深入挖掘,将推动实体产业和民生服务更深层次、更大范围应用数据变革现有业务模式。
大数据与实体产业深度融合。
在农业及水利大数据方面,推进农产品生产监控、供需匹配、安全溯源、流通等方面越来越广泛地应用大数据,同时推动构建智慧水利体系。
在交通大数据方面,加强对运载工具和交通基础设施相关数据的采集和分析,依赖实时全面的交通数据助推无人驾驶、智能驾驶逐渐大规模落地;此外开展出行规划、交通流量监测分析等应用创新,推广公路智能管理和公交优先通行控制。
在电力大数据方面,强化大数据在发电、输变电、配电、用电各环节的深度应用,实现多能协同互补和用能需求智能调控。在医疗大数据方面,进一步推广远程医疗,推进医学影像辅助判读、临床辅助诊断等应用。
在金融大数据方面,通过大数据精算、统计和模型构建,提升基于数据驱动的风险管理能力。
大数据与民生服务加快融合,在就业大数据方面,运用网络招聘、移动通信、社会保险等大数据研判就业形势,辅助相关部门做出科学决策。
在社保大数据方面,开展社保数据挖掘和应用工作,建设社保大数据管理体系,支撑个性服务和精准监管。
在城市安全大数据方面,建设城市安全风险监测预警系统,实现城市建设、交通、市政等领域城市运行数据的有效汇聚,对城市安全风险进行监控监测和预警。
在应急管理大数据方面,构建安全生产监测感知网络,加大自然灾害数据汇聚共享,加强灾害现场数据获取能力,推广数据监管、数据防灾、数据核灾等智能化应用模式。
在信用大数据方面,构建信用大数据模型,提升信用风险智能识别、研判、分析和处理能力。
趋势五:“数据+平台”协同驱动工业发展模式数字化变革
工信部连续发布工业互联网和工业大数据相关政策, 2020年4月,发布《关于工业大数据发展的指导意见》,提出要加快数据汇聚、推动数据共享、深化数据应用、完善数据治理、强化数据安全、促进产业发展等;2021年11月,发布《“十四五”信息化和工业化深度融合发展规划》,提出不断拓展软件在制造业各环节应用的广度和深度,打造软件定义、数据驱动、平台支撑、服务增值、智能主导的新型制造业体系。
激发工业大数据要素价值和搭建工业互联网平台已成为协同驱动工业发展模式数字化变革的有效支撑。
总体来看,现阶段我国工业大数据的使用深度和广度不够、工业互联网平台在工业领域中的应用程度相对较低。未来,要进一步推进工业设备、车间、工厂等进行全面数据化改造,推动以工业大数据为代表的新一代信息技术在研发设计、生产制造、经营管理、售后服务等工业全价值链中的深度应用,实现工业生产和经营全链条数字化改造,能够通过大数据实时动态对设备进行故障检测和健康管理,优化工业生产流程,保障产品质量。
同时,推动工业互联网平台在电力、钢铁、煤炭、家电、轨道交通等工业典型场景中更广范围、更深程度、更高水平上落地应用,优化工业生产组织流程,提高管理和决策的效率,提升自动化和绿色化水平。
工业大数据和工业互联网协同能够实现工业企业的数据互通和业务互联,支撑形成以数据驱动的智能化生产制造、实现供应链和上下游业务的网络化协同,以及实现对业务和设备的数字化管理等制造业发展新模式,引领工业数字化转型。此外,对于电力热力供应、化石能源加工、非金属矿物生产等碳排放强度高和碳排放量大的领域,未来也要充分利用“数据+平台”优化工业生产制造流程,发挥工业大数据和工业互联网作为实现“碳达峰、碳中和”的关键基础设施作用。
趋势六:隐私计算呈现多元化发展态势,将在金融、政务等领域落地应用
隐私计算是面向隐私信息全生命周期保护的计算理论和方法,其在保证数据拥有者的权益安全及隐私的前提下,对数据进行分析计算,能够保证数据在流通过程中的“可用不可见”。隐私计算是数据安全流通的关键技术,国内从2018年开始,隐私计算进入快速发展期,许多大数据、人工智能、区块链、数据安全企业纷纷入局。
总体看,隐私计算技术呈现多元化发展态势,包括多方安全计算、联邦学习、可信执行环境、同态加密等不同的技术路线,但商业环境尚未成熟,整体上市场还有很大上涨空间。当前,隐私计算发展呈现三大特点;一是市场处于蓬勃发展的早期阶段,竞争格局尚未确定;二是产业发展环境、发展配套正在逐步完善;三是商业模式仍需进一步探索。近年来,我国出台多项政策支持隐私计算发展,市场关注热度持续提升,未来几年国内隐私计算市场将迎来快速发展期。
当前,隐私计算相关产品已经在金融、政务、医疗和互联网领域率先应用和落地。
在金融领域,金融机构借助隐私计算技术可以安全合规与相关机构打通数据,解决单个金融机构数据维度单一的问题,更加全面地分析客户情况,交叉验证相关业务背景,开展智能风控、智能营销、智能运营等业务,通过上下游间数据的安全联合统计分析提供更加完善的供应链金融服务。
在政务领域,使用隐私计算技术融合政府和企业数据进行联合统计、联合建模,推进政务数据开放共享,帮助政府精准施策,推动数据交易,让政府部门掌握的数据在保证安全的前提下,最大限度服务社会。
在医疗领域,利用隐私计算技术可实现医学数据跨机构安全匹配、安全统计、安全分析,从而助力医学联合科研、基因关联分析、跨国联合研究和影像深度分析等。
在互联网领域,通过打通不同企业掌握的用户数据,可以建立更加立体的用户画像,制定更加精准的营销策略;通过联邦学习丰富数据库,可构建更加立体的反作弊模型,高效且合规合法识别流量质量,也可对广告效果联合归因分析。
趋势七:数据分类分级成为保障数据安全的重要手段
2021年《数据安全法》《个人信息保护法》相继颁布, 国家对数据安全合规建设的要求进一步提高,部分企业已经开始着手开发数据合规管理工具,以协助需求方应对监管。
《数据安全法》强调对数据进行分类分级,数据分类分级是数据安全治理的基础和首要工作,也是当前数据安全治理的痛点和难点。
国家层面明确提出建立数据分类分级保护制度,上海、浙江等多地发布公共数据开放分类分级指南,通过对数据进行分类分级,厘清保护重点,对不同数据实施不同水平的保护,实现对数据的监管力度差异化。金融行业、政府行业等信息化程度高的行业,相继出台“数据分类分级” 的行业标准,推动数据分类分级发展。然而数据治理体系庞大,建立起完善的数据分类分级管理体系面临着诸如数据定义混乱、数据分散在不同系统、数据梳理无从下手、数据盘点耗时费力等诸多难题。
开展数据分类分级需国家、行业主管部门和企业等协同推进。
在国家层面,由于不同行业领域的数据差别较大,需要国家统筹规划和引导,明确数据分类标准和制度。
在行业层面,行业主管部门需要制定特定行业领域的数据分类分级标准规范或指南,指导企业在法律框架下开展相关工作。
在企业层面,需要在国家和行业规定之下,根据自身的特点进行细化和明确规则。企业在对数据定级时,在考虑企业自身合法权益之外,需兼顾国家安全、公共利益以及个人合法权益,更好地与国家重点监管的内容相衔接。具体步骤应包括建立组织保障、梳理数据资源、确定实施策略、明确数据分类和数据分级、落地运营等。
趋势八:构建科学的数据价值评价体系是数据资产化亟需解决的难题
数据资产是指企业在生产经营活动中产生的或者通过外部渠道获取的,具有所有权或控制权的,预期会给企业带来经济利益的数据资源。未来数据资产将会纳入会计计量和核算范围。数据估值是指通过一定的方法体系对数据的价值进行估计,估值结果可为数据定价提供参考。设计和构建科学的数据资产估值体系,是推动数据资产化的基础工作之一,对厘清数据资产属性、制定统一的定价机制、促进数据要素市场建设具有至关重要的意义,也是数据资产化亟需解决的难题。
相比于传统有形资产,数据资产具有虚拟性、可共享、无限复制和价值多变等特点,因此需要建立新的数据价值评估体系全面评估其使用成本。数据资产不具备实体性, 数据的价值不会因为使用频率的增加而磨损或消耗;数据资产的成本主要在于前期的数据获取、分析阶段,但后续可以无限复制,导致其边际成本几乎为零。因此在评估其经济利益时,需要考虑数据资产在加工、衍生、共享过程中可能产生的收益。
当前,数据估值方法包括货币估值法和非货币估值法,并在少部分行业开始应用,中国南方电网、中国光大银行等公司发布了相关的数据估值办法,但未在行业内全面应用, 完善的数据估值体系仍需大量探索。
未来,建设完善的数据估值体系,应该全面考虑风险因素、数据质量、数据加工程度和应用场景等对数据价值的影响。风险因素包括安全合规风险、道德风险和经济风险等;数据质量主要考虑数据精准性、数据完整性、数据唯一性、数据匹配性等;数据加工程度主要是指原始数据、粗加工数据、精加工数据、成熟商业化数据等;应用场景主要是指数据的兼容程度和多维程度等。
2022中国大数据产业生态地图
现在起关注数治网官微(idtzed)公众号,发送“DSJCY”获取2022中国大数据产业生态地图高清大图。
本文摘自《2022中国大数据产业发展白皮书》,全文下载: