流程挖掘赋能企业数字化转型的技术核心和挑战

从流程运行过程中提取数据、发现关键因素,以揭示企业业务实际执行的情况,并以此诊断和分析在实际流程中的问题,赋能企业流程优化和增强。

流程挖掘赋能企业数字化转型的技术核心和挑战
出处:企业数字化发展共建共享平台

在企业全面数字化转型过程中,流程作为企业中一系列创造价值的活动组合,对解决信息化时代企业各业务系统相互交织造成的业务独立、数据孤岛等问题起到至关重要的作用。随着以云计算、大数据、人工智能等为代表的数字技术迅猛发展,各类适应业务流程不同需求的新产品新工具层出不穷,为企业进一步推动流程数字化转型创造了条件。

流程挖掘是一种新兴的跨数据挖掘、机器学习、过程建模与分析等领域的综合学科,它以业务系统事件日志为基础,从流程运行过程中提取数据、发现关键因素,以揭示企业业务实际执行的情况,并以此诊断和分析在实际流程中的问题,赋能企业流程优化和增强。

具体到企业流程的数字化转型上,就是要通过架构思维,整体、全面、结构化梳理业务场景,打造内外部业务流程贯通、覆盖业务流程全生命周期的数字化管理平台。以数字化、网络化、智能化为特征的新一代数字技术为企业进一步推动流程数字化转型创造了条件,各类适应业务流程不同需求的新产品新工具层出不穷,于是在业务流程管理BPM的基础上,业务流程挖掘、流程自动化等新的技术应用方式应运而生。

一、 流程挖掘核心技术能力

流程挖掘技术的核心理念是贯穿企业流程执行的全生命周期,并从流程运行过程中提取数据、发现关键因素,以揭示企业业务实际执行的情况。流程挖掘始于对企业信息系统(如ERP、CRM等)中业务执行行为的记录,而这样的执行信息通常是以事件日志的形式保存。以事件日志为基础,流程挖掘包括下列主要能力:流程发现、合规性检查、性能分析和流程优化。此外,广义上的流程挖掘技术还涵盖了流程预测、流程仿真等内容。

图 1 流程挖掘核心技术能力

(一) 流程发现

流程发现是指在不使用任何先验信息的条件下从事件日志中发现流程模型,主要包括数据预处理、数据建模等环节。在对业务系统中产生的事件日志进行挖掘之前,需要对日志数据进行预处理,常见的预处理技术包括噪声过滤和轨迹聚类等。数据建模则是指将事件日志数据采用流程发现算法建立可视化的流程模型。

经典的流程发现算法包括Alpha Miner、Heuristic Miner、Inductive Miner、Split Miner等。Alpha Miner算法在2000年提出,是流程发现的第一个算法,2003年,Heuristic Miner(启发式挖掘算法)被提出,是继Alpha Miner之后又一经典的流程发现算法。

(二) 合规性检查

合规性检查(也称一致性检查)是一种分析流程模型和流程实际执行的事件日志之间关系的技术。它将事件日志与流程模型中的活动关联起来,对它们进行比较,以找出事件日志和流程模型之间存在的偏差。合规性检查可以用于评估流程发现算法,发现实际操作中未按照预期执行的流程,也可用于改进和修复流程模型。当前最受关注的合规性检查技术包括基于托肯重演的合规性检查方法和基于对齐的合规性检查方法。

(三) 性能分析

流程性能分析通过对流程及所有变体进行多维度排序、筛选过滤和分类展示,能够图形化展示流程性能指标的钻取结果,自动对流程指标进行校验和分析,并结合KPI等指标深入分析流程时效,发现流程中的性能瓶颈。进一步地,通过建模、信息提取等技术分析实际流程执行过程中遇到的具体问题,找到某些流程运行风险背后的原因及其相关因素,并提出对应的解决和优化方案以避免或缓解风险。

(四) 流程优化

流程优化是根据合规性检查和流程性能分析结果,对流程各环节及其指标进行重新梳理和设计,从而改进现有流程中存在的问题,提高流程运行效率。与传统的流程优化方法相比,基于流程挖掘技术的流程优化以业务系统事件日志为依据,能够更有针对性地对流程运行中的特异性指标进行设计和改造,例如频率、时间、资源等。此外,还可以通过向流程模型添加新的视角或使用基于流程上下文的信息来扩展流程模型,实现对流程模型的增强,从而更好地反映真实的流程执行情况。

二、 流程挖掘加速赋能企业数字化转型


图 2 流程挖掘加速赋能企业数字化转型

流程挖掘技术作为复杂流程辨析和改造的利器,被誉为检视业务流程的“X光机”,在企业数字化转型过程中起到重要的数据驱动作用。

对企业管理者而言,流程挖掘解决了流程碎片化问题,为企业业务流程运行情况提供了有效的评估工具。如今,大量企业正面临着各种业务系统相互独立、流程复杂交织等问题,经营管理人员难以高效获取统计指标,无法及时精确衡量工作落地成效。流程挖掘通过发挥业务系统沉淀的日志数据价值,对业务流程整体运行情况提供可视化端到端透视,为企业管理人员和流程管理者提供更多新信息和新视角,辅助决策者采取恰当的方案推动业务流程标准化, 驱动业务流程管理的全生命周期实现效能提升。

对企业业务人员而言,流程挖掘将他们从繁重的数据工作中“解放”出来,帮助业务人员发现更多自动化机会。很多企业的IT部门或流程管理部门在面对海量的业务流程需求时,主要依赖人工导出、分析、计算、汇总数据,工作任务非常繁重,也缺乏成熟的监管体系。而流程挖掘技术可以为帮助其了解真实流程的执行情况,并通过流程数据精准评估出哪些业务可以实现部分自动化或完全自动化,为企业各项业务的进一步数字化转型创造条件。

图 3 流程挖掘作用及应用成效

三、流程挖掘行业发展的多方挑战

(一) 需求侧:流程挖掘成效不易衡量,融入企业流程管理体系待探索

图 4 流程挖掘需求侧面临的挑战

首先是企业对流程挖掘技术的认知水平仍然偏低。虽然流程挖掘技术在国外已经得到广泛应用,但大部分国内企业对流程挖掘技术的认识仍然较浅,往往期望看到同业成功实践经验,造成自上而下建设推动存在一定困难。按照行业看,电子商务、银行、保险等流程应用较为丰富的行业,流程挖掘技术已经得到了较广泛的认可,但在其他领域,流程挖掘的概念和重要性还需要深入普及。

其次是如何定量衡量流程挖掘建设取得的成效和价值。数字化转型企业应用流程挖掘技术后,通常会带来一些改变,例如流程效率的提高、客户满意度的增加等。但是这些改变往往不易量化,使得流程挖掘建设的价值难以准确测量。流程优化是长期过程,其效果可能无法在短期内体现出来,很难通过量化的模型来评估流程挖掘技术带来的收益,这也让企业在引入流程挖掘时有所顾忌。

三是流程挖掘技术对于企业IT治理能力具有较高的要求。流程挖掘需要大量的数据才能有效运作,大型企业多种业务系统交织,系统开放度和复杂度给流程数据提取整合造成困难,例如可能存在数据缺失、错误、重复等情况,从而影响流程挖掘结果的准确性。此外,使用流程挖掘还可能会涉及敏感数据,包括个人数据、经营信息、客户信息等。因此,应用流程挖掘技术需要建立良好的IT基础架构和数据管理体系,对企业IT治理能力提出了更高要求。

四是企业对如何正确使用流程挖掘尚不明晰。数字化转型企业需要明确使用流程挖掘解决的问题以及期望的目标,这可以帮助确定流程挖掘的范围和方向。确定业务目标后,还需要选择适当的流程挖掘工具,制定合理的流程挖掘方案,包括数据源、流程挖掘方法、结果分析方式等。流程挖掘结果只有在转化为实际行动时才能发挥价值,因此应根据流程挖掘结果制定相应的流程优化解决方案,并将其转化为实际行动。

(二) 供给侧:产品同质化较严重,产品能力难以明确衡量

图 5 流程挖掘供给侧面临的挑战

一是产业化起步晚,产品成熟度较低。相比于国外十余年的行业经验积累,我国流程挖掘产业化起步较晚,因此产品的完整度和成熟度与国际先进企业相比还存在一定差距。例如,与用户业务系统的数据对接能力方面,Celonis可以从SAP、Salesforce、Oracle 等多种系统创建的日志数据中自动分析和梳理出企业的业务流程。但由于国内大中型企业的信息化发展进程普遍较快,其不同业务系统往往建设于不同年代,采购自不同服务商,系统之间割裂比较严重,对流程挖掘产品的数据获取能力提出了更高要求。

二是产品同质化严重,适应不同类型企业的产品研发亟待加强。当前,越来越多的大型企业致力于建设统一流程服务中心,以改善当前业务系统较为分散的现状。但中小企业则不具备建设大型流程管理系统的资金投入能力,更青睐于应用“小快轻准”的数字化服务产品和解决方案。因此,面向不同行业、不同规模企业因地制宜调整流程挖掘工具的形态,总结归纳形成可复制、可推广的模式和路径,将成为流程挖掘服务商拓展国内市场的关键之一。

三是缺失规范化标准,产品能力难以衡量。流程挖掘行业处于发展初期,越来越多的数字化服务商纷纷加入赛道,导致市场上产品能力参差不齐。部分企业虽然有意采用流程挖掘工具,但对其功能、性能水平缺乏可信的评价依据,为流程挖掘产品的应用推广造成了阻碍。此时,构建规范化的评价体系对流程挖掘工具能力进行评价,不仅有助于数字化转型企业根据自身需求选择更加适合的产品和工具,也有助于敦促数字化服务商不断提升其产品丰富度、功能完备性和服务质量,推动行业健康有序发展。

(三) 技术侧:突破技术瓶颈,多方面提升挖掘和分析应用潜力

图 6 流程挖掘技术侧面临的挑战

一是数据提取耗时、数据质量不高。由于企业业务系统的特异性,已有的流程挖掘平台缺乏高效的面向多源数据的提取模块,一般数据提取的时间能占到流程挖掘项目实施的60-80%。同时,日志数据质量难以保证,存在噪声属性值缺失、轨迹不完整、日志关联信息缺失等问题,对流程挖掘结果产生较大干扰,亟需通过噪声过滤和分析等手段加以改进。

二是流程模型挖掘能力有限。目前流程建模大多仍关注有向图模型的挖掘,该类模型表达能力有限,本质上仅仅是日志的一种可视化呈现。为了提高模型挖掘的准确性,需要更加灵活地运用各类流程挖掘算法,并生成BPMN流程模型,提升流程挖掘的应用价值。此外,现有流程挖掘工具大都是处理离线的业务流程数据,对于增量数据的实时(准实时)挖掘能力比较有限。

三是流程分析准确性和效率不高。在流程可视化呈现的基础上对业务流程指标进行多维度校验和分析,是流程挖掘的重要作用之一。但目前流程挖掘工具仅支持比较简单的指标和根因分析,并且在合规性检查方面,在处理大规模参考模型情况下的差异分析等方面执行效率较低,大都只是以报告的形式进行呈现,仍需要专业人员介入并制定流程优化的解决方案。

四是流程挖掘工具的开放应用程度有限。当前,流程挖掘工具主要以独立的解决方案体现在产品中。在企业内部业务系统繁多的背景下,流程挖掘平台的建设反而进一步增大了系统割裂程度,这无疑限制了流程挖掘的商业应用。未来,通过定制化开发或中间件等方式实现流程挖掘与企业已有平台的深度集成,并在此基础上实现个性化开发和拓展,将进一步拓宽流程挖掘技术的应用范围。

本文摘编自企业数字化发展共建共享平台发布的《流程挖掘行业发展报告(2023)》,全文下载:

更多标准、白皮书、报告等高质量纯净资料下载,在文末扫码关注官方微信公众号“idtzed”,进入公众号菜单“治库”,或按自动回复发送引号内关键词。

加入 AIGC+X 赋能成长营,¥99 起即可开启自主学习、素养测评、社群辅助、刷题考证、资料更新等升值加薪通道。AI 共创导师就在你身边,扫码添加老邪企业微信,入群领取指南、预约宣讲:

更多内推、热招职位征集中,一起用 AI 工具打败工具人。