BAGH -- Comparative study
流程挖掘是近十年来出现的一个新的研究方向,它主要是利用事件日志和数据来分析流程。业务流程操作的信息系统集成度的提高为创新的数据分析方法提供了基础。流程挖掘与数据采掘有着密切的联系,因此它可以将商业智能方法与业务流程管理联系起来。它专注于端到端流程,并且由于事件数据的可用性不断增长以及新的流程发现和一致性检查技术而成为可能。过程挖掘的目的是通过从信息系统中的事件日志中提取知识来发现、监控和改进真实的过程。所发现的流程模型可以用于各种分析目的。许多公司已经采用流程感知信息系统来以某种形式支持他们的业务流程。这些系统通常具有与实际业务流程执行相关的日志事件。对流程感知信息系统执行日志的正确分析可以产生重要的知识,并帮助组织提高其服务质量。本文回顾和比较各种流程挖掘算法的输入参数的基础上,使用的技术和它们产生的输出。
2019-09-04 cs.IR cs.SE
Automated Discovery of Process Models with True Concurrency and Inclusive Choices
企业信息系统允许公司维护其业务流程执行的详细记录。这些记录可以以事件日志的形式提取,事件日志捕获跨业务流程的多个实例的活动执行。事件日志可用于使用过程挖掘技术以精细的细节级别分析业务过程。流程挖掘技术允许我们从事件日志中发现流程模型,这种操作称为自动流程发现。尽管在该领域有丰富的研究,现有的自动化流程发现技术并没有完全捕获业务流程中固有的并发性。具体地说,如果有时A在B之前完成,有时B在A之前完成,那么这些技术中的大部分都将两个活动A和B视为并发的。但是,通常情况下,业务流程中的活动是在真正的并发设置中执行的,这意味着两个或多个活动的执行在时间上重叠。本文解决了这一差距,提出了一个改进版本的自动化过程发现技术,即拆分矿工,发现真正的并发关系,从事件日志包含每个活动的开始和结束时间戳。所提出的技术也能够区分排他性和包容性的选择。我们评估所提出的技术相对于现有的基线使用11个现实生活中的日志来自不同的行业。
2021-05-13 cs.SE
LogSemFuse: Semantic Evidence Fusion for Explainable Log Anomaly Detection
Concordia University(麦科德大学)
研究日志异常检测,提出LogSemFuse框架,结合骨干预测与多源语义证据,增强现有检测器,能产生异常决策和基于证据的解释,提升检测效果与可解释性,且开销小。
2026-07-07 cs.SE
IOTEL: A Tool for Generating IoT-enriched Object-Centric Event Logs
Queensland University of Technology(昆士兰科技大学)
IOTEL是一个用于生成物联网增强型对象中心事件日志的工具,通过结构化整合IoT数据,支持流程挖掘分析。
2026-03-09 cs.SE
Generality Is Not Enough: Zero-Label Cross-System Log-Based Anomaly Detection via Knowledge-Level Collaboration
Peking University(北京大学)
针对零标签跨系统日志异常检测,本文提出GeneralLog方法,通过动态路由让LLM处理专有日志、小模型处理通用日志,实现知识级协作,在三个公开数据集上取得超过90%的F1分数。
2025-11-08 cs.SE
LogELECTRA: Self-supervised Anomaly Detection for Unstructured Logs
NTT Social Informatics Laboratories(NTT社会信息学实验室)
针对现有日志异常检测方法在未知模板和点异常检测延迟上的局限,提出基于自监督的LogELECTRA模型,利用ELECTRA分析单行日志语义以实现点异常检测,在BGL、Sprit和Thunderbird数据集上优于现有方法。
2024-02-16 cs.LG cs.SE
Business Process Mining
组织最有价值的资产之一是其组织数据。对这一潜在宝藏的分析和挖掘可以为组织带来更多的附加值。流程挖掘是一个新兴领域,可以帮助组织了解现状,检查合规性并计划改进其流程。过程挖掘的目的是从当今组织信息系统的事件日志中提取知识。流程挖掘主要包括三种类型:从事件日志中发现流程模型、一致性检查和组织挖掘。在本文中,我们简要介绍了过程挖掘和审查的一些最重要的技术。此外,我们还调查了流程挖掘在工业中的一些应用,并提出了这一领域面临的一些最重要的挑战。
2016-07-03 cs.SE
Predictive Monitoring of Business Processes
本文提出一种基于事件日志和线性时序逻辑规则的业务流程预测性监控方法,可在执行过程中提前识别影响业务目标实现的数据值,并在 ProM 工具集和真实医疗日志上验证。
2013-12-19 cs.SE
FusionLog: Cross-System Log-based Anomaly Detection via Fusion of General and Proprietary Knowledge
School of Software & Microelectronics, Peking University(北京大学软件与微电子学院);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院)
FusionLog通过融合通用和专有知识实现跨系统日志基异常检测,无需目标系统标注数据,实验显示在零标注设置下F1分数超过90%。
2026-03-26 cs.LG cs.SE
ASTD Patterns for Integrated Continuous Anomaly Detection In Data Logs
Université de Sherbrooke(谢布鲁克大学)
本文提出ASTD模式及量化流算子,结合滑动窗口连续学习,实现数据日志中集成异常检测,简化系统设计。
2024-12-14 cs.LG cs.SE
Discovering Business Process Simulation Models in the Presence of Multitasking
业务流程模拟是一种从定量角度分析业务流程的通用技术。过程模拟的一个众所周知的局限性是模拟结果的准确性受到作为模拟器输入的过程模型和模拟参数的忠实性的限制。为了解决这一限制,一些作者提出了从流程执行日志中发现仿真模型,以便得到的仿真模型更接近现实。该领域中的现有技术假设过程中的每个资源一次执行一个任务。然而,在现实中,资源可能参与多任务处理行为。传统的模拟方法不处理多任务。相反,它们依赖于一种资源分配方法,其中仅在资源空闲时才将任务实例分配给该资源。这种无法处理多任务的情况导致了对执行时间的高估。本文提出了一种方法来发现业务流程执行日志中的多任务,并生成一个仿真模型,考虑到发现的多任务行为。其核心思想是调整任务的处理时间,使得按调整后的时间顺序执行多任务任务相当于按原始处理时间并发执行。使用现实生活中的数据集和不同级别的多任务的合成数据集,所提出的方法进行评估。结果表明,在多任务的存在下,该方法提高了从执行日志中发现的仿真模型的准确性。
2020-04-20 cs.SE
Pinpointing Anomaly Events in Logs from Stability Testing -- N-Grams vs. Deep-Learning
由于稳定性测试执行日志可能很长,软件工程师需要帮助定位异常事件。我们开发并评估了两个模型,用于对单个日志事件进行评分,即N-Gram模型和具有LSTM(长短期记忆)的深度学习模型。两者都只在正常的日志序列上训练。我们评估的模型与长日志序列的Android稳定性测试在我们公司的情况下,和短日志序列的HDFS(Hadoop分布式文件系统)的公共数据集。我们评估下一个事件的预测精度和计算效率。LSTM模型在稳定性测试日志中更准确(0.848 vs 0.865),而在HDFS日志中,N-Gram稍微更准确(0.904 vs 0.900)。与Deep模型相比,N-Gram模型具有更高的计算效率(4到13秒vs 16分钟到近4小时),使其成为我们案例公司的首选。对单个日志事件的错误性进行评分似乎是对失败测试用例的根本原因分析的一个很好的帮助,我们的案例公司计划将其添加到其在线服务中。尽管最近在软件系统异常检测中使用深度学习的浪潮激增,但我们发现这样做的好处有限。然而,未来的工作应该考虑我们的发现是否适用于不同的LSTM模型超参数,其他数据集,以及其他深度学习方法,这些方法比基于LSTM的模型具有更好的准确性和计算效率。
2022-02-23 cs.SE
ZeroLog: Zero-Label Generalizable Cross-System Log-based Anomaly Detection
School of Software;Microelectronics Peking University Beijing, China;Institute for Artificial Intelligence Peking University Beijing, China;National Engineering Research Center for Software Engineering Peking University Beijing, China
本文提出 ZeroLog,一种系统无关的表示元学习方法,结合无监督域自适应与对抗训练,在目标系统零标签条件下实现跨系统日志异常检测,并在三个公开数据集上取得超过 80% 的 F1 分数。
2025-11-08 cs.SE
Automated Discovery of Process Models from Event Logs: Review and Benchmark
流程挖掘允许分析人员利用业务流程的历史执行日志来提取关于这些流程的实际性能的见解。研究最广泛的流程挖掘操作之一是自动化流程发现。一种自动化过程发现方法将事件日志作为输入,并产生业务过程模型作为输出,该业务过程模型捕获在事件日志中观察到的或由事件日志暗示的任务之间的控制流关系。在过去的二十年中,已经提出了各种自动化过程发现方法,在所得到的模型的可扩展性、准确性和复杂性之间进行了不同的权衡。然而,这些方法是以特别的方式进行评估的,采用不同的数据集,实验设置,评估措施和基线,由于使用封闭的数据集,往往导致无法比较的结论,有时无法重现的结果。本文提供了一个系统的回顾和比较评估的自动化过程发现方法,使用开源基准,并涵盖了12个公开的真实事件日志,12个专有的真实事件日志,和9个质量指标。结果突出了该领域的差距和未探索的权衡,包括一些方法缺乏可扩展性,以及它们在使用的不同质量指标方面的性能存在很大差异。
2018-01-30 cs.SE
LLM meets ML: Data-efficient Anomaly Detection on Unstable Logs
University of Ottawa(渥太华大学);Lero, University of Limerick(利默里克大学莱罗研究中心);University of Luxembourg(卢森堡大学)
针对不稳定日志异常检测数据不足问题,提出结合ML模型与LLM的混合方法FlexLog,通过集成学习、缓存和RAG,在减少标注数据的同时提升F1分数并保持高效推理。
2025-10-09 cs.SE
Cross-System Software Log-based Anomaly Detection Using Meta-Learning
针对日志异常检测中的标注成本高、日志演变和跨系统适应挑战,提出基于元学习的CroSysLog工具,利用源系统训练并少量样本适应目标系统,在四个超算系统上验证了其高效性与适应性。
2025-01-25 cs.SE
LO2: Microservice API Anomaly Dataset of Logs and Metrics
该研究提供了一个包含日志、指标和追踪的微服务API异常数据集,通过动态测试生成并标记数据,支持多模态融合方法研究,推动微服务系统异常检测的发展。
2025-04-16 cs.DC cs.NI cs.SE
Multi-Source Anomaly Detection in Distributed IT Systems
TU Berlin(柏林工业大学);Springer Heidelberg(施普林格·海德堡);Princeton University(普林斯顿大学);ABC Institute, Rupert-Karls-University Heidelberg(海德堡鲁珀特·卡尔斯大学ABC研究所)
分布式系统产生的多源数据提供了对系统的整体描述。通过学习模型利用不同模态的联合分布可以有益于用于维护分布式系统的关键应用。一个这样的重要任务是异常检测的任务,我们感兴趣的是检测系统的当前行为与理论预期的偏差。在这项工作中,我们利用联合表示从分布式的痕迹和系统日志数据的异常检测任务在分布式系统中。我们证明,联合利用的痕迹和日志产生更好的结果相比,单一的模态异常检测方法。此外,我们形式化的学习任务-下一个模板预测NTP,这是用来作为一个泛化的日志和分布式跟踪异常检测。最后,我们证明了这种形式化允许学习的痕迹和日志的模板嵌入。联合嵌入可以在其他应用程序中重用,作为跨度和日志的良好初始化。
2021-01-13 cs.DC cs.LG cs.SC
Discovery and Simulation of Data-Aware Business Processes
University of Tartu(塔尔图大学)
本文提出一种数据感知的业务流程模拟建模方法及从事件日志中发现该模型的方法,支持多种数据属性与更新规则,实验证明其能准确发现属性规则并更真实地复刻流程控制流。
2024-08-24 cs.LG cs.SE
Multivariate Log-based Anomaly Detection for Distributed Database
针对分布式数据库缺乏多节点、多异常日志数据集及单节点检测误报率高的问题,本文发布首个开源多变量日志数据集,并提出 MultiLog 方法,性能较现有最先进方法提升约 12%。
2024-06-12 cs.SE
Predictive Process Monitoring: a comparison survey between different type of event logs
本综述比较了传统事件日志与对象中心事件日志在预测性流程监控(PPM)技术中的应用差异,并按预测任务和方法论对现有方法进行分类。
2025-01-07 cs.SE
Enhancing Business Process Simulation Models with Extraneous Activity Delays
University of Tartu(塔尔图大学)
针对现有流程挖掘得到的BPS模型无法捕捉额外等待延迟的问题,提出从事件日志估算额外延迟分布并通过计时器事件增强模型的方法,实验证明其能更准确反映流程时间动态。
2024-02-02 cs.LG cs.SE
Online Discovery of Simulation Models for Evolving Business Processes (Extended Version)
University of Padua, Italy(意大利帕多瓦大学);Fraunhofer Institute for Applied Information Technology (FIT)(弗劳恩霍夫应用信息技术研究所);RWTH Aachen University(亚琛工业大学)
本文提出一种结合增量流程发现与在线机器学习的流式仿真发现技术,优先近期数据并保留历史信息,以自适应演化流程,实验证明其仿真更稳定且能鲁棒处理概念漂移。
2025-06-24 cs.LG cs.SE
Enhancing Web Service Anomaly Detection via Fine-grained Multi-modal Association and Frequency Domain Analysis
Peking University(北京大学);Nanyang Normal University(南阳师范学院);Alibaba group(阿里巴巴集团)
针对Web服务中日志与指标粗粒度对齐及重构过度泛化问题,提出FFAD方法,利用基于图的对齐实现细粒度多模态关联,并结合傅里叶频率聚焦增强异常检测,F1值达93.6%。
2025-01-28 cs.LG cs.SE
Quantifying the Re-identification Risk of Event Logs for Process Mining
在业务流程执行期间记录的事件日志构成了一个有价值的信息源。应用过程挖掘技术,事件日志可以揭示实际的过程执行,并使定量或定性的过程属性的推理。但是,事件日志通常包含敏感信息,这些信息可能通过背景信息和互相关与各个流程涉众相关。因此,我们认为,在发布事件日志时,必须考虑这种重新识别攻击的风险。在本文中,我们展示了如何量化的重新识别风险的措施,在事件日志中的个人的唯一性。我们还报告了一项大规模的研究,探讨了个人的独特性,在收集公开的事件日志。我们的研究结果表明,潜在的事件日志中的所有情况下,可能会被重新识别,这突出了隐私保护技术在流程挖掘的重要性。
2020-06-19 cs.SE
From Few-Label to Zero-Label: An Approach for Cross-System Log-Based Anomaly Detection with Meta-Learning
Peking University(北京大学);National Computer Network Emergency Response Technical Team/Coordination Center of China(中国国家计算机网络应急响应技术团队/协调中心)
针对跨系统日志异常检测中的冷启动问题,提出系统无关的表示元学习方法 FreeLog,在目标系统零标签条件下达到接近少标签先进方法的性能。
2025-07-26 cs.AI cs.SE
PELP: Pioneer Event Log Prediction Using Sequence-to-Sequence Neural Networks
The University of Melbourne(墨尔本大学)
针对流程挖掘领域的事件日志预测问题,提出基于序列到序列深度学习的PELP方法,经合成与真实日志验证效果良好,并给出实用建议。
2023-12-15 cs.LG cs.SE
A Systematic Review of Business Process Improvement: Achievements and Potentials in Combining Concepts from Operations Research and Business Process Management
本文系统综述了业务流程管理与运筹学相结合的研究,发现其集中于资源分配与调度问题,并指出当前方法对随机性和流程数据利用不足的局限。
2024-09-02 cs.SE
Graph Neural Networks based Log Anomaly Detection and Explanation
Leiden University(莱顿大学)
提出 Logs2Graphs 与 OCDiGCN,将事件日志构建为带属性有向加权图并进行无监督图级异常检测,同时给出关键节点解释,在五个基准上性能优异。
2024-01-24 cs.AI cs.LG cs.SE
LogAction: Consistent Cross-system Anomaly Detection through Logs via Active Domain Adaptation
School of Software(软件学院);Institute for Artificial Intelligence, Peking University, Beijing, China(人工智能研究院,北京大学,北京,中国);National Engineering Research Center for Software Engineering, Peking University, Beijing, China(软件工程国家工程研究中心,北京大学,北京,中国);National Key Laboratory of Data Space Technology(数据空间技术与系统国家重点实验室)
LogAction提出基于主动域自适应的日志异常检测模型,结合迁移与主动学习,以2%标注实现93.01%的F1分数,优于现有方法26.28%。
2025-10-09 cs.AI cs.DC cs.LG
PRINS: Scalable Model Inference for Component-based System Logs
行为软件模型在许多软件工程任务中起着关键作用;不幸的是,这些模型要么在软件开发过程中不可用,要么随着实现的发展而迅速过时。模型推理技术已被提出作为一个可行的解决方案,从执行日志中提取有限状态模型。然而,现有技术在处理在实践中常见的非常大的日志时不能很好地扩展。在本文中,我们解决的可扩展性问题,推断模型的基于组件的系统从大型系统日志,而不需要任何额外的信息。我们的模型推理技术,称为PRINS,遵循分而治之的方法。其思想是首先从相应的日志中推断每个系统组件的模型;然后,考虑到日志中反映的跨组件的事件流,将各个组件模型合并在一起。我们评估PRINS的可扩展性和准确性,使用九个数据集组成的日志提取公开可用的基准和个人电脑运行桌面业务应用程序。结果表明,PRINS可以处理大型日志比公开可用的和众所周知的最先进的工具,而不会显着损害推断模型的准确性。
2022-04-13 cs.SE
Agent Behavior Mining: Generative AI Agent Governance in Business Processes
SAP;Umeå University(于默奥大学)
针对生成式AI智能体在业务流程中的不可见自主性风险,提出智能体行为挖掘方法,通过事件数据模型将智能体活动转化为标准流程日志,实现决策可观测与可追溯,并验证其实用性。
2026-06-23 cs.AI cs.SE
ASGNet: Adaptive Semantic Gate Networks for Log-Based Anomaly Diagnosis
本文提出ASGNet,通过变分编码模块和自适应语义阈值机制结合统计特征与语义特征,解决日志异常诊断中的过拟合问题,在真实数据集上优于所有基线方法。
2024-02-19 cs.SE
Exceptions in Business Processes in Relation to Operational Performance
业务流程模型描述了组织中的工作方式。通常,业务流程模型区分正常工作流和正常工作流的异常。然而,它们往往呈现出一种理想化的观点。这意味着在实践中也可能发生意外的异常(业务流程模型中未建模的异常)。这对组织的效率产生了影响,因为信息系统的开发不是为了处理意外的例外情况。本文研究了异常的发生与操作性能之间的关系。它通过分析来自五个组织的业务流程的执行日志,将执行路径分类为正常或异常。随后,分析了正常路径和异常路径之间的差异。结果表明,异常与更长的吞吐量时间方面的更差的操作性能和意外的异常涉及到一个更强的吞吐量时间比预期的异常增加。
2017-06-26 cs.SE
LogGD:Detecting Anomalies from System Logs by Graph Neural Networks
The University of Adelaide(阿德莱德大学);The University of Newcastle(纽卡斯尔大学)
日志分析是大型软件系统故障诊断的主要技术之一。在过去的几十年中,许多日志分析方法已被提出来检测日志反映的系统异常。它们通常将日志事件计数或顺序日志事件作为输入,并利用包括深度学习模型在内的机器学习算法来检测系统异常。这些异常通常被识别为违反了日志序列中日志事件的定量关系模式或序列模式。然而,现有的方法无法利用日志事件之间的空间结构关系,导致潜在的误报和不稳定的性能。在这项研究中,我们提出了一种新的基于图的日志异常检测方法,LogGD,有效地解决了这个问题,通过将日志序列转化为图。利用图Transformer神经网络的强大功能,结合图结构和节点语义进行基于日志的异常检测。我们在四个广泛使用的公共日志数据集上评估了所提出的方法。实验结果表明,LogGD可以优于最先进的基于定量和基于序列的方法,并在不同的窗口大小设置下实现稳定的性能。实验结果证实了LogGD在基于日志的异常检测中的有效性。
2022-09-16 cs.LG cs.SE
Optimized Execution of Business Processes on Blockchain
区块链技术可以在不需要中央机构的情况下执行涉及不受信任方的协作业务流程。具体而言,包括由多方执行的任务的流程模型可以通过在区块链上运行的智能合约来协调。因此,管理区块链的共识机制保证了每一方都遵循流程模型。然而,区块链使用所需的成本高度依赖于智能合约记录的数据量和数据更新的频率。本文提出了一种在商品区块链技术之上执行业务流程的优化方法。本文提出了一种将流程模型编译成智能合约的方法,该智能合约使用空间优化的数据结构对流程中执行每个任务的先决条件进行编码。该方法是经验比较,以前提出的基准重放执行日志,包括一个从现实生活中的业务流程,并测量资源消耗。
2016-12-09 cs.SE
Exploring Block Anomaly Detection In HDFS Log Data Analysis
本研究针对HDFS日志人工异常检测复杂枯燥的问题,提出结合LLM-BiLSTM模型与Kafka流式管道的检测方案,实现HDFS块异常的快速准确检测。
2026-08-03 cs.DC cs.LG cs.SE
Mine Me but Don't Single Me Out: Differentially Private Event Logs for Process Mining
流程挖掘技术的适用性取决于捕获业务流程执行的事件日志的可用性。在某些用例中,特别是涉及面向客户的流程的用例,这些事件日志可能包含私人信息。数据保护法规限制将此类事件日志用于分析目的。规避这些限制的一种方法是将事件日志匿名化,使匿名日志无法单独识别任何个人。本文讨论了事件日志的匿名化问题,以保证在匿名日志被公开后,攻击者可能会挑出原始日志中表示的任何个人的概率不会增加超过一个阈值。本文提出了一种差分隐私披露机制,该机制对日志中的案例进行过采样,并在达到上述隐私保证所需的程度上向时间戳添加噪声。本文报告的实证评估所提出的方法,使用14个现实生活中的事件日志的数据效用损失和计算效率。
2021-08-30 cs.CR cs.SE
Detecting Anomalies in Software Execution Logs with Siamese Network
本文提出基于孪生网络和 LSTM 的软件日志异常检测方法,在 HDFS 数据集上取得 F1=0.996 的最优性能,并通过训练对生成算法、混合模型及日志演化监测与可视化技术降低工程成本、提升鲁棒性和可管理性。
2021-02-02 cs.SE
How to Configure Masked Event Anomaly Detection on Software Logs?
具有屏蔽事件预测的软件日志异常事件检测具有多种技术方法,具有无数的配置和参数。我们的目标是为将来类似的研究提供一个基线。我们使用的模型是N-Gram模型,这是自然语言处理(NLP)领域的经典方法,以及两种深度学习(DL)模型-长短期记忆(LSTM)和卷积神经网络(CNN)。对于数据集,我们使用了四个数据集Profilence、BlueGene/L(BGL)、Hadoop分布式文件系统(HDFS)和Hadoop。其他设置是滑动窗口的大小,它决定了我们使用多少周围事件来预测给定事件,掩码位置(我们预测的窗口内的位置),仅使用唯一序列,以及用于训练的数据部分。结果显示了可以在数据集上推广的设置的明确指示。DL模型的性能不会随着窗口大小的增加而恶化,而N-Gram模型在BGL和Profilence数据集上显示出更差的性能。尽管下一个事件预测很受欢迎,但结果表明,在这种情况下,最好不要预测子序列边缘的事件,即,第一个或最后一个事件,当窗口大小为5时,预测第四个事件的结果最好。关于用于训练的数据量,结果显示了数据集和模型之间的差异。例如,N-Gram模型似乎比DL模型对缺乏数据更敏感。总的来说,对于类似的实验设置,我们建议以下一般基线:窗口大小10,掩码位置倒数第二,不过滤掉非唯一序列,并使用总数据的一半进行训练。
2022-08-03 cs.SE
Differentially Private Release of Event Logs for Process Mining
流程挖掘技术的适用性取决于捕获业务流程执行的事件日志的可用性。在某些用例中,特别是涉及面向客户的流程的用例,这些事件日志可能包含私人信息。数据保护法规限制将此类事件日志用于分析目的。规避这些限制的一种方法是将事件日志匿名化,使匿名日志无法单独识别任何个人。本文解决了匿名化事件日志的问题,以保证在发布匿名日志时,攻击者可能挑出原始日志中表示的任何个人的概率不会增加超过阈值。本文提出了一种差分隐私发布机制,该机制对日志中的案例进行采样,并在达到上述隐私保证所需的程度上向时间戳添加噪声。文章报告的实证比较所提出的方法对国家的最先进的方法,使用14个现实生活中的事件日志的数据效用损失和计算效率。
2022-12-15 cs.CR cs.SE
Speed and Performance of Parserless and Unsupervised Anomaly Detection Methods on Software Logs
本研究比较了四种无监督异常检测方法在软件日志上的性能,发现隔离森林与事件表示在未过滤数据上最优(AUC-ROC 0.829),而OOV检测器与三元组表示在仅正常数据上最佳(0.846),并给出了速度最优选择。
2024-09-20 cs.SE
Impact of Log Parsing on Deep Learning-Based Anomaly Detection
该研究通过多组对比实验探究日志解析对异常检测的影响,发现日志解析准确率与异常检测准确率无强相关,核心影响因素是解析结果的可区分性。
2024-08-19 cs.SE
Scalable Alignment of Process Models and Event Logs: An Approach Based on Automata and S-Components
给定业务流程的预期行为模型和记录其观察到的行为的事件日志,业务流程一致性检查的问题是识别和描述模型和日志之间的差异。一致性检查技术的一个理想特性是识别最小但完整的差异集。现有的一致性检查技术,满足这一属性表现出有限的可扩展性时,面对大型和复杂的模型和日志。本文提出了两种互补的技术来解决这些缺点。第一种技术将模型和日志转换为两个自动机。这些自动机使用纠错同步产品进行比较,通过A* 计算,保证最终自动机以最小的纠错量捕获所有差异。同步产品用于提取日志的每个迹线与模型的最接近的对应迹线之间的最小长度对齐。第一种技术的局限性在于,随着模型中并发级别的增加,模型的自动机的大小呈指数级增长,从而阻碍了可伸缩性。为了解决这个问题,本文提出了第二种技术,其中的过程模型首先分解成一组自动机,称为S-组件,使这些自动机的产品是等于整个过程模型的自动机。一个纠错产品分别计算每个S-组件和由此产生的自动机重组成一个单一的产品自动机捕捉所有的差异,没有最小保证。实证评估表明,所提出的技术优于国家的最先进的基线方面的计算效率。此外,基于分解的技术对于绝大多数数据集是最优的,对于其余的数据集是准最优的。
2020-03-05 cs.SE
LogSD: Detecting Anomalies from System Logs through Self-supervised Learning and Frequency-based Masking
针对半监督日志异常检测中高频消息导致的模式偏差问题,提出自监督方法LogSD,采用双网络与频率掩码等策略,在三个数据集上超越八种基准方法。
2024-04-19 cs.SE
Beyond Window-Based Detection: A Graph-Centric Framework for Discrete Log Anomaly Detection
Sino-German Joint Software Institute, Beihang University(北京航空航天大学中德软件学院)
针对传统窗口方法在日志异常检测中的上下文偏差与定位模糊问题,提出图中心框架TempoLog,利用多尺度时序图网络直接构建动态图,实现事件级异常检测,在公共数据集上达到最先进性能。
2025-01-21 cs.LG cs.SE
MINES: Explainable Anomaly Detection through Web API Invariant Inference
National University of Singapore(国立新加坡大学);Shanghai Jiao Tong University(上海交通大学);Singapore Management University(新加坡管理学院);GovTech Singapore(新加坡政府科技局);Chongqing University(重庆大学)
提出MINES方法,通过从模式级别推断可解释的API不变式来检测Web应用异常,显著降低误报率并提高召回率。
2026-05-30 cs.CR cs.DB cs.LG
Reducing Events to Augment Log-based Anomaly Detection Models: An Empirical Study
Peking University(北京大学);Alibaba Group(阿里巴巴集团)
本研究针对现有基于日志的异常检测方法依赖海量日志、效率低且易受噪声干扰的问题,通过实证分析日志数量与异常表征效果的关联,提出LogCleaner日志精简方法,可减少超70%日志、提速约300%并提升检测性能。
2024-09-15 cs.AI cs.SE
Discovering Generative Models from Event Logs: Data-driven Simulation vs Deep Learning
University of Tartu(塔尔图大学);Universidad de los Andes(安第斯大学)
生成模型是一种统计模型,能够从先前观察到的数据实例生成新的数据实例。在业务流程的上下文中,生成模型从一组历史跟踪(也称为事件日志)创建新的执行跟踪。在以前的工作中已经开发了两个系列的生成过程仿真模型:数据驱动的仿真模型和深度学习模型。到目前为止,这两种方法都是独立发展的,它们的相对性能尚未得到研究。本文通过经验比较数据驱动的模拟技术与多种深度学习技术填补了这一空白,这些技术构建的模型能够生成带有时间戳事件的执行跟踪。这项研究揭示了这两种方法的相对优势,并提出了开发结合这些优势的混合方法的前景。
2020-09-08 cs.AI cs.LG cs.SE
Experience Report: Deep Learning-based System Log Analysis for Anomaly Detection
The Chinese University of Hong Kong(香港中文大学);Sun Yat-sen University(中山大学);Huawei Cloud BU(华为云业务部)
对于许多软件系统,特别是大型分布式系统,可靠性和连续性是一个必不可少的资源。它们忠实地记录运行时信息,以便于系统故障排除和行为理解。由于现代软件系统的规模和复杂性,日志的数量已经达到了前所未有的水平。因此,对于基于日志的异常检测,传统的手动检查方法或甚至传统的基于机器学习的方法变得不切实际,这成为基于深度学习的解决方案的快速开发的催化剂。然而,目前缺乏严格的比较之间的代表性的日志为基础的异常检测器,诉诸神经网络。此外,重新实现过程需要付出不小的努力,并且很容易引入偏差。为了更好地了解不同的异常检测器的特点,在本文中,我们提供了一个全面的审查和评估五个流行的神经网络使用的六个国家的最先进的方法。特别地,所选择的方法中有四种是无监督的,其余两种是有监督的。这些方法进行了评估与两个公开的日志数据集,其中包含近1600万日志消息和0.4万异常实例。我们相信我们的工作可以作为这一领域的基础,并有助于未来的学术研究和工业应用。
2022-01-11 cs.LG cs.SE
NLP-Based .NET CLR Event Logs Analyzer
HSE University(高等经济大学)
本文提出一种基于 NLP 和 BERT 架构的 .NET CLR 事件日志分析工具,通过定制分词处理实现事件序列压缩、重复模式检测与异常识别,实验验证了其在提升软件系统可靠性方面的有效性。
2025-02-06 cs.AI cs.SE
Prescriptive Business Process Monitoring for Recommending Next Best Actions
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡大学)
预测性业务流程监控(PBPM)技术基于历史事件日志数据预测未来的流程行为,以改进运营业务流程。关于下一个活动预测,最近的PBPM技术使用最先进的深度神经网络(DNN)来学习预测模型,以在运行的过程实例中产生更准确的预测。尽管组织通过关键绩效指标(KPI)来衡量流程绩效,但DNN的学习过程并不直接受其影响。因此,所得到的下一个最可能的活动预测在实践中可能不太有益。规范性业务流程监控(PrBPM)方法评估有关其对流程性能(通常由KPI测量)的影响的预测,以通过发出警报或建议操作来防止不希望的流程活动。然而,这些方法都没有推荐实际的过程活动作为根据给定KPI优化的动作。我们提出了一种PrBPM技术,它将下一个最有可能的活动转换为给定KPI的下一个最佳行动。因此,我们的技术使用业务流程模拟,以确保控制流一致性的建议行动。基于我们的评估与两个现实生活中的事件日志,我们表明,我们的技术的下一个最好的行动可以优于下一个活动预测的KPI的优化和距离的实际过程实例。
2020-08-19 cs.AI cs.SE
LLM-based Vulnerability Discovery in Business Process Documentation
Peraton Labs(佩拉顿实验室)
该研究将LLMs应用于MIRABELLE系统,通过实验测试多种LLMs在业务流程文档漏洞检测各阶段的性能,以实现从业务流程表示中识别业务逻辑漏洞。
2026-08-06 cs.CL cs.SE
Log-based Anomaly Detection based on EVT Theory with feedback
The Chinese University of Hong Kong(香港中文大学);Sun Yat-sen University(中山大学);Huawei Cloud Computing Technology Co., Ltd(华为云计算技术有限公司)
针对现有日志异常检测方法在大规模云系统中资源消耗高、适应性不足的问题,提出基于动态生长前缀树、支持专家/大模型反馈的轻量自适应框架SeaLog,在多数据集上有效性、速度和内存表现均优于基线。
2023-09-30 cs.LG cs.SE