An anomaly prediction framework for financial IT systems using hybrid machine learning methods
Beihang University(北京航空航天大学);Shanghai Financial Futures Information Technology Co., Ltd(上海金融期货信息技术有限公司)
在金融领域,一个强大的软件系统对于保证金融交易的顺利进行至关重要。然而,许多金融公司仍然依赖于操作员来识别和消除系统故障时,金融软件系统发生故障。这种传统的操作方法非常耗时且效率极低。为了提高系统故障检测的效率和准确性,从而减少系统故障对金融服务的影响,提出了一种基于机器学习的金融软件系统异常和故障预测框架。特别是,我们首先从系统日志中提取丰富的信息,并消除数据中的噪声。然后利用清洗后的数据作为我们提出的异常预测框架的输入,该框架由三个模块组成:关键性能指标(KPI)数据预测模块,异常识别模块和严重程度分类模块。值得注意的是,我们设计了一个层次结构的报警分类器,并试图减轻类不平衡的问题对整体性能的影响。经验上,实验结果表明,我们提出的方法在现实世界的金融软件系统日志数据集的优越性能。
2019-12-19 cs.LG stat.ML
FlexFringe: Modeling Software Behavior by Learning Probabilistic Automata
Department of Software Technology, Delft University of Technology, the Netherlands(软件技术系,代尔夫特理工大学,荷兰)
本研究介绍了FlexFringe中概率确定性有限自动机学习方法的高效实现,通过改进状态合并策略提升性能,实验证明其在软件日志异常检测任务上优于现有神经网络方案。
2025-09-23 cs.LG cs.LO cs.SE
A hybrid IndRNNLSTM approach for real-time anomaly detection in software-defined networks
针对SDN中数据流预测的异常检测难题,提出混合IndRNN-LSTM模型,结合Embedded特征选择,在NSL-KDD上达到MAE=1.22、RMSE=9.92。
2024-02-02 cs.AI cs.LG cs.NI
Micro-Segmentation Anomaly Detection in Zero-Trust Software-Defined Network Fabrics
该研究针对零信任SDN的异常检测问题,提出ViT和1D-CNN模型,结合微分段技术提升检测性能,实验显示分段输入的模型F1达0.95,ViT略优于1D-CNN。
2026-08-05 cs.CR cs.CV cs.LG
Anomaly Detection in Cloud Components
Ryerson University(瑞尔森大学)
云平台,在引擎盖下,由硬件和软件组件的复杂互连堆栈组成。这些组件中的每一个都可能发生故障,这可能导致停机。我们的目标是通过分析资源利用率指标来早期检测此类故障,从而提高云服务的质量。我们测试了基于Gated-Recurrent-Unit的自动编码器,使用似然函数检测各种多维时间序列中的异常,并实现了高性能。
2020-08-07 cs.DC cs.LG cs.SE
Log-based Anomaly Detection with Deep Learning: How Far Are We?
The University of Newcastle(纽卡斯尔大学)
软件密集型系统生成日志用于故障排除目的。最近,已经提出了许多深度学习模型来基于日志数据自动检测系统异常。这些模型通常要求非常高的检测精度。例如,大多数模型在常用的HDFS数据集上报告的F测量值大于0.9。为了深刻理解我们距离解决基于日志的异常检测问题还有多远,本文深入分析了五种最先进的基于深度学习的模型,用于在四个公共日志数据集上检测系统异常。我们的实验集中在几个方面的模型评估,包括训练数据选择,数据分组,类分布,数据噪声,早期检测能力。我们的研究结果指出,所有这些方面的评价有显着的影响,并不是所有的研究模型都能很好地工作。基于日志的异常检测问题尚未得到解决。根据我们的研究结果,我们还提出了未来可能的工作。
2022-02-15 cs.LG cs.SE
MELODY: Robust Semi-Supervised Hybrid Model for Entity-Level Online Anomaly Detection with Multivariate Time Series
AWS AI Labs(亚马逊人工智能实验室)
针对软件部署实体级异常检测中异构性、低延迟、定义模糊和标注有限等挑战,本文提出半监督混合模型MELODY,通过在线特征提取与深度单类模型实现异常检测,在真实云数据上F1相对提升7.6%至56.5%。
2024-06-06 cs.LG
On the Effectiveness of Log Representation for Log-based Anomaly Detection
Polytechnique Montreal(蒙特利尔理工学院)
本文系统比较了六种日志表示技术在四个公开日志数据集和七种机器学习模型上的异常检测效果,并分析了日志解析与特征聚合的影响,为自动化日志分析工作流中的表示技术选择提供了实证指导。
2024-04-08 cs.LG cs.SE
Challenges and Solutions to Build a Data Pipeline to Identify Anomalies in Enterprise System Performance
VMware, Inc.(VMware 公司)
我们将讨论VMware如何解决以下挑战,利用数据来运行基于ML的异常检测系统,以检测软件定义数据中心(SDDC)企业部署中的性能问题:(i)由于严重依赖不可扩展的人工注释器而导致的标签稀缺和标签偏差;(ii)由于不断变化的工作负载模式、软件堆栈和底层硬件而导致的数据漂移。我们的异常检测系统已在生产中部署多年,并已成功检测到许多重大性能问题。我们证明,通过解决这些数据挑战,我们不仅将我们的性能异常检测模型的准确性提高了30%,而且还确保了模型的性能永远不会随着时间的推移而下降。
2021-12-13 cs.LG
Probabilistic Software Modeling: A Data-driven Paradigm for Software Analysis
Johannes Kepler University Linz(约翰内斯·开普勒大学林茨分校);Software Competence Center Hagenberg GmbH(哈根贝格软件能力中心有限公司)
软件系统是复杂的,随着人工智能组件数量的增加,行为理解对传统的测试和维护策略提出了挑战。缺乏用于行为软件理解的工具和方法,使开发人员只能在已知场景的边界内进行测试和调试。我们提出了概率软件建模(PSM),数据驱动的建模范式的预测和生成方法在软件工程。PSM分析程序并合成一个概率模型网络,可以模拟和量化原始程序的行为。该方法提取程序的类型、可执行文件和属性结构,并复制其拓扑结构。然后,每个模型都朝着观察到的运行时进行优化,从而形成反映系统结构和行为的网络。由此产生的网络允许全方位的统计推断分析,可以构建丰富的预测和生成应用程序。应用范围从可视化的状态,推理查询,测试用例生成,异常检测到随机执行的建模系统。在这项工作中,我们提出的建模方法,软件系统的运行时行为的实证研究,并全面研究PSM建模系统。结果表明,PSM是一个坚实的基础,结构和行为的软件理解的应用。
2019-12-18 cs.LG cs.SE
LogELECTRA: Self-supervised Anomaly Detection for Unstructured Logs
NTT Social Informatics Laboratories(NTT社会信息学实验室)
针对现有日志异常检测方法在未知模板和点异常检测延迟上的局限,提出基于自监督的LogELECTRA模型,利用ELECTRA分析单行日志语义以实现点异常检测,在BGL、Sprit和Thunderbird数据集上优于现有方法。
2024-02-16 cs.LG cs.SE
Semi-supervised learning via DQN for log anomaly detection
Huazhong University of Science and Technology(华中科技大学)
提出半监督日志异常检测方法 DQNLog,通过深度强化学习结合少量标记与大规模未标记数据,设计偏向异常的状态转移函数与联合奖励函数,有效解决了数据不平衡与误报漏报高的问题。
2024-07-30 cs.LG cs.SE
Exploring the Use of Data-Driven Approaches for Anomaly Detection in the Internet of Things (IoT) Environment
Toronto Metropolitan University(多伦多都会大学)
物联网(IoT)是连接物理计算设备、传感器、软件和其他技术的系统。数据可以通过网络与其他设备进行收集、传输和交换,而无需人工交互。物联网发展面临的一个挑战是网络中存在异常数据。因此,物联网环境中异常检测的研究近年来变得非常流行和必要。本调查提供了一个概述,以了解不同的异常检测算法的当前进展,以及它们如何在物联网的背景下应用。在本次调查中,我们将物联网中广泛使用的异常检测机器学习和深度学习技术分为三种类型:基于聚类、基于分类和基于深度学习。对于每一类,我们介绍了一些国家的最先进的异常检测方法,并评估每种技术的优点和局限性。
2022-12-31 cs.LG
LogGPT: Exploring ChatGPT for Log-Based Anomaly Detection
Beihang University(北京航空航天大学);Concordia University(康考迪亚大学)
LogGPT利用ChatGPT的语言理解能力构建日志异常检测框架,在BGL和Spirit数据集上优于三种深度学习方法,展现出良好性能与可解释性。
2023-09-03 cs.AI cs.LG cs.SE
A Review of Open Source Software Tools for Time Series Analysis
King Fahd University of Petroleum & Minerals(法赫德国王石油与矿产大学);Universiti Putra Malaysia(马来西亚博特拉大学)
时间序列数据在现实世界中有广泛的应用。在各种领域中,对时间序列数据的详细分析(通过预测和异常检测)可以更好地理解与特定时间实例相关的事件的行为。时间序列分析(TSA)通常使用图和传统模型进行。另一方面,机器学习(ML)方法在预测和异常检测方面的技术水平有所提高,因为它们在满足时间和数据约束时提供了可比的结果。有许多时间序列工具箱可供使用,为特定模型类(ARIMA/滤波器、神经网络)提供丰富的接口,或为孤立的时间序列建模任务(预测、特征提取、注释、分类)提供框架接口。尽管如此,时间序列的开源机器学习能力仍然有限,现有的库经常彼此不兼容。本文的目标是提供一个简明和用户友好的概述最重要的开源工具的时间序列分析。本文研究了两个相关的工具箱(1)预测和(2)异常检测。本文描述了一个典型的时间序列分析(TSA)框架的体系结构,并列出了TSA框架的主要特点。这些工具根据完成的分析任务、采用的数据准备方法和生成结果的评估方法的标准进行分类。本文提出了定量分析,并讨论了积极开发的开源时间序列分析框架的现状。总体而言,本文考虑了60个时间序列分析工具,其中32个提供预测模块,21个软件包包括异常检测。
2022-03-10 cs.AI cs.LG
Log-based Anomaly Detection based on EVT Theory with feedback
The Chinese University of Hong Kong(香港中文大学);Sun Yat-sen University(中山大学);Huawei Cloud Computing Technology Co., Ltd(华为云计算技术有限公司)
针对现有日志异常检测方法在大规模云系统中资源消耗高、适应性不足的问题,提出基于动态生长前缀树、支持专家/大模型反馈的轻量自适应框架SeaLog,在多数据集上有效性、速度和内存表现均优于基线。
2023-09-30 cs.LG cs.SE
MTAD: Tools and Benchmarks for Multivariate Time Series Anomaly Detection
The Chinese University of Hong Kong(香港中文大学);Sun Yat-sen University(中山大学)
本文系统评估了十二种多变量KPI异常检测方法,提出新指标salience,并发布统一工具包与基准结果,为工业部署和后续研究提供基础。
2024-01-10 cs.AI cs.LG cs.SE
Practical Anomaly Detection over Multivariate Monitoring Metrics for Online Services
The Chinese University of Hong Kong(香港中文大学);Sun Yat-sen University(中山大学);Huawei Cloud Computing Technology Co., Ltd(华为云计算技术有限公司)
针对现有多变量监控指标异常检测方法难以有效捕获指标依赖与历史模式的问题,提出基于协作机的CMAnomaly框架,在华为云数据上F1值达0.9494,性能更优且速度更快,并分享了部署经验。
2023-08-19 cs.LG cs.SE
Log Message Anomaly Detection and Classification Using Auto-B/LSTM and Auto-GRU
University of Victoria(维多利亚大学)
日志消息在软件系统中得到了广泛的应用。它们对于分类很重要,因为每天生成数百万个日志。大多数日志都是非结构化的,这使得分类成为一项挑战。本文开发了称为Auto-LSTM、Auto-BLSTM和Auto-GRU的深度学习(DL)方法,用于异常检测和日志分类。这些模型用于将非结构化日志数据转换为适合分类算法的提取特征。他们使用四个数据集进行评估,即BGL,OpenStack,Thunderbird和IMDB。前三个是流行的日志数据集,而第四个是用于情感分类的电影评论数据集。结果表明,Auto-LSTM、Auto-BLSTM和Auto-GRU的性能优于其他知名算法。
2021-04-07 cs.LG stat.ML
ENCODE: Encoding NetFlows for Network Anomaly Detection
Delft University of Technology(代尔夫特理工大学);Thales SIX GTS France(泰雷兹六GTS法国公司)
本文提出 ENCODE 编码算法,在 NetFlow 预处理中结合特征值的频率与上下文以聚类网络行为,并在新建 Kubernetes 攻击数据集和两个公共数据集上验证其可提升异常检测模型效果。
2025-01-08 cs.LG
LLM-Enhanced Log Anomaly Detection: A Comprehensive Benchmark of Large Language Models for Automated System Diagnostics
Department of Computer Science(计算机科学系);California State University, Fullerton(加州州立大学弗雷斯诺分校)
本文通过四个公开数据集评估了基于大语言模型和传统方法的日志异常检测,发现微调的Transformer模型在F1分数上表现最佳,而基于提示的LLM在零样本设置中展现出显著优势,且无需标注数据。
2026-04-14 cs.LG cs.SE
syslrn: Learning What to Monitor for Efficient Anomaly Detection
NEC Laboratories Europe(NEC欧洲实验室)
虽然监视系统行为以检测异常和故障是重要的,但是基于日志分析的现有方法只能与日志中包含的信息一样好,并且查看OS级软件状态的其他方法引入了高开销。我们用syslrn来解决这个问题,syslrn是一个系统,它首先离线建立对目标系统的理解,然后根据学习到的正常行为的标识符来定制在线监控工具。虽然我们的syslrn原型仍然是初步的,缺乏许多功能,我们在一个案例研究中显示的OpenStack故障的监控,它可以优于最先进的日志分析系统,很少的开销。
2022-03-29 cs.DC cs.LG cs.OS
GAL-MAD: Towards Explainable Anomaly Detection in Microservice Applications Using Graph Attention Networks
Department of Computer Science and Engineering(计算机科学与工程系);University of Moratuwa(穆塔瓦大学)
本文提出GAL-MAD模型,结合图注意力网络和LSTM捕获微服务时空依赖,利用SHAP值定位异常根因,在RS-Anomic数据集上实现了高准确率与可解释的异常检测。
2025-04-26 cs.AI cs.LG cs.SE
Sequential Deep Learning Architectures for Anomaly Detection in Virtual Network Function Chains
Handong Global University(韩东全球大学);POSTECH(浦项科技大学)
软件定义网络(SDN)和网络功能虚拟化(NFV)已经使得能够有效地提供网络服务。然而,他们也提出了新的任务来监控和确保虚拟化服务的状态,异常检测就是其中之一。已经有许多数据驱动的方法来实现用于服务功能链(SFC)中的虚拟网络功能的异常检测系统(ADS)。在本文中,我们的目标是为ADS开发更先进的深度学习模型。先前的方法使用诸如随机森林(RF)、梯度提升机(GBM)或深度神经网络(DNN)的学习算法。然而,这些模型没有利用数据中的顺序依赖性。此外,它们也受到限制,因为它们只能适用于它们接受培训的证监会环境。因此,我们提出了几个顺序的深度学习模型来学习具有可变长度的链中的虚拟网络功能(VNF)的时序模式和顺序模式。因此,所建议的模型提高了检测性能,并适用于具有不同数量的VNF的SFC。
2021-09-29 cs.LG cs.NI
FC-ADL: Efficient Microservice Anomaly Detection and Localisation Through Functional Connectivity
University of Sussex(苏塞克斯大学)
FC-ADL通过功能连接概念,高效检测和定位微服务异常,适用于大规模部署。
2025-11-30 cs.DC cs.LG cs.SE
What Information Contributes to Log-based Anomaly Detection? Insights from a Configurable Transformer-Based Approach
本文提出一种可配置的Transformer日志异常检测模型,通过不同长度日志序列和特征组合实验,发现事件发生信息对异常识别最关键,而序列与时间信息影响有限,并指出需构建更复杂的新数据集。
2025-03-11 cs.AI cs.LG cs.SE
Root Cause Detection Among Anomalous Time Series Using Temporal State Alignment
Zillow Group(Zillow集团)
最近软件系统的规模和复杂性的增加给时间序列监控和异常检测过程带来了新的挑战。现有异常检测方法的一个主要缺点是它们缺乏上下文信息来帮助利益相关者识别异常的原因。这个问题,被称为根本原因检测,是特别具有挑战性的承担在今天的复杂的分布式软件系统,因为所考虑的指标通常有多个内部和外部的依赖关系。需要大量的手动分析和强大的领域专业知识来隔离问题的正确原因。在本文中,我们提出了一种方法,通过分析时间序列波动的模式来隔离异常的根本原因。我们的方法认为时间序列的观察从一个底层的过程通过一个序列的离散化隐藏状态。这个想法是跟踪传播的影响时,一个给定的问题,导致不一致的,但均匀的移位的基础状态。我们通过在一组观察到的波动中识别因果模式来找到Zillows点击流数据异常的根本原因,从而评估我们的方法。
2020-01-04 cs.LG stat.AP stat.ML
Dimensionless Anomaly Detection on Multivariate Streams with Variance Norm and Path Signature
University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所)
提出结合方差范数与路径签名的无量纲多元流异常检测方法 SigMahaKNN,并通过多领域实验证明其显著优于 isolation forest 与 local outlier factors。
2023-12-06 cs.LG stat.ML
Software-Defined Edge Computing: A New Architecture Paradigm to Support IoT Data Analysis
Hunan University(湖南大学);Virginia Tech(弗吉尼亚理工大学);Queen Mary University of London(伦敦玛丽女王大学)
物联网(IoT)应用的快速部署导致需要处理大量数据。这些物联网应用程序对延迟和带宽有特定的通信要求,并在其生成的数据上呈现新的功能,例如时间依赖性。因此,希望通过探索其通信和计算的固有性质来重塑当前的物联网架构,以支持智能物联网数据处理和分析。本文介绍了物联网数据的特点、物联网网络架构的发展趋势、物联网数据分析中的一些问题及其解决方案。具体来说,我们认为软件定义的边缘计算是一种很有前途的架构,可以支持物联网数据分析的独特需求。我们进一步提出了一个实验数据异常检测在这种架构,并比较两种架构的心电图诊断。结果表明,该方法是有效可行的.
2021-04-26 cs.LG cs.NI
Graph Neural Network-Based Anomaly Detection for River Network Systems
Queensland University of Technology(昆士兰科技大学)
针对河网传感器水质数据的异常检测难题,本文采用 GDN 建模传感器时空关系,提出 GDN+ 异常评分,并通过仿真与真实数据验证其在高维场景和可解释性上的优势。
2023-06-01 cs.LG stat.AP
AnomalyMatch: Discovering Rare Objects of Interest with Semi-supervised and Active Learning
European Space Agency (ESA)(欧洲航天局);European Space Astronomy Centre (ESAC)(欧洲空间天文学中心);Astronomisches Rechen-Institut(天文计算研究所);Zentrum für Astronomie der Universität Heidelberg(海德堡大学天文研究中心);Kapteyn Astronomical Institute(Kapteyn天文研究所);University of Groningen(格罗宁根大学)
提出AnomalyMatch框架,结合半监督FixMatch算法和主动学习,将异常检测视为二分类问题,利用少量标注和大量未标注图像训练,在严重类别不平衡下实现高AUROC和AUPRC。
2026-06-17 astro-ph.IM cs.LG
Machine Learning based Anomaly Detection for 5G Networks
Macquarie University(麦考瑞大学)
保护未来的网络将是一个具有挑战性的领域,因为物联网(IoT)造成的网络安全威胁和攻击面不断扩大,网络异构性增加,虚拟化技术和分布式架构的使用增加。本文提出了SDS(软件定义安全)作为一种手段,提供一个自动化,灵活和可扩展的网络防御系统。SDS将利用当前机器学习的进步,设计一个使用NAS(神经架构搜索)的CNN(卷积神经网络)来检测异常网络流量。SDS可以应用于入侵检测系统,为5G网络创建更主动和端到端的防御。为了测试这一假设,从一个模拟的环境中正常和异常的网络流量已经收集和分析与CNN。该方法的结果是有希望的,因为该模型已经识别出良性流量的准确率为100%,异常流量的检测率为96.4%。这证明了网络流量分析对各种常见恶意攻击的有效性,也为检测加密的恶意网络流量提供了一种可行的选择。
2020-03-07 cs.CR cs.LG stat.ML
DistAD: Software Anomaly Detection Based on Execution Trace Distribution
现代软件系统变得越来越复杂,这使得它们难以测试和验证。在运行时检测复杂系统中的软件部分异常可以帮助处理非预期的软件行为,避免灾难性的软件故障,并提高软件运行时的可用性。这些检测技术旨在识别故障(异常)的表现形式之前,他们最终导致不可避免的故障,从而支持以下运行时容错技术。在这项工作中,我们提出了一种新的异常检测方法命名DistAD,这是基于软件运行时动态执行痕迹的分布。与其他现有的作品使用关键性能指标,执行跟踪收集在运行时通过侵入式仪器。仪器按照取样机制进行控制,以避免过多的间接费用。利用循环神经网络的双向长短期记忆(Bi-LSTM)结构实现异常检测。整个框架在单类神经网络(OCNN)学习模式下构建,可以帮助消除缺乏足够的标记样本和数据不平衡问题的限制。在一个广泛使用的数据库系统Cassandra上进行了一系列的控制实验,证明了该方法的有效性和可行性。还评估了侵入式探测所带来的开销。结果表明,DistAD可以达到超过70%的准确率和90%的召回率(在正常状态下),与未监视的执行相比,不超过2倍的开销。
2022-04-26 cs.SE
Robust Group Anomaly Detection for Quasi-Periodic Network Time Series
Department of Computer Science and Technology, Tongji University(同济大学计算机科学与技术系);School of Information Science and Technology, Fudan University(复旦大学信息科学与技术学院)
针对准周期网络时间序列,提出seq2GMM框架及其高效训练算法,实现鲁棒群体异常检测,显著优于现有方法,并提供理论收敛性分析。
2025-06-20 cs.LG
TimeSeriesBench: An Industrial-Grade Benchmark for Time Series Anomaly Detection Models
Computer Network Information Center, CAS(中国科学院计算机网络信息中心);Nankai University(南开大学);University of Chinese Academy of Sciences(中国科学院大学);Jilin University(吉林大学);Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences(中国科学院大学杭州高等研究院);Tsinghua University(清华大学);ZTE Co., Ltd(中兴通讯股份有限公司)
针对时间序列异常检测缺乏真实部署验证的问题,提出工业级基准TimeSeriesBench,在168种评估设置下系统评估现有算法并发布工业数据集。
2024-09-03 cs.LG
ADALog: Adaptive Unsupervised Anomaly detection in Logs with Self-attention Masked Language Model
NeuroEdge AI;Cognizant
ADALog通过自适应无监督方法在日志中检测异常,利用预训练双向编码器和自适应阈值处理,实现高效准确的异常检测。
2025-05-15 cs.AI cs.CL cs.LG
Runtime Anomaly Detection for Drones: An Integrated Rule-Mining and Unsupervised-Learning Approach
Singapore Management University(新加坡国立管理学院)
针对无人机运行时故障检测的泛化、可解释性和领域知识融合难题,本文提出RADD,结合44条规则与五个无监督模型,在六类故障上实现93.84%召回率和2.33%误报率,并优于LSTM方法。
2025-05-03 cs.LG cs.RO cs.SE
Cross-System Software Log-based Anomaly Detection Using Meta-Learning
针对日志异常检测中的标注成本高、日志演变和跨系统适应挑战,提出基于元学习的CroSysLog工具,利用源系统训练并少量样本适应目标系统,在四个超算系统上验证了其高效性与适应性。
2025-01-25 cs.SE
Anomaly Detection Based on Critical Paths for Deep Neural Networks
School of Electronic & Information Engineering (School of Big Data Science), Taizhou University(电子与信息工程学院(大数据科学学院),台州大学);Computer Science and Software Engineering, The University of Canterbury(计算机科学与软件工程系,坎特伯雷大学);School of EECS, The University of Queensland(电子工程与科学学院,昆士兰大学);College of Information Science and Engineering, Jinan University(信息科学与工程学院,济南大学);Digital Center, China Merchants Group Limited(中国商人集团有限公司数字中心)
本研究提出一种基于DNN关键路径的异常检测方法,通过遗传进化变异提取关键路径,结合随机子空间采样与投票集成多路径结果,在多类异常检测上精度优于现有最优方法。
2025-05-20 cs.AI cs.LG
Reusability in MLOps: Leveraging Ports and Adapters to Build a Microservices Architecture for the Maritime Domain
Jheronimus Academy of Data Science (JADS)(杰赫罗尼穆斯数据科学学院);Tilburg University (TiU)(蒂尔堡大学);Technical University of Eindhoven (TU/e)(埃因霍温技术大学)
本文探讨了如何利用端口和适配器模式在海事领域构建可重用的微服务架构,以提高ML增强系统的设计效率。
2025-12-09 cs.AI cs.LG cs.SE
A Hierarchical Approach to Conditional Random Fields for System Anomaly Detection
PES University(PES大学)
在许多行业中,以时间敏感的方式识别大规模系统中的异常事件的异常检测是至关重要的,例如。银行欺诈、企业系统、医疗警报等。大规模系统的规模和复杂性通常会随着时间的推移而增长,异常检测算法需要适应不断变化的结构。层次化方法利用了复杂系统和局部环境中的隐含关系。复杂系统中的功能在数据分布方面可能会有很大的不同,从多个数据源捕获不同的方面,并在放在一起时提供更完整的系统视图。在本文中,考虑两个数据集,第一个包括来自运行在云服务上的机器的系统度量,第二个是来自大规模分布式软件系统的应用度量,其系统节点之间具有固有的层次结构和互连。通过比较基于变点的PELT算法、基于认知学习的分层时间记忆算法、支持向量机和条件随机场的算法,为提出分层全局-局部条件随机场方法提供了基础,该方法可以准确地捕获复杂系统中各种特征的异常。分层算法可以学习特定特征的复杂性,并在全局抽象表示中利用这些特征来鲁棒地检测多源特征数据和分布式系统中的异常模式。对复杂系统的图形网络分析可以进一步微调数据集,以基于可用特征挖掘关系,这可以使分层模型受益。此外,分层解决方案可以很好地适应本地级别的变化,在系统的某些部分进行大修时学习新数据和不断变化的环境,并将这些学习转化为系统的全局视图。
2022-10-28 cs.DC cs.LG
Physics-Informed Convolutional Autoencoder for Cyber Anomaly Detection in Power Distribution Grids
West Virginia University(西弗吉尼亚大学)
针对配电网隐蔽网络攻击,本文提出将基尔霍夫定律融入损失函数的多变量 PIConvAE,并在 IEEE 13/123 节点系统中验证其精度、收敛速度和攻击检测能力。
2023-12-08 cs.CR cs.LG cs.SY
Modelling and Simulation of Neuromorphic Datasets for Anomaly Detection in Computer Vision
Bio-Inspired Systems and Technologies Lab, University of York(约克大学生物启发系统与技术实验室);Faculty of Natural Sciences, University of Stirling(斯特林大学自然科学学院);School of Computer Science and Informatics, Cardiff University(卡迪夫大学计算机科学与信息学院);School of Electrical and Electronic Engineering, University of Manchester(曼彻斯特大学电子与电气工程学院);Electronics and Computer Science, University of Southampton(南安普顿大学电子与计算机科学)
ANTShapes通过模拟定制数据集解决神经形态视觉数据集的可用性问题,用于计算机视觉中的异常检测、对象识别和定位。
2026-02-26 cs.AI cs.CV cs.LG
Long Short-Term Memory Neural Networks for False Information Attack Detection in Software-Defined In-Vehicle Network
Clemson University(克莱姆森大学);National Taiwan University Science and Technology(国立台湾科技大学)
现代汽车包含许多电子控制单元(ECU),它们通过车载网络相互通信,以确保车辆的安全性和性能。新兴的互联和自动驾驶汽车(CAV)将拥有更多的ECU,由于大量的额外传感器,先进的驾驶功能和车到一切(V2X)连接,它们之间的耦合。由于连接性,CAV将更容易受到远程攻击者的攻击。在这项研究中,我们开发了一个软件定义的车载以太网网络系统,提供安全防范虚假信息攻击。然后,我们创建了一个攻击模型和攻击数据集,用于对制动相关ECU进行虚假信息攻击。在分析攻击数据集后,我们发现数据集的特征是具有顺序变化模式的时间序列。因此,我们随后开发了一个基于长短期记忆(LSTM)的神经网络虚假信息攻击/异常检测模型,用于实时检测车载网络中的异常。该攻击检测模型可以检测出虚假信息,准确率、精确率和召回率分别为95%、95%和87%,同时满足实时通信和计算要求。
2019-09-25 cs.CY cs.LG cs.NI
Practitioners' Expectations on Log Anomaly Detection
针对当前研究未明确从业者对日志异常检测期望的问题,本研究通过调查36国312名从业者并结合2014-2024年顶级会议文献综述,明确影响工具采用的因素及研究与需求的差距,为技术优化提供方向。
2024-12-02 cs.SE
Quantum adiabatic machine learning
University of Southern California(南加州大学)
我们通过量子绝热演化开发了一种机器学习和异常检测的方法。在训练阶段,我们确定一个最佳的弱分类器集,形成一个单一的强分类器。在测试阶段,我们在输入的叠加上绝热地进化一个或多个强分类器,以便在分类空间中找到某些异常元素。训练和测试阶段都通过量子绝热演化来执行。我们应用这种方法,并详细说明了软件验证和确认的问题。
2011-09-01 cs.LG quant-ph
Beyond Sharing: Conflict-Aware Multivariate Time Series Anomaly Detection
Computer Network Information Center, Chinese Academy of Sciences(中国科学院计算机网络信息中心);University of Chinese Academy of Sciences(中国科学院大学);Kuaishou Technology(快手科技);Purple Mountain Laboratories(紫金山实验室);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
针对现有自监督多元时间序列异常检测方法中指标回归目标冲突导致性能受限的问题,提出基于多任务学习的CAD算法,通过专属结构、任务导向指标选择和p&s门控机制缓解冲突,在三个公开数据集上平均F1达0.943,优于SOTA方法。
2023-08-25 cs.AI cs.LG
Evaluating Large Language Models for Time Series Anomaly Detection in Aerospace Software
Beijing Institute of Control Engineering(北京控制工程研究所);Peking University(北京大学)
本文提出ATSADBench基准,评估大型语言模型在航空航天软件时间序列异常检测中的性能,发现其在单变量任务表现良好,但多变量任务效果欠佳,且RAG策略可能加剧假警报问题。
2026-01-29 cs.SE
Benchmarking Jetson Edge Devices with an End-to-end Video-based Anomaly Detection System
Vietnamese German University(越德大学);University of California San Diego(加利福尼亚大学圣迭戈分校)
本文在多种Jetson边缘设备上部署端到端视频异常检测系统,集成Torch-TensorRT优化,实现47.56 FPS推理速度,较上一代性能提升15%且能耗降低50%。
2023-09-12 cs.AI cs.CV cs.LG
MP-CodeCheck: Evolving Logical Expression Code Anomaly Learning with Iterative Self-Supervision
机器编程(MP)涉及自动化软件开发。根据研究,软件工程师将超过50%的开发时间用于调试软件。为了帮助加速调试,我们提出了MP-CodeCheck(MPCC)。MPCC是一个MP系统,它试图识别逻辑程序表达式中的异常代码模式。在设计MPCC的过程中,我们开发了两种新颖的程序设计语言表示,它们的形成对于其穷尽和有效地处理用于其自我监督训练的数十亿行代码的能力至关重要。为了量化MPCC的性能,我们将其与ControlFlag(一种最先进的自监督代码异常检测系统)进行比较;我们发现MPCC在空间和时间上都更有效。我们通过在各种开源GitHub存储库和一个专有代码库上练习来展示MPCC的异常代码检测功能。我们还提供了一个简短的定性研究的一些不同类别的代码异常,MPCC可以检测到提供一个简短的洞察其能力。
2022-04-14 cs.SE
Heterogeneous Anomaly Detection for Software Systems via Attentive Multi-modal Learning
及时、准确地检测系统异常对于确保软件系统的可靠性至关重要。与利用所有可用的运行时信息的手动努力不同,现有方法通常仅利用单一类型的监视数据(通常是日志或度量),或者不能有效地利用多源数据之间的联合信息。因此,出现了许多错误的预测。为了更好地理解系统异常的表现形式,我们基于大量异质数据进行了全面的实证研究,即,日志和指标。我们的研究表明,系统异常可以明显地表现在不同的数据类型。因此,集成异构数据可以帮助恢复系统健康状态的全貌。在这种情况下,我们提出了HADES,第一个工作,以有效地识别系统异常的基础上异构数据。我们的方法采用了层次化的体系结构,通过融合日志语义和度量模式来学习系统状态的全局表示。它通过一个新的跨模态注意力模块从多模态数据中捕获有区别的特征和有意义的交互,从而实现准确的系统异常检测。我们在大规模模拟和工业数据集上广泛评估HADES。实验结果表明了HADES在异构数据上检测系统异常的优越性。我们发布代码和注释数据集,以供重复性和未来研究。
2023-02-15 cs.SE
OrEdge: Efficient Multi-Modal Anomaly Detection in Distributed Software Systems via Orthogonal-Domain Learning
Lassonde School of Engineering, York University(约克大学拉松德工程学院)
OrEdge是基于正交域学习的轻量级多模态异常检测框架,通过OrEdgeCore重构模块,在微服务数据集上实现了高精度,且模型参数仅9.6K,推理延迟较现有方法降低一个数量级以上,可高效部署于边缘设备。
2026-08-04 cs.AI cs.SE
Multivariate Big Data Analysis for Intrusion Detection: 5 steps from the haystack to the needle
University of Granada(格拉纳达大学)
关于网络安全事件检测和响应的研究文献在自动检测方法方面非常丰富,特别是那些基于异常检测范式的方法。然而,很少有人关注的方法,旨在提供有用的信息,一个给定的检测到的异常的原因的诊断能力。此信息对于安全团队缩短从检测到响应的时间至关重要。在本文中,我们提出了多变量大数据分析(MBDA),这是一种基于5个步骤的完整入侵检测方法,可以有效地处理大量不同的数据源。该方法旨在处理大数据的主要特征,即高容量,速度和多样性。该方法的核心是在最近的论文中提出的多元统计网络监测(MSNM)技术。与应用于入侵检测问题的最新机器学习方法不同,当在MBDA中识别出异常时,系统的输出包括与该异常相关联的原始信息的日志的细节,使得安全团队可以使用该信息来阐明其根本原因。MBDA基于Github中提供的两个开放软件包:MEDA解析器和FCParser。我们用两个案例研究来说明我们的方法。第一个演示了MBDA的应用,半结构化的信息源,使用的数据从VAST 2012迷你挑战2。此完整的案例研究在可供下载的虚拟机中提供。在第二个案例研究中,我们展示了该方法在从具有标记攻击的真实网络中收集的数据中的大数据功能。
2019-06-27 cs.CR cs.LG cs.NI
Towards LLM Accelerated Rapid Reviews for Software Tool Discovery -- Case for Log Anomaly Detection
University of Helsinki(赫尔辛基大学);University of Oulu(奥卢大学);University of Southern Denmark(南丹麦大学)
提出一种结合LLM筛选和编码代理的流水线,用于快速识别和运行软件工具,在日志异常检测案例中实现高效综述。
2026-06-16 cs.SE