LogAnMeta: Log Anomaly Detection Using Meta Learning
Ericsson Research(爱立信研究院);Ericsson(爱立信)
现代电信系统通过来自多个应用层和组件的性能和系统日志进行监控。从这些日志中检测异常事件是识别安全漏洞、资源过度利用、严重/致命错误等的关键。当前的监督日志异常检测框架往往在训练数据中具有很少或看不见的样本的新类型或异常签名上表现不佳。在这项工作中,我们提出了一个基于元学习的日志异常检测框架(LogAnMeta)检测异常的日志事件序列与几个样本。LoganMeta以情节方式训练混合Few-Shot分类器。实验结果证明了该方法的有效性
2022-12-21 cs.LG stat.ML
Deep Depression Prediction on Longitudinal Data via Joint Anomaly Ranking and Classification
Singapore Management University(新加坡管理大学);University of Adelaide(阿德莱德大学);University of Melbourne(墨尔本大学)
已经开发了各种各样的方法来识别抑郁症,但它们主要集中在测量个体目前患有抑郁症的程度。在这项工作中,我们探讨了使用机器学习应用于纵向社会人口统计数据预测未来抑郁症的可能性。在这样做的过程中,我们表明,住房状况和家庭环境的细节等数据可以为预测未来的精神疾病提供线索。为此,我们引入了一种新的深度多任务递归神经网络来学习时间依赖性抑郁线索。该方法将抑郁预测任务与两个辅助异常排序任务进行联合优化,包括对比性单类特征排序和偏差排序。辅助任务解决了问题的两个关键挑战:1)抑郁样本的高类内方差:它们能够学习对抑郁样本的高度变化类内分布具有鲁棒性的表示;以及2)小标记数据量:它们显著地提高了预测模型的样本效率,这减少了对在实践中难以收集的大的抑郁标记数据集的依赖。对大规模儿童抑郁症数据的大量实证结果表明,我们的模型是样本有效的,可以准确地预测抑郁症发生前2-4年,大大优于8个代表性的比较。
2022-03-20 cs.AI cs.CY cs.LG
Detecting Faults during Automatic Screwdriving: A Dataset and Use Case of Anomaly Detection for Automatic Screwdriving
Aarhus University(奥胡斯大学);Technicon ApS
在制造应用中检测故障可能是困难的,特别是如果每个故障模型都是手工设计的。使用机器学习(ML)检测故障的数据驱动方法最近获得了越来越多的关注,其中ML模型可以在来自制造过程的一组数据上进行训练。在本文中,我们提出了一个使用ML模型在自动螺丝操作过程中检测故障的用例,并介绍了一个新的数据集,其中包含在正常和异常操作期间来自通用机器人和OnRobot螺丝刀的完全监控和注册数据。我们使用两个时间序列ML模型来说明如何在自动螺丝驱动应用程序中检测故障。
2021-07-05 cs.LG cs.RO
gen2Out: Detecting and Ranking Generalized Anomalies
Carnegie Mellon University(卡内基梅隆大学);Barrow Neurological Institute(巴罗神经学研究所)
在m维数据点的云中,我们如何发现单点异常和组异常,并对其进行排序?我们是第一个在两个维度上概括异常检测的人:第一个维度是我们在统一的视图下处理点异常和组异常-我们将其称为广义异常。第二个维度是gen 2 Out不仅检测,而且还按可疑顺序对异常进行排名。异常的检测和排序有许多应用:例如,在癫痫患者的EEG记录中,异常可能表示癫痫发作;在计算机网络流量数据中,它可能表示电源故障或DoS/DDoS攻击。我们首先设置一些合理的公理;令人惊讶的是,没有一个早期的方法通过所有的公理。我们的主要贡献是gen 2 Out算法,它具有以下理想的属性:(a)原则和声音异常评分,遵守检测器的公理,(b)双一般,它检测,以及排名广义异常-点和组异常,(c)可扩展性,它是快速和可扩展的,线性的输入大小。(d)有效的,对真实世界癫痫记录(200 GB)的实验证明了gen 2 Out的有效性,并得到了临床医生的证实。在27个真实世界基准数据集上的实验表明,gen 2 Out检测地面真值组,在准确性上匹配或优于点异常基线算法,而没有组异常的竞争,并且在股票机器上需要大约2分钟的时间才能获得100万个数据点。
2021-11-15 cs.LG
What FID Hides: Detecting, Ranking, and Diagnosing Deviations in Generative Evaluation
University of California, Davis(加利福尼亚大学戴维斯分校)
该研究针对生成式评估指标FID的缺陷,提出ZID方法,可检测、排序并诊断生成式模型的分布偏差,还能区分欠/过离散,在FID失效场景下有效。
2026-08-26 cs.LG stat.ML
Detecting the Unexpected: AI-Driven Anomaly Detection in Smart Bridge Monitoring
本文提出基于AI的智能桥梁监控异常检测方法,利用实时传感器数据训练简单机器学习模型,实验表明DBSCAN模型在准确检测桥梁事故方面表现优异,提升了公共安全。
2026-03-30 cs.LG
ResGCN: Attention-based Deep Residual Modeling for Anomaly Detection on Attributed Networks
Eindhoven University of Technology(埃因霍温理工大学);Cooperatieve Rabobank U.A.(拉博银行)
有效地检测属性网络中的异常节点对于许多实际应用的成功至关重要,例如欺诈和入侵检测。现有的方法有三个主要问题的困难:稀疏性和非线性捕获,残差建模和网络平滑。我们提出了残差图卷积网络(ResGCN),这是一种基于注意力的深度残差建模方法,可以解决这些问题:使用GCN对属性网络进行建模可以捕获稀疏性和非线性;利用深度神经网络可以直接从输入中学习残差,基于残差的注意力机制可以减少异常节点的不利影响并防止过度平滑。在几个真实世界的属性网络上进行的大量实验证明了ResGCN在检测异常方面的有效性。
2020-09-30 cs.LG stat.ML
Motion-Aware Feature for Improved Video Anomaly Detection
University of California, Merced(加州大学默塞德分校)
出于我们的观察,运动信息是视频中良好的异常检测性能的关键,我们提出了一个时间增强网络来学习运动感知功能。仅此功能就可以实现与以前最先进的方法竞争的性能,并且当与它们结合时,可以实现显着的性能改进。此外,我们将时间上下文的多实例学习(MIL)的排名模型,通过使用一个注意力块。学习的注意力权重可以帮助更好地区分异常和正常视频片段。通过提出的运动感知功能和时间MIL排名模型,我们在UCF Crime数据集中的异常检测和异常动作识别任务上都大大优于以前的方法。
2019-07-24 cs.CV cs.LG eess.IV
Detecting Log Anomalies with Multi-Head Attention (LAMA)
Huawei Technologies Co., Ltd(华为技术有限公司)
异常检测是一个重要的和具有挑战性的课题,已经在不同的研究领域进行了研究。在这项工作中,我们探讨的任务日志异常检测(特别是计算机系统日志和用户行为日志)通过分析日志的顺序信息。我们提出了LAMA,一个基于多头注意力的顺序模型来处理日志流作为模板活动(事件)序列。应用下一事件预测任务来训练用于异常检测的模型。大量的实证研究表明,该模型优于现有的日志异常检测方法,包括统计和深度学习方法,验证了该方法在学习日志数据序列模式方面的有效性。
2021-01-07 cs.CR cs.LG
Detecting Localized Density Anomalies in Multivariate Data via Coin-Flip Statistics
Scuola Internazionale Superiore di Studi Avanzati (SISSA)(国际先进研究高等学院);University of Cambridge(剑桥大学);Imperial College London(伦敦帝国理工学院);University of Nova Gorica(诺瓦戈里察大学);LUT University(卢托拉大学)
本文提出EagleEye方法,通过编码k近邻列表为二进制序列,检测多变量数据中的局部过密度和欠密度异常,并在三种场景中验证其有效性。
2026-05-15 cs.LG stat.ML
Using Anomaly Feature Vectors for Detecting, Classifying and Warning of Outlier Adversarial Examples
University of Michigan(密歇根大学);Ford Motor Company(福特汽车公司)
我们提出了DeClaW,一个系统,用于检测,分类和警告的对抗性输入的分类神经网络。与当前最先进的方法相比,在给定输入的情况下,检测输入是干净的还是敌对的,我们的目标是还识别对抗攻击的类型(例如,PGD,Carlini-Wagner或清洁)。为了实现这一点,我们提取的统计配置文件,我们术语异常特征向量,从一组潜在的功能。初步研究结果表明,AFV可以帮助区分几种类型的对抗攻击(例如,PGD与Carlini-Wagner),在CIFAR-10数据集上的准确率接近93%。结果打开了大门,使用AFV为基础的方法,探索不仅对抗攻击检测,但也分类的攻击类型,然后设计攻击特定的缓解策略。
2021-07-01 cs.CR cs.LG
GraphSAC: Detecting anomalies in large-scale graphs
Heinz College of Information Systems and Public Policy, Carnegie Mellon University(卡内基梅隆大学海因茨信息系统与公共政策学院)
为了有效地检测大规模图中的异常节点,提出了一种基于图的采样和一致性(GraphSAC)方法.现有的方法依赖于所有节点的连接性和属性来为每个节点分配异常分数。然而,节点属性和网络链路可能会受到对手的损害,使这些整体方法变得脆弱。为了缓解这一限制,GraphSAC随机绘制节点子集,并在采用半监督学习(SSL)模块来估计每个节点的标称标签分布之前,依靠图形感知标准来明智地过滤出被异常节点污染的集合。这些学习的标称分布受异常节点的影响最小,因此可以直接用于异常检测。严格的分析通过限制所需的绘制次数为GraphSAC提供了性能保证。每次绘制的复杂性随着边的数量线性增长,这意味着高效的SSL,而绘制可以并行运行,从而确保大型图形的可扩展性。GraphSAC在不同的异常生成模型下进行了测试,这些模型基于随机游走、聚类异常以及图数据的当代对抗攻击。使用真实世界图形的实验展示了GraphSAC相对于最先进的替代方案的优势。
2019-10-21 cs.LG stat.ML
Ensemble Grammar Induction For Detecting Anomalies in Time Series
George Mason University(乔治梅森大学);Sandia National Laboratories(桑迪亚国家实验室)
时间序列异常检测是一项重要的任务,在广泛的领域中具有应用。近年来,已经提出了许多方法,但它们通常需要预先知道异常的长度并将其作为输入参数提供。这限制了算法的实用性,因为这些信息通常是事先未知的,或者不同长度的异常可能共存于数据中。为了解决这个问题,以前,一个线性时间异常检测算法的基础上语法归纳已经提出。虽然该算法可以找到可变长度的模式,但它仍然需要在离散化步骤中预先选择至少两个参数的值。如何正确地选择这些参数值仍然是一个悬而未决的问题。在本文中,我们介绍了一种基于语法归纳的异常检测方法,利用集成学习。该方法不是使用特定选择的参数值进行异常检测,而是基于使用不同参数值获得的一组结果来生成最终结果。我们证明了所提出的集成方法可以优于现有的语法归纳为基础的方法与不同的标准选择的参数值。我们还表明,所提出的方法可以实现性能类似的国家的最先进的基于距离的异常检测算法。
2020-01-29 cs.DB cs.LG stat.ML
Detecting Backdoors in Neural Networks Using Novel Feature-Based Anomaly Detection
New York University(纽约大学)
本文提出了一种新的防御神经网络后门攻击的恶意训练,在攻击者选择的触发器的存在下,预测错误。我们的防御是基于这样的直觉:后门网络的特征提取层嵌入了新的特征来检测触发器的存在,而后续的分类层在检测到触发器时学会了错误预测。因此,为了检测后门,所提出的防御使用两个在干净的验证数据上训练的协同异常检测器:第一个是检查异常特征的新颖性检测器,而第二个通过与在验证数据上训练的单独分类器进行比较来检测从特征到输出的异常映射。该方法在广泛的后门网络(具有多种触发器)上进行了评估,这些网络成功地避开了最先进的防御。此外,我们评估我们的方法的鲁棒性不可察觉的扰动,大规模数据集上的可扩展性,和有效性下域转移。本文还表明,防御可以进一步提高使用数据增强。
2020-11-04 cs.LG
Detecting and Ranking Causal Anomalies in End-to-End Complex System
National Chiao Tung University(国立交通大学)
本文针对现有RCA方法忽略状态多样性和不同时间滞后相关性的问题,提出RCAE2E框架,用于端到端系统中因果异常的检测与排序,并通过合成数据与真实光电工厂数据验证其有效性。
2024-05-03 cs.LG
Multi-Scale One-Class Recurrent Neural Networks for Discrete Event Sequence Anomaly Detection
Michigan State University(密歇根州立大学)
离散事件序列是普遍存在的,例如在信息和通信技术系统中的过程交互的有序事件序列。近年来,人们越来越多地致力于用离散事件序列检测异常。然而,它仍然是一个非常困难的任务,由于一些固有的挑战,包括数据不平衡问题,事件的离散性,以及数据的连续性。为了解决这些挑战,在本文中,我们提出了OC4Seq,这是一种用于检测离散事件序列中异常的多尺度单类递归神经网络。具体来说,OC4Seq将异常检测目标与循环神经网络(RNN)集成,将离散事件序列嵌入到潜在空间中,在潜在空间中可以轻松检测异常。此外,考虑到异常序列可能是由单个事件、事件的连续性或整个序列引起的,我们设计了一个多尺度RNN框架来同时捕获不同级别的序列模式。在三个基准数据集上的实验结果表明,OC4Seq的性能始终大大优于各种代表性基线。此外,通过定量和定性分析,捕获多尺度序列模式的事件异常检测的重要性进行了验证。
2020-08-31 cs.LG stat.ML
Rank the triplets: A ranking-based multiple instance learning framework for detecting HPV infection in head and neck cancers using routine H&E images
University of Warwick(华威大学);University of Sheffield(谢菲尔德大学);The Alan Turing Institute(艾伦·图灵研究所)
头颈部鳞状细胞癌(HNSCC)的病因涉及多种致癌物,如酒精、烟草和人乳头瘤病毒(HPV)感染。由于HPV感染影响HNSCC患者的预后,治疗和生存,因此确定这些肿瘤的HPV状态非常重要。在本文中,我们提出了一种新的三重排序损失函数和多实例学习管道的HPV状态预测。这在HPV检测中实现了新的最先进的性能,仅使用两个HNSCC队列的常规H&E染色的WSI。此外,还进行了全面的肿瘤微环境分析,从基因组学、免疫学和细胞学角度描述了HPV+/- HNSCC之间的独特模式。确定了拟定评分与不同T细胞亚型(例如T细胞滤泡辅助细胞、CD 8 + T细胞)的正相关性以及与巨噬细胞和结缔细胞(例如成纤维细胞)的负相关性,这与临床结果一致。独特的基因表达谱也确定了HPV感染状态,并与现有的研究结果。
2022-06-16 cs.CV cs.LG
Leveraging GPT-4o Efficiency for Detecting Rework Anomaly in Business Processes
University of Milan(米兰大学)
本文研究GPT-4o-2024-08-06检测业务流程返工异常的有效性,开发相关工具并在特定合成数据集上用三种提示技术测试不同异常分布,结果显示模型性能优异,且异常分布和提示策略影响性能。
2025-02-10 cs.AI cs.LG
Detecting Anomalies Through Contrast in Heterogeneous Data
Virginia Tech(弗吉尼亚理工大学)
检测异常一直是检测潜在欺诈活动的基本方法。我们的任务是检测威胁生态系统和经济的非法木材贸易,并与其他非法活动的关联,我们制定我们的问题作为异常检测之一。在其他挑战中,注释对于我们具有异构特征(分类和连续)的大规模交易数据不可用,这可以帮助构建自动化系统来检测欺诈交易。将任务建模为无监督的异常检测,提出了一种新的基于对比学习模型的异构异常检测器,以解决现有模型的缺点。我们的模型使用了一个非对称的自动编码器,可以有效地处理大的arity分类变量,但避免了对低维潜在空间中数据结构的假设,并且对超参数的变化具有鲁棒性。数据的可能性通过估计器网络来近似,该估计器网络使用负采样与自动编码器联合训练。此外,一个有效的负样本生成方法的异质性数据的细节和直观的概述。我们提供了一个定性的研究,以展示我们的模型在检测木材贸易异常的有效性。
2021-04-02 cs.LG
Ranking-Enhanced Anomaly Detection Using Active Learning-Assisted Attention Adversarial Dual AutoEncoders
New York University(纽约大学);NYUAD, Division of Science(纽约大学亚当分校,科学学院);The University of Edinburgh(爱丁堡大学);School of Informatics(信息学院)
本文提出一种结合主动学习和注意力对抗双自编码器的异常检测方法,通过减少标注成本提升检测精度,适用于APT检测的不平衡数据集。
2025-11-25 cs.AI cs.CR cs.LG
Hybrid Model for Anomaly Detection on Call Detail Records by Time Series Forecasting
移动网络运营商存储大量信息,如描述各种事件和用户活动的日志文件。对这些日志的分析可以用于许多关键应用中,诸如检测网络攻击、发现用户的行为模式、安全事件响应、网络取证等。在蜂窝网络中,呼叫详细记录(CDR)是包含呼叫元数据的此类日志的一种类型,并且通常包括关于联系人的有价值的信息,诸如发起和接收订户的电话号码、呼叫持续时间、活动区域、呼叫类型(SMS或语音呼叫)和时间戳。通过异常检测,可以确定区域中或特定人员的网络流量的异常减少或增加。本文的主要目标是研究用户在蜂窝网络中的行为,主要是预测一个地区的呼叫数量和检测网络流量中的异常。本文提出了一种新的混合方法的基础上,各种异常检测方法,如GARCH,K-均值,神经网络来确定异常数据。此外,我们还讨论了这些异常现象的可能原因。
2021-10-19 cs.LG stat.ML
Detecting Regions of Maximal Divergence for Spatio-Temporal Anomaly Detection
Friedrich Schiller University Jena(耶拿弗里德里希·席勒大学);Carl Zeiss AG(卡尔·蔡司股份公司)
在空间和时间变化测量中的异常的自动检测是若干领域中的重要工具,例如,欺诈检测、气候分析或医疗保健监控。我们提出了一种算法,用于检测异常区域的多变量时空时间序列,它允许发现感兴趣的部分,在大量的数据,包括视频和文本数据。在反对现有的技术用于检测孤立的异常数据点,我们提出了“最大发散间隔”(MDI)框架的无监督检测的相干空间区域和时间间隔的特点是高库尔贝克-莱布勒散度与所有其他数据相比。在这方面,我们定义了一个公正的库尔贝克-莱布勒散度,允许排名不同大小的区域,并显示如何使算法运行在大规模的数据集在合理的时间内使用的间隔建议技术。在气候分析、视频监控和文本取证等不同领域的合成和真实数据上的实验表明,我们的方法具有广泛的适用性,是在不同类型的数据中发现有趣事件的有价值的工具。
2019-07-23 cs.CV cs.LG stat.AP
RAD: Rule-Augmented Relational Anomaly Detection
Vanderbilt University(范德堡大学)
研究人员针对关系异常检测中展平数据丢失结构及难融入符号证据的问题,提出RAD方法,结合图表示学习与规则信号,在多基准任务中较现有方法取得更优异常检测性能。
2026-08-25 cs.CR cs.DB cs.LG
Anomaly detection and classification for streaming data using PDEs
McGill University(麦吉尔大学);University of Minnesota(明尼苏达大学)
非支配排序,也被称为Pareto深度分析(PDA),被广泛用于多目标优化,最近发现在多准则异常检测的重要应用。最近,一个偏微分方程(PDE)连续极限被发现的非支配排序导致一个非常快速的近似排序算法,称为偏微分方程为基础的排名。在本文中,我们提出了一个快速的实时流版本的PDA算法的异常检测,利用PDE连续极限的计算优势。此外,我们推导出新的PDE连续极限排序点内的非支配层,并显示如何新的PDE可以用来分类异常的基础上,该标准更显着违反。我们还证明了基于偏微分方程的排名的统计收敛速度,并提出了合成和真实数据的数值实验结果。
2017-03-15 cs.CV cs.DB cs.LG
Time-Series Anomaly Detection with Implicit Neural Representation
Yonsei University(延世大学)
在许多实际应用中,检测多变量时间序列数据中的异常是必不可少的。最近,各种基于深度学习的方法在时间序列异常检测方面已经显示出相当大的改进。然而,现有的方法仍然具有若干限制,诸如由于其复杂的模型设计而导致的长的训练时间或者用于找到最佳超参数(例如,滑动窗口长度)。在我们的论文中,我们提出了一种新的方法,称为隐式神经表示为基础的异常检测(INRAD)。具体来说,我们训练一个简单的多层感知器,以时间为输入,并输出相应的值在那个时候。然后,我们利用表示错误作为异常检测异常的得分。在五个真实数据集上的实验表明,我们提出的方法在性能、训练速度和鲁棒性方面优于其他最先进的方法。
2022-01-28 cs.LG
A Causal Approach to Detecting Multivariate Time-series Anomalies and Root Causes
Salesforce Research(赛富时研究院);Carnegie Mellon University(卡内基梅隆大学)
检测多变量时间序列中的异常和相应的根本原因在监控各种现实世界系统的行为中起着重要作用,例如,IT系统运营或制造业。以前的异常检测方法对联合分布进行建模,而没有考虑多变量时间序列的潜在机制,这使得它们计算量很大,难以识别根本原因。在本文中,我们制定的异常检测问题,从因果关系的角度来看,并认为异常的情况下,不遵循定期的因果机制,以产生多变量数据。然后,我们提出了一个基于cavity检测异常和根本原因的框架。它首先从数据中学习因果结构,然后推断实例是否是相对于局部因果机制的异常,其条件分布可以直接从数据中估计。根据因果系统的模块化特性(产生不同变量的因果过程是不相关的模块),将原问题分解为一系列独立的、简单的、低维的异常检测问题,从而可以直接识别异常发生的位置(根本原因)。我们评估我们的方法与模拟和公共数据集,以及对现实世界的AIOps应用程序的案例研究,显示其有效性,鲁棒性和实际可行性。
2022-09-29 cs.AI cs.LG
Anomaly Detection in High Dimensional Data
Monash University(莫纳什大学);University of Melbourne(墨尔本大学)
HDoutliers算法是一种用于高维数据异常检测的强大无监督算法,具有很强的理论基础。然而,在某些情况下,它受到一些限制,严重阻碍了其性能水平。在这篇文章中,我们提出了一个算法,解决这些限制。我们将异常定义为明显偏离大多数的观察结果,具有较大的距离差距。利用极值理论计算异常阈值。使用各种合成和真实的数据集,我们证明了我们的算法,我们称之为杂散算法的广泛适用性和实用性。我们还演示了如何使用特征工程,该算法可以帮助检测其他数据结构中存在的异常。我们展示了杂散算法在精度和计算时间方面优于HDoutliers算法的情况。这个框架是在开源的R包stray中实现的。
2019-08-12 cs.LG stat.AP stat.ML
Detecting Irregular Network Activity with Adversarial Learning and Expert Feedback
Virginia Tech(弗吉尼亚理工大学);Stevens Institute of Technology(史蒂文斯理工学院);DeepSig Inc(DeepSig公司)
异常检测是一个普遍存在且具有挑战性的任务,涉及许多学科。随着通信网络在我们日常生活中发挥的重要作用,这些网络的安全对于社会的顺利运作至关重要。为此,我们提出了一种新的自监督深度学习框架CAAD,用于无线通信系统中的异常检测。具体而言,CAAD在对抗设置中采用对比学习来学习无线网络中正常和异常行为的有效表示。我们进行严格的性能比较CAAD与几个国家的最先进的异常检测技术,并验证CAAD产生的平均性能提高了92.84%。此外,我们还增强了CAAD,使其能够通过一种新的对比学习反馈回路系统地结合专家反馈,以提高学习的表示,从而降低预测的不确定性(CAAD-EF)。我们认为CAAD-EF作为一种新颖的,全面的和广泛适用的解决方案,异常检测。
2022-10-15 cs.CR cs.LG
CaPulse: Detecting Anomalies by Tuning in to the Causal Rhythms of Time Series
National University of Singapore(新加坡国立大学);Alibaba Group(阿里巴巴集团);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Squirrel AI
CaPulse提出基于因果的异常检测框架,通过结构因果模型和周期化归一化流应对标签稀缺等挑战,在七个数据集上AUROC提升3%-17%。
2025-08-06 cs.LG
Revisiting Deep Feature Reconstruction for Logical and Structural Industrial Anomaly Detection
University of Mons(蒙斯大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出统一框架ULSAD,通过改进深度特征重建并引入注意力损失机制,高效检测工业图像中的结构与逻辑异常,在五个基准上优于八种先进方法。
2024-10-21 cs.CV cs.LG
Structural Temporal Graph Neural Networks for Anomaly Detection in Dynamic Graphs
Washington State University(华盛顿州立大学);NEC Laboratories America(NEC美国研究院);Rice University(莱斯大学)
检测动态图中的异常是一项重要任务,在安全、金融和社交媒体等领域有许多实际应用。以往的基于网络嵌入的方法主要集中在学习好的节点表示,而在很大程度上忽略了动态图中与目标节点相关的子图结构变化。在本文中,我们提出了StrGNN,一个端到端的结构时间图神经网络模型,用于检测动态图中的异常边缘。特别是,我们首先提取的$h$ -跳包围子图为中心的目标边缘,并提出了节点标记功能,以确定每个节点在子图中的作用。然后,我们利用图卷积操作和Sortpooling层从每个快照/时间戳中提取固定大小的特征。基于提取的特征,我们利用门控递归单元(GRU)捕获的时间信息的异常检测。在六个基准数据集和一个真实的企业安全系统上的实验证明了StrGNN的有效性。
2020-05-25 cs.LG cs.SI stat.ML
Detecting Compromised IoT Devices Using Autoencoders with Sequential Hypothesis Testing
Florida State University(佛罗里达州立大学);University of Hawaii(夏威夷大学)
本文提出CUMAD框架,通过集成自编码器异常检测与SPRT序贯假设检验来积累证据,有效降低受损IoT设备检测的误报率并实现快速检测。
2024-04-21 cs.CR cs.LG
A Novel Evaluation Metric for Unsupervised Learning in AIS-Based Maritime Anomaly Detection: MADQI
Southampton Solent University School of Technology and Maritime Industries(索尔森大学技术与海运学院)
提出一种无需标签数据的海事异常检测质量指标MADQI,通过结合四个子指标来评估无监督学习模型的异常检测性能。
2026-05-28 cs.LG
Securing Your Transactions: Detecting Anomalous Patterns In XML Documents
Ben-Gurion University of the Negev(内盖夫本-古里安大学);The Academic College of Tel-Aviv-Yafo(特拉维夫-雅法学术学院)
XML事务在许多信息系统中用于存储数据和与其他系统交互。异常交易,无论是正在进行的网络攻击还是良性用户的行为,都可能会损害交互系统,因此它们被视为威胁。在本文中,我们使用机器学习技术来解决XML事务中的异常检测和定位问题。提出了一种新的XML异常检测框架XML-AD。在此框架下,提出了一种从XML事务中自动提取特征的方法,以及一种将XML特征转换为固定维数向量的实用方法。有了这两种方法,XML-AD框架就可以利用一般的学习算法进行异常检测。该框架的核心功能是一种新的多单变量异常检测算法ADIFA。该框架进行了评估,从真正的信息系统,其中它实现了超过89%的真阳性检测率低于0.2%的假阳性率捕获的四个XML事务数据集。
2013-06-05 cs.CR cs.LG
Beyond the Benchmark: Detecting Diverse Anomalies in Videos
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
针对现有VAD基准侧重单帧简单异常、限制模型发展的问题,研究构建两个基于动作异常的新数据集,提出融合长程时序特征与逻辑回归的MFAD方法,在各类异常检测场景中均优于现有模型。
2023-10-03 cs.CV cs.LG
Financial Anomaly Detection for the Canadian Market
本文评估了三种金融异常检测方法在TSX-60数据上的表现,发现拓扑数据分析和神经网络方法在识别加拿大股市压力事件中表现最佳。
2026-04-02 cs.LG q-fin.ST
Anomaly Detection in Video Data Based on Probabilistic Latent Space Models
University of Genova(热那亚大学);University Carlos III de Madrid(马德里卡洛斯三世大学)
提出了一种视频数据异常检测方法。变分自编码器(VAE)用于降低视频帧的维度,生成与低维传感数据(例如,定位、转向角度),使得为自动驾驶车辆开发一致的多模式架构成为可能。一个自适应马尔可夫跳粒子滤波定义的离散和连续的推理水平被用来预测后续帧和检测新的视频序列中的异常。我们的方法在不同的视频场景中进行评估,其中半自动驾驶车辆在封闭环境中执行一组任务。
2020-03-17 cs.CV cs.LG
Multiple Instance Learning for Detecting Anomalies over Sequential Real-World Datasets
George Mason University(乔治梅森大学)
在真实世界的数据集上检测异常仍然是一项具有挑战性的任务。数据标注是一个密集的人工劳动问题,特别是在连续数据集,其中异常的开始和结束时间是未知的。因此,从连续的真实世界过程中收集的数据可能在很大程度上是未标记的或包含不准确的标签。这些特点对基于监督学习的异常检测技术的应用提出了挑战。相比之下,多实例学习(MIL)在训练数据集中标签知识不完整的问题上表现出了有效性,这主要是由于袋子的概念。虽然在很大程度上未充分利用异常检测,MIL提供了一个有吸引力的公式异常检测在现实世界的数据集,这是本文的主要贡献。在本文中,我们提出了一个基于MIL的配方和各种算法的框架的基础上,不同的设计决策的框架的关键组成部分的实例。我们评估了四个数据集,捕捉不同的物理过程沿不同的方式所产生的算法。实验评估得出了几个意见。基于MIL的公式在易于缓和的数据集上的性能并不比单实例学习差,并且在更具挑战性的数据集上的性能优于单实例学习。总的来说,结果表明,该框架概括了不同的数据集,从不同的现实世界的应用领域。
2022-10-04 cs.LG
Set Features for Anomaly Detection
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
针对由正常元素异常组合构成的异常难以检测的问题,提出用集合特征基于样本元素分布建模,结合密度估计计算异常分数,在图像与时间序列异常检测任务上超越现有最优水平。
2025-03-18 cs.CV cs.LG
Raising the Bar in Graph-level Anomaly Detection
Bosch Center for Artificial Intelligence(博世人工智能中心);TU Kaiserslautern(凯泽斯劳滕工业大学);University of California, Irvine(加州大学欧文分校)
图级异常检测已成为金融欺诈检测和社交网络异常活动检测等多个领域的重要课题。虽然大多数研究都集中在视觉数据(如图像)的异常检测上,其中已经获得了高检测精度,但现有的用于图形的深度学习方法目前表现出相当差的性能。本文提出了图级异常检测的标准,即,在一组图中检测异常图的任务。通过借鉴自监督学习和转换学习的思想,我们提出了一种新的深度学习方法,通过修复现有的深度单类方法的一些已知问题,包括超球崩溃和性能翻转,显着改善了现有的深度单类方法。在涉及9种技术的9个真实数据集上的实验表明,与现有的最佳方法相比,我们的方法实现了11.8%AUC的平均性能提高。
2022-05-27 cs.AI cs.LG
HLSAD: Hodge Laplacian-based Simplicial Anomaly Detection
RWTH Aachen University(亚琛工业大学)
提出HLSAD方法,利用单纯复形Hodge Laplacian的谱特性建模高阶多路交互,有效检测时变单纯复形中的异常,在精度和计算效率上优于传统图方法。
2025-05-30 cs.LG cs.SI
Detecting the Undetectable: Enhancing Unsupervised time series Anomaly Detection via Active Learning
LG CNS;Department of Industrial & Management Engineering, Korea University(高丽大学产业与管理工程系);Department of Industrial Engineering, Seoul National University(首尔大学工业工程系)
提出一种结合主动学习的框架,通过掩码重建反馈和极小极大学习策略,增强无监督模型对细微噪声异常的检测能力,在28个测试案例中AUC提升12.39%。
2026-07-02 cs.AI cs.LG
A unified framework for detecting point and collective anomalies in operating system logs via collaborative transformers
CoLog通过协作变换器统一检测操作系统日志中的点异常和集体异常,实现高精度和召回率。
2025-12-29 cs.AI cs.CV cs.LG
An Expert Ensemble for Detecting Anomalous Scenes, Interactions, and Behaviors in Autonomous Driving
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对自动驾驶道路异常检测,提出场景、交互、行为三个无监督专家,并用卡尔曼滤波集成,在大型数据集上优于现有方法。
2025-02-23 cs.AI cs.CV cs.LG
Detecting Multivariate Time Series Anomalies with Zero Known Label
Zhejiang University(浙江大学);NetEase Fuxi AI Lab(网易伏羲人工智能实验室)
提出MTGFlow,一种无监督多变量时间序列异常检测方法,通过动态图学习和实体感知归一化流进行密度估计,在五个数据集上优于现有方法,AUROC最高提升5.0%。
2023-06-17 cs.AI cs.LG
Is it worth it? Comparing six deep and classical methods for unsupervised anomaly detection in time series
German Aerospace Center(德国航空航天中心);Friedrich-Schiller University(弗里德里希-席勒大学)
检测时间序列数据中的异常在各种领域都很重要,包括系统监控、医疗保健和网络安全。虽然可用方法的丰富性使得很难为给定的应用选择最合适的方法,但每种方法在检测某些类型的异常方面都有其优势。在这项研究中,我们比较了六种不同复杂度的无监督异常检测方法,以确定更复杂的方法是否通常表现更好,以及某些方法是否更适合某些类型的异常。我们使用UCR异常存档(最近的异常检测基准数据集)评估了这些方法。在调整每种方法所需的超参数后,我们分析了数据集和异常类型级别的结果。此外,我们评估了每种方法结合有关异常的先验知识的能力,并检查了逐点和逐序列特征之间的差异。我们的实验表明,经典的机器学习方法在一系列异常类型上通常优于深度学习方法。
2023-02-02 cs.AI cs.IR cs.LG
The OPS-SAT benchmark for detecting anomalies in satellite telemetry
Opole University of Technology(奥波莱工业大学);KP Labs(KP实验室);European Space Agency/ESOC(欧洲空间局/欧洲空间操作中心);Silesian University of Technology(西里西亚工业大学)
本文提出AI就绪的卫星遥测异常检测基准数据集OPSSAT-AD,并给出30种经典与深度机器学习算法的基线结果及建议质量指标,以推动公平、可复现的异常检测验证。
2024-06-29 cs.AI cs.LG eess.SP
Memory-augmented Adversarial Autoencoders for Multivariate Time-series Anomaly Detection with Deep Reconstruction and Prediction
Beijing Jiaotong University(北京交通大学)
由于当今IT监控系统的维度和复杂性的增加,在没有人工监督的情况下检测多变量时间序列的异常仍然是一个具有挑战性的问题。无监督时间序列异常检测的最新进展主要使用深度自编码器来解决这个问题,即在正常样本上进行训练,并在异常输入上产生显著的重建误差。然而,在实践中,由于神经网络的强大功能,自编码器可以很好地重建异常。此外,这些方法对于识别非点异常(例如,上下文异常和集体异常)可能是无效的,因为它们仅利用逐点重建目标。为了解决上述问题,我们提出了MemAAE(\textit{Memory-augmented Adversarial Autoencoders with Deep Reconstruction and Prediction}),一种新的无监督的时间序列异常检测方法。通过联合训练两个互补的代理任务,重建和预测,与共享的网络架构,我们表明,通过多个任务检测异常获得优越的性能,而不是单任务训练。此外,引入压缩记忆模块来保存正常模式,避免对异常输入的意外泛化。通过广泛的实验,MemAAE在四个公共数据集上的总体F1得分为0.90,显著优于最佳基线0.02。
2021-10-15 cs.LG
Extreme Value Modelling of Feature Residuals for Anomaly Detection in Dynamic Graphs
Data61 / CSIRO(Data61/CSIRO);Griffith University(格里菲斯大学);Monash University(莫纳什大学)
针对动态图异常检测中误报率高及难以处理变尺寸图与时间动态的问题,提出通过图特征时间序列分析建模并移除时间依赖,再利用极值理论分类残差以降低误报,准确率显著优于现有方法。
2025-01-31 cs.LG
Anomaly detection in wide area network mesh using two machine learning anomaly detection algorithms
University of Chicago(芝加哥大学)
异常检测是识别不符合预期行为或与数据集中其他项不相关的项或事件的实践。它以前曾被应用于入侵检测、系统健康监控和信用卡交易中的欺诈检测等领域。在本文中,我们描述了一种新的方法来检测异常行为的网络性能数据,收集的perfSONAR,使用两个机器学习算法:提升决策树(BDT)和简单前馈神经网络。对每种算法的有效性进行了评价和比较。两者都表现出足够的性能和灵敏度。
2018-01-30 cs.LG cs.NI
Anomaly detection in laser-guided vehicles' batteries: a case study
University of Parma(帕尔马大学);Elettric80 spa(Elettric80公司)
检测时间序列内的异常数据是模式识别和机器学习中非常相关的任务,具有许多可能的应用,其范围从医学疾病预防,例如,在健康状况被明确定义为“疾病”之前检测其早期变化,直至监测工厂。关于后一种应用,检测工业设备状态中的异常首先防止需要长时间中断生产过程的严重损害。其次,它允许最佳的维修干预计划,限制他们的紧急情况。与此同时,它们通常遵循一个固定的审慎时间表,根据该时间表,组件在其预期寿命结束之前被替换。本文介绍了一个案例研究的激光制导车辆(LGVs)电池的状态监测,我们工作作为我们的贡献项目超级(超级计算统一平台,艾米利亚罗马涅)旨在建立和展示一个区域高性能计算平台,这将代表主要的意大利超级计算环境的计算能力和数据量。
2022-12-27 cs.LG
Interpreting Rate-Distortion of Variational Autoencoder and Using Model Uncertainty for Anomaly Detection
University of Florida(佛罗里达大学)
通过表示学习构建用于无监督异常检测的可扩展机器学习系统是非常可取的。其中一种流行的方法是通过最大化证据下限来利用变分自编码器(VAE)的重构误差。本文从信息论的角度对VAE进行了重新审视,为重构误差的应用提供了理论基础,并最终得到了一个更简单、更有效的异常检测模型。此外,为了提高检测异常的有效性,我们将一个实用的模型不确定性度量的度量。我们经验表明,我们的方法在基准数据集上的竞争力表现。
2020-05-07 cs.IT cs.LG math.IT
Detecting Anomalies within Time Series using Local Neural Transformations
University of Stuttgart(斯图加特大学);Bosch Center for Artificial Intelligence(博世人工智能中心);TU Kaiserslautern(凯泽斯劳滕工业大学);University of Southampton(南安普顿大学);UC Irvine(加州大学欧文分校)
我们开发了一种新的方法来检测时间序列中的异常,这在许多应用领域都是必不可少的,从自动驾驶汽车,金融和营销到医疗诊断和流行病学。该方法基于自监督深度学习,在促进图像的深度异常检测方面发挥了关键作用,其中强大的图像变换是可用的。然而,这样的转换是广泛的时间序列不可用。为了解决这个问题,我们开发了局部神经变换(LNT),这是一种从数据中学习时间序列局部变换的方法。该方法为每个时间步产生异常分数,因此可以用于检测时间序列内的异常。我们在理论分析中证明,我们的新训练目标比以前的深度异常检测(AD)方法更适合转换学习。我们的实验表明,LNT可以发现异常的语音段从LibriSpeech数据集,更好地检测中断的网络物理系统比以前的工作。对学习到的转换进行可视化可以深入了解LNT学习的转换类型。
2022-02-20 cs.AI cs.LG
Network Anomaly Detection Using Federated Learning
University of Texas at El Paso(德克萨斯大学埃尔帕索分校)
由于网络流量的准确性和异构性,异常事件的检测具有挑战性。全局服务器上的计算负载在效率、准确性和可扩展性方面是一个重大挑战。我们的主要动机是引入一个强大的和可扩展的框架,使有效的网络异常检测。我们解决的问题,利用联邦学习,其中多个参与者训练一个全球性的模型联合网络异常检测的可扩展性和效率。与集中式训练架构不同,联邦学习不要求参与者将其训练数据上传到服务器,从而防止攻击者利用训练数据。此外,大多数先前的工作都集中在传统的集中式机器学习,使得联邦机器学习在网络异常检测中探索不足。因此,我们提出了一个深度神经网络框架,可以在中低端设备上工作,检测网络异常,同时检查来自特定IP地址的请求是否是恶意的。与多个传统的集中式机器学习模型相比,深度神经联邦模型减少了训练时间开销。所提出的方法比基线机器学习技术在UNSW-NB 15数据集上的性能更好,通过实验进行测量,准确率为97.21%,计算时间更快。
2023-03-13 cs.DC cs.LG