Anomaly Detection in Univariate Time-series: A Survey on the State-of-the-Art
Technische Universität Darmstadt(达姆施塔特工业大学)
时间序列数据的异常检测一直是一个重要的研究领域。关于异常检测方法的初步工作一直集中在统计方法上。近年来,越来越多的机器学习算法被用来检测时间序列的异常。随后,研究人员试图使用(深度)神经网络来改进这些技术。鉴于异常检测方法的数量不断增加,研究主体缺乏对统计、机器学习和深度学习方法的广泛比较评估。本文研究了这三类中的20种单变量异常检测方法。评估是在公开的数据集上进行的,这些数据集是时间序列异常检测的基准。通过分析每种方法的准确性以及算法的计算时间,我们对这些异常检测方法的性能提供了深入的了解,同时也提供了一些关于哪种方法适合某种类型数据的一般概念。
2020-04-01 cs.LG stat.ML
Anomaly Detection for High-Dimensional Data Using Large Deviations Principle
University at Buffalo(布法罗大学);Tufts University(塔夫茨大学)
当前的异常检测方法在处理高维数据时,大多数都存在维数灾难问题。我们提出了一个异常检测算法,可以扩展到高维数据使用的概念,从理论的大偏差。所提出的大偏差异常检测(LAD)算法表现出优于各种大型和高维基准数据集上的最先进的异常检测方法。利用该算法的能力,规模高维数据,我们提出了一个在线异常检测方法来识别异常的多元时间序列的集合。我们证明了在线算法在识别美国COVID-19相关病例和死亡异常趋势的县方面的适用性。数个已识别的异常县与记录在案的对COVID大流行应对不力的县相关。
2021-09-28 cs.LG stat.ML
Deep Anomaly Detection by Residual Adaptation
University of Edinburgh(爱丁堡大学);Technische Universität Berlin(柏林工业大学)
深度异常检测是一项困难的任务,因为在高维中,当仅给出正态性的示例时,很难完全表征“差异性”的概念。在本文中,我们提出了一种新的深度异常检测方法,该方法基于使用残差校正来增强大型预训练网络,从而将其调整为异常检测任务。我们的方法产生了一个高度参数有效的学习机制,增强了预训练模型中表示的解纠缠,并优于所有现有的异常检测方法,包括使用预训练网络的其他基线。例如,在CIFAR-10单次与休息基准上,我们的技术将最先进的平均AUC从96.1提高到99.0。
2020-10-05 cs.LG stat.ML
Adversarially Learned Anomaly Detection
CentraleSupélec(中央理工-高等电力学院);École Polytechnique(巴黎综合理工学院);Télécom ParisTech(巴黎电信学院);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
异常检测是一个重要的研究课题。然而,开发有效的异常检测方法的复杂和高维数据仍然是一个挑战。由于生成对抗网络(GANs)能够对现实世界数据的复杂高维分布进行建模,因此它们为解决这一挑战提供了一种有前途的方法。在这项工作中,我们提出了一种异常检测方法,基于双向GANs的逆向学习异常检测(ALAD),该方法可以获得用于异常检测任务的逆向学习特征。ALAD然后使用基于这些逆向学习特征的重建误差来确定数据样本是否异常。ALAD建立在最新进展的基础上,以确保数据空间和潜在空间的循环,并稳定GAN训练,从而显着提高异常检测性能。ALAD在一系列图像和表格数据集上实现了最先进的性能,同时在测试时比唯一发布的基于GAN的方法快几百倍。
2018-12-06 cs.LG stat.ML
Anomaly detection with Wasserstein GAN
Airbus AI Research(空客人工智能研究院);ISAE Supaero(法国高等航空航天学院)
生成对抗网络是一类生成算法,已被广泛用于生成最先进的样本。在本文中,我们研究了GAN对时间序列数据集进行异常检测。为了实现这一目标,参考书目的GAN和GAN用于异常检测的理论特性。一个Wasserstein GAN已被选择来学习正常数据分布的表示和一个堆叠的编码器与发生器执行异常检测。带有编码器的W-GAN似乎在MNIST数据集上产生了最先进的异常检测分数,我们研究了它在多变量时间序列上的使用。
2018-12-11 cs.LG stat.ML
Factor Analysis of Mixed Data for Anomaly Detection
Cornell University(康奈尔大学)
异常检测旨在识别偏离典型数据模式的观测值。异常观测可能对应于财务欺诈、健康风险或实际上测量不正确的数据。我们发现,通过首先嵌入数据,然后评估异常评分方案,可以提高高维混合数据中的异常检测能力。我们专注于无监督检测和连续和分类(混合)变量的情况下。我们提出了一个峰度加权因子分析的混合数据异常检测,FAMDAD,以获得一个连续的嵌入异常评分。我们说明,异常是高度分离的第一个和最后几个有序的维度,这个空间,并测试各种异常评分实验在这个子空间。模拟和真实数据集的结果进行了说明,所提出的方法(FAMDAD)是高度准确的高维混合数据在这些不同的情况下。
2020-05-25 cs.LG stat.ML
Incorporating Privileged Information to Unsupervised Anomaly Detection
Carnegie Mellon University(卡内基梅隆大学)
我们引入了一个新的无监督的异常检测集成称为SPI,它可以利用特权信息-数据仅适用于训练样本,但不适用于(未来)测试的例子。我们的想法建立在Vapnik等人开创的使用标记信息的学习(LUPI)范式上。[19,17],我们将其扩展到无监督学习,特别是异常检测。SPI(用于利用标记信息发现异常)构造多个知识帧/片段(即,密度估计),并通过仅使用可用于测试示例的部分信息的“模仿”函数将它们转移到异常评分空间。我们将LUPI范式推广到无监督异常检测,在几个关键方向上引导了该领域,包括(i)使用专家注释作为PI的领域知识增强检测,(ii)使用计算要求高的数据作为PI的快速检测,以及(iii)使用“历史未来”数据作为PI的早期检测。通过对模拟数据集和真实数据集的大量实验,我们证明了将特权信息扩展到异常检测可以显着提高检测性能。我们还展示了SPI在所有三种设置(i-iii)下的承诺; PI捕获专家知识,计算昂贵的功能,以及三个现实世界检测任务的未来数据。
2018-05-24 cs.LG stat.ML
Detecting Relative Anomaly
Columbia University(哥伦比亚大学);Google, Inc.(谷歌公司)
在某些异常检测问题中,从领域专家的角度来看是异常的系统状态经常出现。在这种情况下,常用的无监督异常检测方法的性能可能会受到影响,因为它们使用频率作为异常的代理。我们提出了一个新的异常检测的概念,称为相对异常检测。通过考虑异常相对于最典型观测的位置,它被定制为对频繁发生的异常具有鲁棒性。我们开发的方法即使对于大型数据集也是计算可行的,并且它们允许实时检测。我们说明使用数据集的潜在的抓取尝试和Wi-Fi信道利用率,都来自谷歌公司。
2016-05-16 cs.LG stat.ML
InQMAD: Incremental Quantum Measurement Anomaly Detection
MindLab(思维实验室);Universidad Nacional de Colombia(哥伦比亚国立大学)
流异常检测是指在数据流中检测异常数据样本的问题。这个问题带来了经典和深度异常检测方法无法应对的挑战,例如概念漂移和持续学习。现有技术的流异常检测方法依赖于使用散列函数或最近邻的固定存储器,其可能无法像移动平均中那样约束高频值或移除无缝离群值,并且无法在端到端深度学习架构中进行训练。我们提出了一种新的增量异常检测方法,该方法基于随机傅立叶特征和量子测量机制以及可以被视为指数移动平均密度的密度矩阵进行连续密度估计。它可以处理潜在的无限数据,其更新复杂度是常数$O(1)$。针对12个最先进的流异常检测算法,使用12个流数据集的系统评价。
2022-10-11 cs.LG stat.ML
An Insight on Evaluation Metrics Under the Imbalanced Case of Anomaly Detection
研究异常检测不平衡时评估指标,分析AUROC、AUPR、F1分数和MCC四个常见指标在不同不平衡水平下的行为,通过指标景观研究提供直观视图,为跨不同不平衡比率数据集解释和比较异常检测结果提供实用指导。
2026-08-12 cs.LG stat.ML
Efficient GAN-Based Anomaly Detection
CentraleSupélec(中央理工-高等电力学院);Institute for Infocomm Research(资讯通信研究所);Télécom ParisTech(巴黎高等电信学院);Carnegie Mellon University(卡内基梅隆大学);Nanyang Technological University(南洋理工大学)
生成对抗网络(GANs)能够对真实世界数据的复杂高维分布进行建模,这表明它们可以有效地进行异常检测。然而,很少有作品探索使用GANs的异常检测任务。我们利用最近开发的GAN模型进行异常检测,并在图像和网络入侵数据集上实现最先进的性能,同时在测试时比唯一发布的基于GAN的方法快几百倍。
2019-05-01 cs.LG stat.ML
Reconstruct Anomaly to Normal: Adversarial Learned and Latent Vector-constrained Autoencoder for Time-series Anomaly Detection
时间序列的异常检测是一个被广泛研究的问题,具有重要的实际应用价值。近年来,异常检测算法大多基于深度学习生成模型,并使用重构误差来检测异常。在训练阶段通过重构正态数据来捕捉正态数据的分布,然后计算测试数据的重构误差来进行异常检测。然而,大多数方法在训练阶段只使用正常数据,不能保证异常数据的重建过程。因此,异常数据有时也可以很好地重建,重建误差很小,导致异常遗漏。这些算法没有充分利用时间序列数据中数据点的邻域信息。本文提出了一种基于异常重构为正态的RAN算法,并将其应用于无监督的时间序列异常检测。为了使正常数据的重建误差最小化,异常数据的重建误差最大化,我们不仅要保证正常数据的重建效果好,而且要尽量使异常数据的重建与正常数据的分布一致,这样异常数据的重建误差会更大。我们通过引入“模仿异常数据”并将专门设计的潜在向量约束自动编码器与编码器相结合来构建对手网络来实现这一想法。在ECG诊断等不同场景的时间序列数据集上进行的大量实验也表明,RAN可以检测到有意义的异常,并且在AUC-ROC方面优于其他算法。
2020-10-14 cs.LG stat.ML
AnomalyDAE: Dual autoencoder for anomaly detection on attributed networks
Harbin University of Science and Technology(哈尔滨理工大学);Minjiang University(闽江学院)
属性网络异常检测的目标是发现模式与大多数参考节点有显著偏离的节点,这在网络入侵检测和社交垃圾邮件检测等应用中非常普遍。然而,大多数现有的方法忽略了网络结构和节点属性之间复杂的跨模态相互作用。在本文中,我们提出了一个深度联合表示学习框架,用于通过双自动编码器(AnomalyDAE)进行异常检测,该框架捕获网络结构和节点属性之间的复杂交互,以获得高质量的嵌入。具体而言,AnomalyDAE由结构自动编码器和属性自动编码器组成,以在潜在空间中联合学习节点嵌入和属性嵌入。此外,在结构编码器中引入注意力机制,学习节点与其邻居节点之间的重要性,从而有效地捕获结构模式,这对异常检测具有重要意义。此外,通过将节点嵌入和属性嵌入作为属性解码器的输入,在节点属性重构过程中学习网络结构和节点属性之间的跨模态交互。最后,通过从结构和属性两个角度测量节点的重构误差,可以检测异常。在真实数据集上的大量实验证明了该方法的有效性。
2020-02-12 cs.LG stat.ML
Fence GAN: Towards Better Anomaly Detection
Bioinformatics Institute, Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局生物信息学研究所);School of Computing, National University of Singapore(新加坡国立大学计算机学院);Hwa Chong Institution (College Section)(华侨中学(高中部))
异常检测是一个经典的问题,其目的是检测不属于正常数据分布的异常数据。目前,用于复杂高维数据的异常检测的最新方法是基于生成对抗网络(GAN)的。然而,传统的GAN损失并不直接与异常检测目标一致:它鼓励生成的样本的分布与真实数据重叠,因此发现所得的GAN作为异常检测器是无效的。在本文中,我们提出了简单的修改GAN损失,使生成的样本位于边界的真实数据分布。通过我们修改后的GAN损失,我们的异常检测方法,称为栅栏GAN(FGAN),直接使用阈值作为异常阈值。我们使用MNIST,CIFAR10和KDD99数据集的实验结果表明,与最先进的方法相比,Fence GAN产生了最好的异常分类精度。
2019-04-02 cs.LG stat.ML
Enhanced Anomaly Detection in Automotive Systems Using SAAD: Statistical Aggregated Anomaly Detection
West University of Timisoara(蒂米什瓦拉西部大学);Gheorghe Asachi Technical University of Iasi(雅西格奥尔基·阿萨奇技术大学);Faculty of Electrical Engineering(电气工程学院)
提出融合统计技术与 dropout 增强 FCN 的 SAAD 方法,并在汽车 HIL 真实传感器数据上验证,显著提升异常检测准确率与 F1 分数。
2024-06-11 cs.LG stat.ML
Unsupervised Contextual Anomaly Detection using Joint Deep Variational Generative Models
提出了一种用于无监督上下文异常检测的方法,该方法使用交叉链接的变分自动编码器对来为观察分配正态性分数。该方法能够将上下文属性与行为属性区分开,并且对于异常或新颖的上下文属性的存在是鲁棒的。该方法可以用包含异常的数据集进行训练,而无需任何特殊的预处理。
2019-04-01 cs.LG stat.ML
Deep Positive-Unlabeled Anomaly Detection for Contaminated Unlabeled Data
NTT
针对未标记数据受污染的半监督异常检测问题,提出融合正-未标记学习的深度异常检测框架,无需标记正常数据即可训练检测器,并具备理论保证与更优性能。
2026-09-25 cs.AI cs.LG stat.ML
PAC-Wrap: Semi-Supervised PAC Anomaly Detection
University of Pennsylvania(宾夕法尼亚大学)
异常检测对于防止自动驾驶等安全关键型应用的危险结果至关重要。考虑到它们的安全关键性,这些应用程序受益于异常检测中各种错误的可证明界限。为了在半监督环境中实现这一目标,我们建议为异常检测算法的假阴性和假阳性检测率提供可能近似正确(PAC)保证。我们的方法(PAC-Wrap)可以包裹几乎任何现有的半监督和无监督异常检测方法,赋予它严格的保证。我们对各种异常检测器和数据集的实验表明,PAC-Wrap广泛有效。
2022-06-21 cs.LG math.ST stat.ML
Unsupervised Anomaly Detection Ensembles using Item Response Theory
RMIT University(皇家墨尔本理工大学)
从一组异构的无监督异常检测方法构建集成是具有挑战性的,因为类标签或地面真相是未知的。因此,使用响应变量或类别标签的传统集成技术不能用于构建用于无监督异常检测的集成。我们使用项目反应理论(IRT)-一类用于教育心理测量学的模型,以评估学生和测试问题的特点-构建一个无监督的异常检测集成。IRT的潜在特征计算适合于异常检测,因为潜在特征可以用来揭示隐藏的地面真相。使用一种新的IRT映射到异常检测问题,我们构建了一个合奏,可以淡化嘈杂,非歧视性的方法,并强调尖锐的方法。我们证明了IRT合奏的有效性,广泛的数据存储库,通过比较其性能与其他合奏技术。
2021-06-11 cs.AI cs.LG stat.ML
Towards Fair Deep Anomaly Detection
University of California, Davis(加州大学戴维斯分校)
异常检测旨在发现被认为不寻常的实例,是数据科学的基本问题。最近,深度异常检测方法被证明可以取得优异的结果,特别是在复杂的数据,如图像。我们的工作重点是深度一类分类的异常检测,学习映射只从正常的样本。然而,深度学习执行的非线性转换可能会发现与社会偏见相关的模式。为深度异常检测增加公平性的挑战是确保同时进行公平和正确的异常预测。在本文中,我们提出了一种新的架构的公平异常检测方法(深公平SVDD)和训练它使用对抗网络去相关的敏感属性和学习的表示之间的关系。这与通常添加公平性的方式不同,即作为正则化因子或约束。此外,我们提出了两个有效的公平性措施,并实证证明,现有的深度异常检测方法是不公平的。我们表明,我们所提出的方法可以消除不公平很大程度上以最小的损失上的异常检测性能。最后,我们进行了深入的分析,以显示我们提出的模型,包括参数分析,功能可视化和运行时分析的优势和局限性。
2020-12-29 cs.AI cs.LG stat.ML
Deep Learning for Anomaly Detection: A Review
University of Adelaide(阿德莱德大学);University of Technology Sydney(悉尼科技大学)
异常点探测,也就是。异常值检测或新颖性检测几十年来一直是各种研究团体中持续而活跃的研究领域。仍然有一些独特的问题、复杂性和挑战需要先进的方法。近年来,深度学习实现了异常检测,即,深部异常探测已经成为一个重要的方向。本文对深部异常检测的研究进行了全面的分类,涵盖了3个高级别类别和11个细粒度类别的方法的进展。我们回顾他们的关键直觉,目标函数,基本假设,优点和缺点,并讨论他们如何解决上述挑战。我们进一步讨论了一系列可能的未来机遇和应对挑战的新视角。
2020-12-05 cs.CV cs.LG stat.ML
Network Anomaly Detection: A Survey and Comparative Analysis of Stochastic and Deterministic Methods
Boston University(波士顿大学)
针对网络异常检测问题,提出了五种方法。这些方法涵盖了异常检测领域的大多数常用技术,包括统计假设检验(SHT)、支持向量机(SVM)和聚类分析。我们评估所有的方法在一个模拟的网络,由标称数据,三个流级异常和一个数据包级的攻击。通过分析结果,我们指出了每种方法的优点和缺点,并得出结论,将各个方法的结果结合起来可以产生更好的异常检测结果。
2013-09-19 cs.LG cs.NI stat.ML
AnomalyAID: Reliable Interpretation for Semi-supervised Network Anomaly Detection
School of Future Science and Engineering, Soochow University(未来科学与工程学院,苏州大学);Southeast University(东南大学)
本文提出AnomalyAID框架,通过全局与局部解释器提升半监督网络异常检测的可解释性,并利用两阶段伪标签学习在有限标注数据下提高检测性能。
2025-11-10 cs.LG
Anomaly Detection in Graph Structured Data: A Survey
Tennessee Tech University(田纳西理工大学)
本文综述图数据异常检测技术,提出基于假设与技术的新分类法,梳理相关应用、各类方法的改进思路及优缺点,并展望未来研究方向。
2024-05-10 cs.CR cs.LG
A Survey on Anomaly Detection for Technical Systems using LSTM Networks
University of Stuttgart(斯图加特大学)
异常表示与预期系统操作的偏差,并可能导致效率降低以及部分或全部系统故障。由于复杂的系统动力学,异常的原因往往是未知的,有效的异常检测是必要的。传统的检测方法依赖于统计和时不变的方法,无法解决异常的复杂性和动态性。随着人工智能的进步以及在各个领域中异常检测和预防的重要性的增加,人工神经网络方法使得能够在考虑时间和上下文特征的同时检测更复杂的异常类型。在这篇文章中,对使用深度神经网络,特别是长短期记忆网络的最新异常检测进行了调查。基于应用场景,数据和异常类型以及进一步的度量标准对所研究的方法进行评估。为了突出即将到来的异常检测技术的潜力,调查中还包括基于图和迁移学习方法,这些方法可以分析异构数据,弥补其不足并改善动态过程的处理。
2021-05-28 cs.AI cs.LG stat.ML
TPA-AD: A Two-Stage Pseudo Anomaly-Guided Method for Bearing Time-Series Anomaly Detection
CQSF.com(重庆师范大学);Huadian University(哈尔滨理工大学)
提出一种两阶段伪异常引导方法TPA-AD,通过重构模型和特征误差控制生成边界伪异常窗口,结合对比学习与KNN实现无监督轴承时间序列异常检测,在轴承故障和退化数据集上表现稳定且具泛化性。
2026-06-02 cs.AI cs.LG stat.ML
Anomaly detection in wide area network mesh using two machine learning anomaly detection algorithms
University of Chicago(芝加哥大学)
异常检测是识别不符合预期行为或与数据集中其他项不相关的项或事件的实践。它以前曾被应用于入侵检测、系统健康监控和信用卡交易中的欺诈检测等领域。在本文中,我们描述了一种新的方法来检测异常行为的网络性能数据,收集的perfSONAR,使用两个机器学习算法:提升决策树(BDT)和简单前馈神经网络。对每种算法的有效性进行了评价和比较。两者都表现出足够的性能和灵敏度。
2018-01-30 cs.LG cs.NI
Achieving Counterfactual Fairness for Anomaly Detection
Utah State University(犹他州立大学);University of Arkansas(阿肯色大学);Clemson University(克莱姆森大学)
由于许多异常检测应用都涉及到人类,因此保证异常检测模型的公平性受到了广泛关注。然而,现有的公平异常检测方法主要集中在基于关联的公平性的概念。在这项工作中,我们的目标是反事实公平,这是一个普遍的基于因果关系的公平概念。反事实公平异常检测的目标是确保个体在事实世界中的检测结果与个体属于不同群体的反事实世界中的检测结果相同。为此,我们提出了一个反事实公平的异常检测(CFAD)框架,其中包括两个阶段,反事实数据生成和公平的异常检测。在一个人工数据集和两个真实数据集上的实验结果表明,CFAD能够有效地检测异常,并确保反事实公平性。
2023-03-04 cs.LG
AGAD: Adversarial Generative Anomaly Detection
NEC Laboratories China(NEC中国研究院)
提出AGAD,一种基于自对比的异常检测范式,通过从正常样本生成上下文对抗信息来生成伪异常数据,在监督和半监督场景下显著提升检测性能,且仅需不超过5%的异常训练数据。
2023-04-09 cs.CV cs.LG
Dive into Time-Series Anomaly Detection: A Decade Review
Inria(法国国家信息与自动化研究所);DI ENS(巴黎高等师范学院数字研究所);PSL(巴黎文理研究大学);CNRS(法国国家科学研究中心);The Ohio State University(俄亥俄州立大学);Université Paris Cité(巴黎西岱大学);IUF(法国大学研究院)
本文综述了近十年时间序列异常检测研究,提出以过程为中心的分类法对现有方法进行系统归类,并通过文献元分析总结该领域的主要发展趋势。
2024-12-29 cs.AI cs.DB cs.LG
Ymir: A Supervised Ensemble Framework for Multivariate Time Series Anomaly Detection
本文提出了一个多变量时间序列异常检测框架Ymir,它利用集成学习和监督学习技术有效地学习和适应真实世界系统应用中的异常。Ymir通过集成学习方法集成了目前广泛使用的几种无监督异常检测模型,从而可以在无监督场景下提供鲁棒的前端异常检测结果。在有监督的环境中,领域专家和系统用户讨论并提供训练数据的标签(异常或不异常),这反映了他们对特定系统的异常检测标准。Ymir使用上述无监督方法从原始多变量时间序列数据中提取丰富而有用的特征表示,然后将特征和标签与监督分类器相结合来进行异常检测。我们在来自大型监测系统的内部多变量时间序列数据集上评估了Ymir,并获得了良好的异常检测性能。
2021-12-09 cs.LG
Possibility for Proactive Anomaly Detection
University of California, San Diego(加利福尼亚大学圣迭戈分校);KAIST(韩国科学技术院);Samsung SDS(三星SDS公司);Yonsei University(延世大学)
针对现有时间序列异常检测模型依赖观测值误差导致不切实际的问题,本研究提出结合异常检测专用预测模型与数据驱动模型的主动方法,通过训练数据确定阈值并基于预测值检测异常,经四个基准验证有效性且附源代码。
2025-04-15 cs.AI cs.LG
Understanding the Effect of Bias in Deep Anomaly Detection
University of Chicago(芝加哥大学)
由于标记异常数据的稀缺性,异常检测在机器学习中提出了独特的挑战。最近的工作试图通过使用额外的标记异常样本来增强深度异常检测模型的训练来缓解这些问题。然而,标记的数据通常与目标分布不一致,并向训练模型引入有害的偏差。在本文中,我们的目的是了解一个有偏见的异常集异常检测的效果。具体地说,我们认为异常检测作为一个监督学习任务,其目标是优化召回在给定的误报率。我们正式研究的相对评分偏差的异常检测器,定义为相对于基线异常检测器的性能差异。我们建立了第一个有限样本率来估计深度异常检测的相对评分偏差,并在合成和真实世界数据集上实证验证了我们的理论结果。我们还提供了一个广泛的实证研究如何偏见的训练异常集影响异常评分函数,因此对不同的异常类的检测性能。我们的研究展示了有偏见的异常集可能是有用的或有问题的场景,并为未来的研究提供了一个坚实的基准。
2021-05-16 cs.AI cs.LG
Discriminative Feature Learning Framework with Gradient Preference for Anomaly Detection
University of Jinan(济南大学);Shandong Jiaotong University(山东交通学院)
无监督表示学习在异常检测中得到了广泛的应用,并取得了令人瞩目的成绩。在无监督表示学习中,提取有价值的特征向量可以显著提高异常检测的性能。为此,我们提出了一种新的歧视性特征学习框架与梯度偏好的异常检测。具体而言,首先设计了一种基于梯度偏好的选择器,在空间上存储功能强大的特征点,然后构建特征库,减轻了冗余特征向量的干扰,提高了推理效率。其次,为了克服特征向量的松散性,提出了一种中心约束的判别式特征学习方法,将特征库映射到一个紧凑的子空间上,从而使异常样本与正常样本更容易区分。此外,我们的方法可以很容易地扩展到异常定位。在流行的工业和医疗异常检测数据集上进行的大量实验表明,我们提出的框架在异常检测和定位方面都可以取得有竞争力的结果。更重要的是,我们的方法在Few Shot异常检测方面优于最先进的方法。
2022-04-23 cs.LG
Online false discovery rate control for anomaly detection in time series
EPFL(洛桑联邦理工学院);Amazon Research(亚马逊研究院)
本文提出了新的规则,错误发现率控制(FDRC)面向在线异常检测时间序列。在线FDRC规则允许控制一系列统计测试的属性。在异常检测的上下文中,原假设是观察结果是正常的,而替代假设是观察结果是异常的。FDRC规则允许用户在无监督设置中设定精度下限。本文提出的方法克服了以往FDRC规则在异常检测方面的不足,特别是确保功率保持较高,即使当替代方案非常罕见(异常检测中的典型)和测试统计量是连续依赖的(时间序列中的典型)。我们在理论和实验中证明了这些规则的合理性。
2021-12-06 cs.LG math.ST stat.ML
Research and application of Transformer based anomaly detection model: A literature review
Huazhong University of Science and Technology(华中科技大学);School of Cyber Science and Engineering(网络科学与工程学院);School of Artificial Intelligence and Automation(人工智能与自动化学院)
本文综述了基于Transformer的异常检测模型的研究与应用,详细剖析其运行原理、应用场景、数据集与评估指标,并指出关键挑战与未来趋势,为相关研究提供全面技术参考。
2024-02-14 cs.AI cs.LG
Anomaly Detection in Predictive Maintenance: A New Evaluation Framework for Temporal Unsupervised Anomaly Detection Algorithms
University of Granada(格拉纳达大学);ArcelorMittal Global R&D(安赛乐米塔尔全球研发中心)
异常检测的研究缺乏一个统一的定义,什么代表一个异常的实例。异常本身性质的离散性导致算法设计和实验的多种范式。预测性维护是一种特殊情况,其中异常表示必须防止的故障。相关的时间序列研究,如离群值和新颖性检测或时间序列分类不适用于这一领域的异常概念,因为它们不是以前没有见过的单一点,可能无法精确注释。此外,由于缺乏注释的异常数据,许多基准是从监督的情况下改编的。为了解决这些问题,我们概括的概念,积极和消极的情况下,以间隔能够评估无监督的异常检测算法。我们还保留了不平衡计划的评估,通过建议的前窗ROC,一个概括的ROC曲线的计算时间序列的情况。我们还适应机制,从一个既定的时间序列异常检测基准建议的概括,以奖励早期检测。因此,该提案为不同的设想方案提供了一个灵活的评价框架。为了证明这个定义的有用性,我们包括了一个由ArcelorMittal公司提供的大数据算法与现实世界时间序列问题的案例研究,并将该建议与评估方法进行了比较。
2021-09-02 cs.LG
A Survey on Explainable Anomaly Detection
Leiden Institute of Advanced Computer Science (LIACS), Leiden University(莱顿大学莱顿高级计算机科学研究所)
本文综述可解释异常检测技术,针对异常检测长期重精度、轻解释的问题,系统梳理最新方法并提出分类框架,以辅助研究者和从业者选择合适方案。
2023-07-11 cs.LG
Anomaly detection with semi-supervised classification based on risk estimators
University of Mons(蒙斯大学)
针对一类分类异常检测依赖正常数据假设的局限,提出基于无偏与有偏风险估计器的两种半监督异常检测方法,并给出误差界及实验验证。
2023-09-01 cs.LG
Trustworthy Anomaly Detection: A Survey
Utah State University(犹他州立大学);University of Arkansas(阿肯色大学)
异常检测有着广泛的实际应用,如银行欺诈检测和网络入侵检测。在过去的十年中,各种异常检测模型已经被开发出来,这导致在准确检测各种异常方面取得了很大的进展。尽管取得了成功,异常检测模型仍然面临许多限制。最重要的是我们是否可以相信模型的检测结果。近年来,研究界花费了大量的精力来设计可信的机器学习模型,例如开发可信的分类模型。然而,对异常检测任务的关注还远远不够。考虑到许多异常检测任务是涉及人类的改变生活的任务,将某人标记为异常或欺诈者应该非常谨慎。因此,确保以可信赖的方式进行异常检测模型是部署模型以在现实世界中进行自动决策的基本要求。在这个简短的调查中,我们总结了现有的努力,并讨论了开放的问题,值得信赖的异常检测的可解释性,公平性,鲁棒性和隐私保护的角度。
2022-02-15 cs.AI cs.LG
Anomaly Detection Requires Better Representations
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
异常检测旨在识别异常现象,这是科学和工业的中心任务。该任务本质上是无监督的,因为异常在训练期间是意外和未知的。自监督表示学习的最新进展直接推动了异常检测的改进。在这篇立场论文中,我们首先解释了自我监督表示如何在常见的异常检测基准测试中轻松实现最先进的性能。然后,我们认为,解决下一代的异常检测任务需要新的技术和概念的改进表示学习。
2022-10-19 cs.CV cs.LG
Sub-Image Anomaly Detection with Deep Pyramid Correspondences
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
利用深度预训练特征的最近邻(kNN)方法在应用于整个图像时表现出非常强的异常检测性能。kNN方法的局限性是缺乏描述异常位于图像内的位置的分割图。在这项工作中,我们提出了一种新的异常分割方法的基础上对齐的异常图像和一个常数数量的相似的正常图像。我们的方法,语义金字塔异常检测(SPADE)使用基于多分辨率特征金字塔的对应关系。SPADE是实现国家的最先进的无监督的异常检测和定位的性能,而几乎不需要训练时间。
2021-02-03 cs.CV cs.LG
ICLAD: In-Context Learning for Unified Tabular Anomaly Detection Across Supervision Regimes
Department of Electrical and Computer Engineering, McGill University, Canada(麦吉尔大学电气与计算机工程系,加拿大);Mila - Quebec Artificial Intelligence Institute, Montreal, Canada(魁北克人工智能研究所,蒙特利尔,加拿大)
ICLAD通过元学习训练合成表格异常检测任务,实现跨数据集和监督模式的统一表格异常检测框架,实验显示在57个数据集上取得最佳性能。
2026-03-19 cs.LG
Conditional anomaly detection methods for patient-management alert systems
University of Pittsburgh, PA(匹兹堡大学)
本文提出基于实例的条件异常检测方法,通过优化距离度量提升异常检测性能,应用于患者异常入院决策和HPF4检测异常识别。
2026-05-11 cs.LG
Double-Adversarial Activation Anomaly Detection: Adversarial Autoencoders are Anomaly Generators
Fraunhofer AISEC(弗劳恩霍夫应用与集成安全研究所)
提出DA3D方法,利用对抗自编码器仅从正常数据生成人工异常,将无监督异常检测转化为有监督任务,并以纯数据驱动方式超越现有最先进方法。
2024-01-14 cs.CR cs.LG
Anomaly Detection Based on Selection and Weighting in Latent Space
随着工业4.0时代对自动化的高要求,异常检测在生产制造业中的更高安全性和可靠性中发挥着越来越重要的作用。最近,自动编码器已被广泛用作异常检测的后端算法。已经开发了不同的技术来提高自动编码器的异常检测性能。尽管如此,很少有人关注自动编码器学习的潜在表示。在本文中,我们提出了一种新的选择和加权为基础的异常检测框架称为SWAD。特别地,学习的潜在表示被单独地选择和加权。在基准数据集和真实数据集上的实验表明了SWAD的有效性和优越性。在基准数据集上,SWAD框架已经达到了与最先进的方法相当甚至更好的性能。
2021-03-08 cs.LG
Detect by Yourself: Self-Designing Agentic Workflows for Few-Shot Graph Anomaly Detection
CSU(中国科学技术大学);UST(香港大学)
提出SignGAD框架,通过自设计任务条件检测工作流替代固定检测器,结合图编码与检测器选择及受保护重拟合策略,提升少样本图异常检测的适应性与可靠性。
2026-05-26 cs.AI cs.LG
A Review of Machine Learning based Anomaly Detection Techniques
Punjabi University(旁遮普大学)
入侵检测技术是近二十年来兴起的一个研究热点。它主要有两种类型的基础上的入侵,第一个是误用或基于签名的检测和另一个是异常检测。本文讨论了基于机器学习的异常检测技术。
2013-07-27 cs.CR cs.LG
PatchTrAD: A Patch-Based Transformer focusing on Patch-Wise Reconstruction Error for Time Series Anomaly Detection
INSA Rouen(鲁昂国立应用科学学院);Univ Rouen(鲁昂大学);Normandie Univ(诺曼底大学)
本文提出PatchTrAD,一种在重构框架下结合分块与Transformer编码器的时间序列异常检测模型,在多个基准上达到与前沿深度学习模型相当的检测性能,并提升推理效率。
2025-06-10 cs.AI cs.LG
Explainable Contextual Anomaly Detection using Quantile Regression Forests
Leiden University(莱顿大学)
本文提出一种基于 Quantile Regression Forests 的内在可解释上下文异常检测方法,通过建模特征间依赖关系,在准确性与可解释性上优于现有方法。
2023-08-04 cs.AI cs.LG
Why Are You Weird? Infusing Interpretability in Isolation Forest for Anomaly Detection
KU Leuven(鲁汶大学)
异常检测涉及识别数据集中不符合预期行为的示例。虽然存在大量的异常检测算法,但很少有人注意解释为什么这些算法将某些示例标记为异常。然而,这样的解释对任何解释算法输出的人都非常有用。本文开发了一种方法来解释国家的最先进的隔离森林异常检测算法的异常预测。该方法输出一个解释向量,该向量捕获示例的每个属性对于将其识别为异常的重要性。对合成和真实世界数据集的全面实验评估表明,我们的方法比大多数当代最先进的可解释性方法更准确,更有效。
2021-12-13 cs.LG
Anomalib: A Deep Learning Library for Anomaly Detection
Intel(英特尔)
本文介绍了anomalib,一个新的库,用于无监督的异常检测和定位。考虑到可重复性和模块化,这个开源库提供了文献中的算法和一套工具,通过即插即用的方法设计自定义异常检测算法。Anomalib包括最先进的异常检测算法,在基准测试中达到最高性能,并且可以现成使用。此外,该库还提供了用于设计定制算法的组件,这些算法可以针对特定需求进行定制。其他工具,包括实验跟踪器,可视化器和超参数优化器,使设计和实现异常检测模型变得简单。该库还支持OpenVINO模型优化和量化,以实现实时部署。总的来说,anomalib是一个广泛的库,用于设计、实现和部署从数据到边缘的无监督异常检测模型。
2022-02-16 cs.CV cs.LG
CESNET-TimeSeries24: Time Series Dataset for Network Traffic Anomaly Detection and Forecasting
CESNET a.l.e.;Czech Technical University in Prague(布拉格捷克理工大学)
本文提出CESNET-TimeSeries24数据集,基于CESNET3网络中27.5万个活跃IP地址40周的流量构建,旨在填补大规模真实网络数据空白,为基于预测的异常检测方法提供真实评估基准。
2024-09-27 cs.AI cs.LG
FedTADBench: Federated Time-Series Anomaly Detection Benchmark
Sichuan University(四川大学);University of Electronic Science and Technology of China(电子科技大学)
时间序列异常检测致力于从时间数据中发现潜在的异常行为和模式,在各种应用场景中具有重要意义。构建一个有效的检测模型通常需要足够的训练数据以集中的方式存储,然而,这一要求有时不能满足在现实场景中。作为解决上述问题的一种流行方法,联邦学习已经证明了其与分布式数据合作的能力,同时保护数据提供者的隐私。然而,目前还不清楚现有的时间序列异常检测算法如何通过联邦学习与分散的数据存储和隐私保护一起执行。为了研究这一点,我们进行了一个联邦时间序列异常检测基准测试,名为FedTADBench,其中涉及五个代表性的时间序列异常检测算法和四个流行的联邦学习方法。我们想回答以下问题:(1)当遇到联邦学习时,时间序列异常检测算法的性能如何?(2)哪种联邦学习方法最适合于时间序列异常检测?(3)联邦时间序列异常检测方法如何在客户端的不同数据分区上执行?大量的结果以及相应的分析提供了从广泛的实验与各种设置。我们的基准测试的源代码可以在https://github.com/fanxingliu2020/FedTADBench上公开获得。
2022-12-19 cs.LG