MSAD: A Deep Dive into Model Selection for Time series Anomaly Detection
DI ENS, ENS, PSL University, CNRS, Inria, Paris, France(巴黎大学);The Ohio State University(俄亥俄州立大学);Aristotle University Thessaloniki(塞萨洛尼基亚里士多德大学);Université Paris Cité, IUF Paris, France(巴黎大学)
本文提出了一种基于时间序列分类的模型选择方法,用于提高异常检测的准确性和效率,通过评估多种模型配置,展示了模型选择在性能上的优势。
2025-12-02 cs.LG
Supervised Anomaly Detection based on Deep Autoregressive Density Estimators
NTT Communication Science Laboratories(NTT通信科学实验室);NTT Secure Platform Laboratories(NTT安全平台实验室)
我们提出了一种基于神经密度估计的监督异常检测方法,其中的负对数似然用于异常得分。密度估计已被广泛用于无监督异常检测。通过深度学习的最新进展,密度估计性能已经大大提高。然而,神经密度估计器不能利用异常标签信息,这将是有价值的,以提高异常检测性能。该方法通过训练神经密度估计器有效地利用了异常标签信息,使得正常实例的似然最大化,异常实例的似然低于正常实例的似然。我们采用自回归模型的神经密度估计,这使我们能够准确地计算的可能性。通过对16个数据集的实验,证明了该方法在少量标记异常实例的情况下提高了异常检测性能,并取得了比现有的无监督和有监督异常检测方法更好的性能。
2019-04-12 cs.LG stat.ML
On Accurate and Reliable Anomaly Detection for Gas Turbine Combustors: A Deep Learning Approach
General Electric Global Research Center(通用电气全球研究中心);General Electric Power & Water Engineering(通用电气电力与水务工程部门)
监测燃气轮机燃烧室的健康状况,特别是早期检测异常行为和早期故障,对于确保燃气轮机有效运行和防止昂贵的计划外维护至关重要。检测燃烧室异常的一种常用方法是通过连续监测排气温度分布。多年来,许多异常检测技术已被探索用于检测燃烧室故障,然而,现场的异常检测解决方案的性能(检测率)仍然是不够的。非常需要能够提高检测性能的先进技术。为了提高异常检测性能,将机器学习中的深度学习引入燃烧室异常检测应用中。具体而言,我们使用深度学习来分层学习来自废气温度的传感器测量的特征。然后,我们使用学习的功能作为输入到一个神经网络分类器进行燃烧室异常检测。由于这种深度学习的特征可能比手工特征更好地捕捉所有传感器测量值和底层燃烧器行为之间的复杂关系,因此我们期望学习的特征可以导致更准确和鲁棒的异常检测。使用从实际燃气轮机燃烧系统收集的数据,我们证明了所提出的基于深度学习的异常检测确实显著提高了燃烧室异常检测性能。
2019-08-25 cs.LG stat.ML
A Survey on GANs for Anomaly Detection
Zuru Tech
异常检测是多个研究领域面临的重要问题。检测和正确分类看不见的异常是一个具有挑战性的问题,多年来已经以许多不同的方式解决。生成对抗网络(GANs)和对抗训练过程最近被用来面对这一任务,取得了显着的成果。在本文中,我们调查了主要的基于GAN的异常检测方法,突出了它们的优点和缺点。我们的贡献是主要的GAN模型异常检测的经验验证,不同数据集上的实验结果的增加和公开发布的一个完整的开源工具箱异常检测使用GANs。
2021-09-14 cs.LG stat.ML
Deep Anomaly Detection with Deviation Networks
Australian Institute for Machine Learning(澳大利亚机器学习研究所);The University of Adelaide(阿德莱德大学)
尽管深度学习已被应用于成功解决许多数据采掘问题,但在用于异常检测的深度学习方面所做的工作相对有限。现有的深度异常检测方法专注于学习新的特征表示以实现下游异常检测方法,对异常分数进行间接优化,导致数据效率低下的学习和次优的异常评分。此外,由于缺乏大规模标记的异常数据,它们通常被设计为无监督学习。因此,他们很难利用先前的知识(例如,一些标记的异常),当这样的信息如在许多真实世界的异常检测应用中那样可用时。本文介绍了一种新的异常检测框架及其实例,以解决这些问题。代替表示学习,我们的方法通过神经偏差学习实现异常分数的端到端学习,其中我们利用一些(例如,多个到几十个)标记的异常和先验概率,以强制异常的异常分数与上尾中的正常数据对象的异常分数的统计上显著的偏差。广泛的结果表明,我们的方法可以更有效地训练数据,并实现比最先进的竞争方法更好的异常评分。
2019-11-19 cs.LG stat.ML
Anomaly Detection in Univariate Time-series: A Survey on the State-of-the-Art
Technische Universität Darmstadt(达姆施塔特工业大学)
时间序列数据的异常检测一直是一个重要的研究领域。关于异常检测方法的初步工作一直集中在统计方法上。近年来,越来越多的机器学习算法被用来检测时间序列的异常。随后,研究人员试图使用(深度)神经网络来改进这些技术。鉴于异常检测方法的数量不断增加,研究主体缺乏对统计、机器学习和深度学习方法的广泛比较评估。本文研究了这三类中的20种单变量异常检测方法。评估是在公开的数据集上进行的,这些数据集是时间序列异常检测的基准。通过分析每种方法的准确性以及算法的计算时间,我们对这些异常检测方法的性能提供了深入的了解,同时也提供了一些关于哪种方法适合某种类型数据的一般概念。
2020-04-01 cs.LG stat.ML
Anomaly Detection for High-Dimensional Data Using Large Deviations Principle
University at Buffalo(布法罗大学);Tufts University(塔夫茨大学)
当前的异常检测方法在处理高维数据时,大多数都存在维数灾难问题。我们提出了一个异常检测算法,可以扩展到高维数据使用的概念,从理论的大偏差。所提出的大偏差异常检测(LAD)算法表现出优于各种大型和高维基准数据集上的最先进的异常检测方法。利用该算法的能力,规模高维数据,我们提出了一个在线异常检测方法来识别异常的多元时间序列的集合。我们证明了在线算法在识别美国COVID-19相关病例和死亡异常趋势的县方面的适用性。数个已识别的异常县与记录在案的对COVID大流行应对不力的县相关。
2021-09-28 cs.LG stat.ML
Deep Anomaly Detection by Residual Adaptation
University of Edinburgh(爱丁堡大学);Technische Universität Berlin(柏林工业大学)
深度异常检测是一项困难的任务,因为在高维中,当仅给出正态性的示例时,很难完全表征“差异性”的概念。在本文中,我们提出了一种新的深度异常检测方法,该方法基于使用残差校正来增强大型预训练网络,从而将其调整为异常检测任务。我们的方法产生了一个高度参数有效的学习机制,增强了预训练模型中表示的解纠缠,并优于所有现有的异常检测方法,包括使用预训练网络的其他基线。例如,在CIFAR-10单次与休息基准上,我们的技术将最先进的平均AUC从96.1提高到99.0。
2020-10-05 cs.LG stat.ML
MOSPAT: AutoML based Model Selection and Parameter Tuning for Time Series Anomaly Detection
Meta
组织利用异常和变点检测算法来检测用户行为或服务可用性和性能的变化。许多现成的检测算法虽然有效,但不能容易地用于大型组织,其中数千名用户监视数百万个用例和具有不同时间序列特征和异常模式的指标。对于每个用例,算法和参数的选择都需要精确:手动调优无法扩展,自动调优需要基本事实,而这很少可用。在本文中,我们探讨MOSPAT,一个端到端的自动化的机器学习为基础的模型和参数选择的方法,结合生成模型,以产生标记的数据。我们的可扩展端到端系统允许大型组织中的个人用户根据其特定用例和数据特征定制时间序列监控,而无需异常检测算法的专业知识或费力的手动标记。我们对真实数据和合成数据的大量实验表明,该方法始终优于使用任何单一算法。
2022-05-24 cs.LG
Adversarially Learned Anomaly Detection
CentraleSupélec(中央理工-高等电力学院);École Polytechnique(巴黎综合理工学院);Télécom ParisTech(巴黎电信学院);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
异常检测是一个重要的研究课题。然而,开发有效的异常检测方法的复杂和高维数据仍然是一个挑战。由于生成对抗网络(GANs)能够对现实世界数据的复杂高维分布进行建模,因此它们为解决这一挑战提供了一种有前途的方法。在这项工作中,我们提出了一种异常检测方法,基于双向GANs的逆向学习异常检测(ALAD),该方法可以获得用于异常检测任务的逆向学习特征。ALAD然后使用基于这些逆向学习特征的重建误差来确定数据样本是否异常。ALAD建立在最新进展的基础上,以确保数据空间和潜在空间的循环,并稳定GAN训练,从而显着提高异常检测性能。ALAD在一系列图像和表格数据集上实现了最先进的性能,同时在测试时比唯一发布的基于GAN的方法快几百倍。
2018-12-06 cs.LG stat.ML
Anomaly detection with Wasserstein GAN
Airbus AI Research(空客人工智能研究院);ISAE Supaero(法国高等航空航天学院)
生成对抗网络是一类生成算法,已被广泛用于生成最先进的样本。在本文中,我们研究了GAN对时间序列数据集进行异常检测。为了实现这一目标,参考书目的GAN和GAN用于异常检测的理论特性。一个Wasserstein GAN已被选择来学习正常数据分布的表示和一个堆叠的编码器与发生器执行异常检测。带有编码器的W-GAN似乎在MNIST数据集上产生了最先进的异常检测分数,我们研究了它在多变量时间序列上的使用。
2018-12-11 cs.LG stat.ML
Factor Analysis of Mixed Data for Anomaly Detection
Cornell University(康奈尔大学)
异常检测旨在识别偏离典型数据模式的观测值。异常观测可能对应于财务欺诈、健康风险或实际上测量不正确的数据。我们发现,通过首先嵌入数据,然后评估异常评分方案,可以提高高维混合数据中的异常检测能力。我们专注于无监督检测和连续和分类(混合)变量的情况下。我们提出了一个峰度加权因子分析的混合数据异常检测,FAMDAD,以获得一个连续的嵌入异常评分。我们说明,异常是高度分离的第一个和最后几个有序的维度,这个空间,并测试各种异常评分实验在这个子空间。模拟和真实数据集的结果进行了说明,所提出的方法(FAMDAD)是高度准确的高维混合数据在这些不同的情况下。
2020-05-25 cs.LG stat.ML
Incorporating Privileged Information to Unsupervised Anomaly Detection
Carnegie Mellon University(卡内基梅隆大学)
我们引入了一个新的无监督的异常检测集成称为SPI,它可以利用特权信息-数据仅适用于训练样本,但不适用于(未来)测试的例子。我们的想法建立在Vapnik等人开创的使用标记信息的学习(LUPI)范式上。[19,17],我们将其扩展到无监督学习,特别是异常检测。SPI(用于利用标记信息发现异常)构造多个知识帧/片段(即,密度估计),并通过仅使用可用于测试示例的部分信息的“模仿”函数将它们转移到异常评分空间。我们将LUPI范式推广到无监督异常检测,在几个关键方向上引导了该领域,包括(i)使用专家注释作为PI的领域知识增强检测,(ii)使用计算要求高的数据作为PI的快速检测,以及(iii)使用“历史未来”数据作为PI的早期检测。通过对模拟数据集和真实数据集的大量实验,我们证明了将特权信息扩展到异常检测可以显着提高检测性能。我们还展示了SPI在所有三种设置(i-iii)下的承诺; PI捕获专家知识,计算昂贵的功能,以及三个现实世界检测任务的未来数据。
2018-05-24 cs.LG stat.ML
Detecting Relative Anomaly
Columbia University(哥伦比亚大学);Google, Inc.(谷歌公司)
在某些异常检测问题中,从领域专家的角度来看是异常的系统状态经常出现。在这种情况下,常用的无监督异常检测方法的性能可能会受到影响,因为它们使用频率作为异常的代理。我们提出了一个新的异常检测的概念,称为相对异常检测。通过考虑异常相对于最典型观测的位置,它被定制为对频繁发生的异常具有鲁棒性。我们开发的方法即使对于大型数据集也是计算可行的,并且它们允许实时检测。我们说明使用数据集的潜在的抓取尝试和Wi-Fi信道利用率,都来自谷歌公司。
2016-05-16 cs.LG stat.ML
InQMAD: Incremental Quantum Measurement Anomaly Detection
MindLab(思维实验室);Universidad Nacional de Colombia(哥伦比亚国立大学)
流异常检测是指在数据流中检测异常数据样本的问题。这个问题带来了经典和深度异常检测方法无法应对的挑战,例如概念漂移和持续学习。现有技术的流异常检测方法依赖于使用散列函数或最近邻的固定存储器,其可能无法像移动平均中那样约束高频值或移除无缝离群值,并且无法在端到端深度学习架构中进行训练。我们提出了一种新的增量异常检测方法,该方法基于随机傅立叶特征和量子测量机制以及可以被视为指数移动平均密度的密度矩阵进行连续密度估计。它可以处理潜在的无限数据,其更新复杂度是常数$O(1)$。针对12个最先进的流异常检测算法,使用12个流数据集的系统评价。
2022-10-11 cs.LG stat.ML
An Insight on Evaluation Metrics Under the Imbalanced Case of Anomaly Detection
研究异常检测不平衡时评估指标,分析AUROC、AUPR、F1分数和MCC四个常见指标在不同不平衡水平下的行为,通过指标景观研究提供直观视图,为跨不同不平衡比率数据集解释和比较异常检测结果提供实用指导。
2026-08-12 cs.LG stat.ML
RAMSeS: Robust and Adaptive Model Selection for Time-Series Anomaly Detection Algorithms
University of Stuttgart(斯图加特大学)
RAMSeS通过堆叠集成和自适应模型选择,提升时间序列异常检测的鲁棒性和跨领域适应性。
2026-02-25 cs.DB cs.LG
Efficient GAN-Based Anomaly Detection
CentraleSupélec(中央理工-高等电力学院);Institute for Infocomm Research(资讯通信研究所);Télécom ParisTech(巴黎高等电信学院);Carnegie Mellon University(卡内基梅隆大学);Nanyang Technological University(南洋理工大学)
生成对抗网络(GANs)能够对真实世界数据的复杂高维分布进行建模,这表明它们可以有效地进行异常检测。然而,很少有作品探索使用GANs的异常检测任务。我们利用最近开发的GAN模型进行异常检测,并在图像和网络入侵数据集上实现最先进的性能,同时在测试时比唯一发布的基于GAN的方法快几百倍。
2019-05-01 cs.LG stat.ML
Reconstruct Anomaly to Normal: Adversarial Learned and Latent Vector-constrained Autoencoder for Time-series Anomaly Detection
时间序列的异常检测是一个被广泛研究的问题,具有重要的实际应用价值。近年来,异常检测算法大多基于深度学习生成模型,并使用重构误差来检测异常。在训练阶段通过重构正态数据来捕捉正态数据的分布,然后计算测试数据的重构误差来进行异常检测。然而,大多数方法在训练阶段只使用正常数据,不能保证异常数据的重建过程。因此,异常数据有时也可以很好地重建,重建误差很小,导致异常遗漏。这些算法没有充分利用时间序列数据中数据点的邻域信息。本文提出了一种基于异常重构为正态的RAN算法,并将其应用于无监督的时间序列异常检测。为了使正常数据的重建误差最小化,异常数据的重建误差最大化,我们不仅要保证正常数据的重建效果好,而且要尽量使异常数据的重建与正常数据的分布一致,这样异常数据的重建误差会更大。我们通过引入“模仿异常数据”并将专门设计的潜在向量约束自动编码器与编码器相结合来构建对手网络来实现这一想法。在ECG诊断等不同场景的时间序列数据集上进行的大量实验也表明,RAN可以检测到有意义的异常,并且在AUC-ROC方面优于其他算法。
2020-10-14 cs.LG stat.ML
Can We Predict Anomaly Detection Performance from Embedding-Space Geometry?
Aalborg University(奥尔堡大学);Pioneer Centre for Artificial Intelligence(先锋人工智能中心)
本研究提出利用嵌入空间几何结构预测异常检测性能,通过推导AUC下界并引入伪异常探针,在DCASE基准上实现了无异常模型选择,优于传统开发集选择。
2026-09-23 cs.LG
mTSBench: Benchmarking Multivariate Time Series Anomaly Detection and Model Selection at Scale
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Sandia National Laboratories(桑迪亚国家实验室)
mTSBench是一个大规模多变量时间序列异常检测与模型选择基准测试,评估24种检测器并揭示模型选择的迫切需求。
2026-02-07 cs.AI cs.LG
Deep Positive-Unlabeled Anomaly Detection for Contaminated Unlabeled Data
NTT
针对未标记数据受污染的半监督异常检测问题,提出融合正-未标记学习的深度异常检测框架,无需标记正常数据即可训练检测器,并具备理论保证与更优性能。
2026-09-25 cs.AI cs.LG stat.ML
PAC-Wrap: Semi-Supervised PAC Anomaly Detection
University of Pennsylvania(宾夕法尼亚大学)
异常检测对于防止自动驾驶等安全关键型应用的危险结果至关重要。考虑到它们的安全关键性,这些应用程序受益于异常检测中各种错误的可证明界限。为了在半监督环境中实现这一目标,我们建议为异常检测算法的假阴性和假阳性检测率提供可能近似正确(PAC)保证。我们的方法(PAC-Wrap)可以包裹几乎任何现有的半监督和无监督异常检测方法,赋予它严格的保证。我们对各种异常检测器和数据集的实验表明,PAC-Wrap广泛有效。
2022-06-21 cs.LG math.ST stat.ML
Unsupervised Anomaly Detection Ensembles using Item Response Theory
RMIT University(皇家墨尔本理工大学)
从一组异构的无监督异常检测方法构建集成是具有挑战性的,因为类标签或地面真相是未知的。因此,使用响应变量或类别标签的传统集成技术不能用于构建用于无监督异常检测的集成。我们使用项目反应理论(IRT)-一类用于教育心理测量学的模型,以评估学生和测试问题的特点-构建一个无监督的异常检测集成。IRT的潜在特征计算适合于异常检测,因为潜在特征可以用来揭示隐藏的地面真相。使用一种新的IRT映射到异常检测问题,我们构建了一个合奏,可以淡化嘈杂,非歧视性的方法,并强调尖锐的方法。我们证明了IRT合奏的有效性,广泛的数据存储库,通过比较其性能与其他合奏技术。
2021-06-11 cs.AI cs.LG stat.ML
An Ensemble Approach toward Automated Variable Selection for Network Anomaly Detection
Texas A&M University(得克萨斯农工大学);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);ETRI(电子通信研究院)
虽然变量选择对于通过对特征进行优先级排序来优化学习复杂性是必不可少的,但自动化选择过程是首选,因为它需要进行大量的分析。然而,由于几个原因,实现自动化并不是一件容易的任务。首先,选择技术通常需要一个条件来终止约简过程,例如,通过使用阈值或特征的数量来停止,并且搜索适当的停止条件是非常具有挑战性的。其次,不确定减少的变量集是否会很好地工作;我们的初步实验结果表明,众所周知的选择技术产生不同的变量集作为减少的结果(即使具有相同的终止条件),并且很难估计其中哪一个在未来的测试中工作得最好。在本文中,我们展示了我们的方法的选择过程,结合知名的选择方法,识别重要变量的自动化的潜在力量。我们对两个公共网络流量数据(UNSW-NB 15和IDS 2017)的实验结果表明,我们提出的方法识别了少量的核心变量,使用这些变量可以近似于具有全部变量的性能。
2019-10-28 cs.LG cs.NI stat.ML
Towards Fair Deep Anomaly Detection
University of California, Davis(加州大学戴维斯分校)
异常检测旨在发现被认为不寻常的实例,是数据科学的基本问题。最近,深度异常检测方法被证明可以取得优异的结果,特别是在复杂的数据,如图像。我们的工作重点是深度一类分类的异常检测,学习映射只从正常的样本。然而,深度学习执行的非线性转换可能会发现与社会偏见相关的模式。为深度异常检测增加公平性的挑战是确保同时进行公平和正确的异常预测。在本文中,我们提出了一种新的架构的公平异常检测方法(深公平SVDD)和训练它使用对抗网络去相关的敏感属性和学习的表示之间的关系。这与通常添加公平性的方式不同,即作为正则化因子或约束。此外,我们提出了两个有效的公平性措施,并实证证明,现有的深度异常检测方法是不公平的。我们表明,我们所提出的方法可以消除不公平很大程度上以最小的损失上的异常检测性能。最后,我们进行了深入的分析,以显示我们提出的模型,包括参数分析,功能可视化和运行时分析的优势和局限性。
2020-12-29 cs.AI cs.LG stat.ML
Deep Learning for Anomaly Detection: A Review
University of Adelaide(阿德莱德大学);University of Technology Sydney(悉尼科技大学)
异常点探测,也就是。异常值检测或新颖性检测几十年来一直是各种研究团体中持续而活跃的研究领域。仍然有一些独特的问题、复杂性和挑战需要先进的方法。近年来,深度学习实现了异常检测,即,深部异常探测已经成为一个重要的方向。本文对深部异常检测的研究进行了全面的分类,涵盖了3个高级别类别和11个细粒度类别的方法的进展。我们回顾他们的关键直觉,目标函数,基本假设,优点和缺点,并讨论他们如何解决上述挑战。我们进一步讨论了一系列可能的未来机遇和应对挑战的新视角。
2020-12-05 cs.CV cs.LG stat.ML
Retrieval Over Training: Similarity search-based Model Selection for Time Series Anomaly Detection
Université Paris Cité, LIPADE(巴黎西岱大学,LIPADE);École Normale Supérieure, Inria(巴黎高等师范学院,法国国家信息与自动化研究所)
本文提出RAMSAD框架,通过检索相似序列的检测器推荐解决时间序列异常检测模型选择的OOD准确率下降问题,其在ID场景优于基线,OOD场景鲁棒且成本低。
2026-10-16 cs.AI cs.LG
Graph Coding for Model Selection and Anomaly Detection in Gaussian Graphical Models
University of Hawaii(夏威夷大学);John A. Burns School of Medicine(约翰·A·伯恩斯医学院)
描述长度的一个经典应用是使用最小描述长度(MDL)原则进行模型选择。本文的重点是扩展描述长度的数据分析超越简单的模型选择和序列的标量。更具体地说,我们扩展了高斯图形模型中数据分析的描述长度。这些都是强大的工具,可以以图形的形式对i.i.d高斯数据序列中变量之间的相互作用进行建模。我们的方法使用通用的图编码方法,以准确地考虑模型的复杂性,因此提供了一个更严格的方法图模型的选择。所开发的方法进行了测试,与合成和心电图(ECG)数据,以找到高斯图形模型的图形模型和异常。实验表明,我们的方法相比,常用的方法提供了更好的性能。
2021-02-04 cs.IT cs.LG math.IT
Network Anomaly Detection: A Survey and Comparative Analysis of Stochastic and Deterministic Methods
Boston University(波士顿大学)
针对网络异常检测问题,提出了五种方法。这些方法涵盖了异常检测领域的大多数常用技术,包括统计假设检验(SHT)、支持向量机(SVM)和聚类分析。我们评估所有的方法在一个模拟的网络,由标称数据,三个流级异常和一个数据包级的攻击。通过分析结果,我们指出了每种方法的优点和缺点,并得出结论,将各个方法的结果结合起来可以产生更好的异常检测结果。
2013-09-19 cs.LG cs.NI stat.ML
AnomalyAID: Reliable Interpretation for Semi-supervised Network Anomaly Detection
School of Future Science and Engineering, Soochow University(未来科学与工程学院,苏州大学);Southeast University(东南大学)
本文提出AnomalyAID框架,通过全局与局部解释器提升半监督网络异常检测的可解释性,并利用两阶段伪标签学习在有限标注数据下提高检测性能。
2025-11-10 cs.LG
A Survey on Anomaly Detection for Technical Systems using LSTM Networks
University of Stuttgart(斯图加特大学)
异常表示与预期系统操作的偏差,并可能导致效率降低以及部分或全部系统故障。由于复杂的系统动力学,异常的原因往往是未知的,有效的异常检测是必要的。传统的检测方法依赖于统计和时不变的方法,无法解决异常的复杂性和动态性。随着人工智能的进步以及在各个领域中异常检测和预防的重要性的增加,人工神经网络方法使得能够在考虑时间和上下文特征的同时检测更复杂的异常类型。在这篇文章中,对使用深度神经网络,特别是长短期记忆网络的最新异常检测进行了调查。基于应用场景,数据和异常类型以及进一步的度量标准对所研究的方法进行评估。为了突出即将到来的异常检测技术的潜力,调查中还包括基于图和迁移学习方法,这些方法可以分析异构数据,弥补其不足并改善动态过程的处理。
2021-05-28 cs.AI cs.LG stat.ML
TPA-AD: A Two-Stage Pseudo Anomaly-Guided Method for Bearing Time-Series Anomaly Detection
CQSF.com(重庆师范大学);Huadian University(哈尔滨理工大学)
提出一种两阶段伪异常引导方法TPA-AD,通过重构模型和特征误差控制生成边界伪异常窗口,结合对比学习与KNN实现无监督轴承时间序列异常检测,在轴承故障和退化数据集上表现稳定且具泛化性。
2026-06-02 cs.AI cs.LG stat.ML
Anomaly Detection in Graph Structured Data: A Survey
Tennessee Tech University(田纳西理工大学)
本文综述图数据异常检测技术,提出基于假设与技术的新分类法,梳理相关应用、各类方法的改进思路及优缺点,并展望未来研究方向。
2024-05-10 cs.CR cs.LG
Anomaly detection in wide area network mesh using two machine learning anomaly detection algorithms
University of Chicago(芝加哥大学)
异常检测是识别不符合预期行为或与数据集中其他项不相关的项或事件的实践。它以前曾被应用于入侵检测、系统健康监控和信用卡交易中的欺诈检测等领域。在本文中,我们描述了一种新的方法来检测异常行为的网络性能数据,收集的perfSONAR,使用两个机器学习算法:提升决策树(BDT)和简单前馈神经网络。对每种算法的有效性进行了评价和比较。两者都表现出足够的性能和灵敏度。
2018-01-30 cs.LG cs.NI
Automated Model Selection for Time-Series Anomaly Detection
Microsoft(微软)
时间序列异常检测是学术界和工业界的热门课题。许多公司需要监控其应用程序和服务的数千个时间信号,并需要及时获得潜在事件的即时反馈和警报。这项任务是具有挑战性的,因为时间序列的复杂特性,这是混乱的,随机的,往往没有适当的标签。由于缺乏标签,这禁止训练监督模型,并且单个模型很难适应不同的时间序列。在本文中,我们提出了一个解决方案来解决这些问题。我们提出了一个自动化的模型选择框架,自动找到最合适的检测模型与适当的参数输入数据。模型选择层是可扩展的,因为当新的检测器可用于服务时,它可以被更新而不需要太多的工作。最后,我们结合了一个定制的调整算法,以灵活地过滤异常,以满足客户的标准。在真实数据集上的实验表明了该方法的有效性。
2020-08-25 cs.LG eess.SP
Achieving Counterfactual Fairness for Anomaly Detection
Utah State University(犹他州立大学);University of Arkansas(阿肯色大学);Clemson University(克莱姆森大学)
由于许多异常检测应用都涉及到人类,因此保证异常检测模型的公平性受到了广泛关注。然而,现有的公平异常检测方法主要集中在基于关联的公平性的概念。在这项工作中,我们的目标是反事实公平,这是一个普遍的基于因果关系的公平概念。反事实公平异常检测的目标是确保个体在事实世界中的检测结果与个体属于不同群体的反事实世界中的检测结果相同。为此,我们提出了一个反事实公平的异常检测(CFAD)框架,其中包括两个阶段,反事实数据生成和公平的异常检测。在一个人工数据集和两个真实数据集上的实验结果表明,CFAD能够有效地检测异常,并确保反事实公平性。
2023-03-04 cs.LG
Dive into Time-Series Anomaly Detection: A Decade Review
Inria(法国国家信息与自动化研究所);DI ENS(巴黎高等师范学院数字研究所);PSL(巴黎文理研究大学);CNRS(法国国家科学研究中心);The Ohio State University(俄亥俄州立大学);Université Paris Cité(巴黎西岱大学);IUF(法国大学研究院)
本文综述了近十年时间序列异常检测研究,提出以过程为中心的分类法对现有方法进行系统归类,并通过文献元分析总结该领域的主要发展趋势。
2024-12-29 cs.AI cs.DB cs.LG
AGAD: Adversarial Generative Anomaly Detection
NEC Laboratories China(NEC中国研究院)
提出AGAD,一种基于自对比的异常检测范式,通过从正常样本生成上下文对抗信息来生成伪异常数据,在监督和半监督场景下显著提升检测性能,且仅需不超过5%的异常训练数据。
2023-04-09 cs.CV cs.LG
Ymir: A Supervised Ensemble Framework for Multivariate Time Series Anomaly Detection
本文提出了一个多变量时间序列异常检测框架Ymir,它利用集成学习和监督学习技术有效地学习和适应真实世界系统应用中的异常。Ymir通过集成学习方法集成了目前广泛使用的几种无监督异常检测模型,从而可以在无监督场景下提供鲁棒的前端异常检测结果。在有监督的环境中,领域专家和系统用户讨论并提供训练数据的标签(异常或不异常),这反映了他们对特定系统的异常检测标准。Ymir使用上述无监督方法从原始多变量时间序列数据中提取丰富而有用的特征表示,然后将特征和标签与监督分类器相结合来进行异常检测。我们在来自大型监测系统的内部多变量时间序列数据集上评估了Ymir,并获得了良好的异常检测性能。
2021-12-09 cs.LG
Discriminative Feature Learning Framework with Gradient Preference for Anomaly Detection
University of Jinan(济南大学);Shandong Jiaotong University(山东交通学院)
无监督表示学习在异常检测中得到了广泛的应用,并取得了令人瞩目的成绩。在无监督表示学习中,提取有价值的特征向量可以显著提高异常检测的性能。为此,我们提出了一种新的歧视性特征学习框架与梯度偏好的异常检测。具体而言,首先设计了一种基于梯度偏好的选择器,在空间上存储功能强大的特征点,然后构建特征库,减轻了冗余特征向量的干扰,提高了推理效率。其次,为了克服特征向量的松散性,提出了一种中心约束的判别式特征学习方法,将特征库映射到一个紧凑的子空间上,从而使异常样本与正常样本更容易区分。此外,我们的方法可以很容易地扩展到异常定位。在流行的工业和医疗异常检测数据集上进行的大量实验表明,我们提出的框架在异常检测和定位方面都可以取得有竞争力的结果。更重要的是,我们的方法在Few Shot异常检测方面优于最先进的方法。
2022-04-23 cs.LG
Possibility for Proactive Anomaly Detection
University of California, San Diego(加利福尼亚大学圣迭戈分校);KAIST(韩国科学技术院);Samsung SDS(三星SDS公司);Yonsei University(延世大学)
针对现有时间序列异常检测模型依赖观测值误差导致不切实际的问题,本研究提出结合异常检测专用预测模型与数据驱动模型的主动方法,通过训练数据确定阈值并基于预测值检测异常,经四个基准验证有效性且附源代码。
2025-04-15 cs.AI cs.LG
Online false discovery rate control for anomaly detection in time series
EPFL(洛桑联邦理工学院);Amazon Research(亚马逊研究院)
本文提出了新的规则,错误发现率控制(FDRC)面向在线异常检测时间序列。在线FDRC规则允许控制一系列统计测试的属性。在异常检测的上下文中,原假设是观察结果是正常的,而替代假设是观察结果是异常的。FDRC规则允许用户在无监督设置中设定精度下限。本文提出的方法克服了以往FDRC规则在异常检测方面的不足,特别是确保功率保持较高,即使当替代方案非常罕见(异常检测中的典型)和测试统计量是连续依赖的(时间序列中的典型)。我们在理论和实验中证明了这些规则的合理性。
2021-12-06 cs.LG math.ST stat.ML
Understanding the Effect of Bias in Deep Anomaly Detection
University of Chicago(芝加哥大学)
由于标记异常数据的稀缺性,异常检测在机器学习中提出了独特的挑战。最近的工作试图通过使用额外的标记异常样本来增强深度异常检测模型的训练来缓解这些问题。然而,标记的数据通常与目标分布不一致,并向训练模型引入有害的偏差。在本文中,我们的目的是了解一个有偏见的异常集异常检测的效果。具体地说,我们认为异常检测作为一个监督学习任务,其目标是优化召回在给定的误报率。我们正式研究的相对评分偏差的异常检测器,定义为相对于基线异常检测器的性能差异。我们建立了第一个有限样本率来估计深度异常检测的相对评分偏差,并在合成和真实世界数据集上实证验证了我们的理论结果。我们还提供了一个广泛的实证研究如何偏见的训练异常集影响异常评分函数,因此对不同的异常类的检测性能。我们的研究展示了有偏见的异常集可能是有用的或有问题的场景,并为未来的研究提供了一个坚实的基准。
2021-05-16 cs.AI cs.LG
Anomaly Detection in Predictive Maintenance: A New Evaluation Framework for Temporal Unsupervised Anomaly Detection Algorithms
University of Granada(格拉纳达大学);ArcelorMittal Global R&D(安赛乐米塔尔全球研发中心)
异常检测的研究缺乏一个统一的定义,什么代表一个异常的实例。异常本身性质的离散性导致算法设计和实验的多种范式。预测性维护是一种特殊情况,其中异常表示必须防止的故障。相关的时间序列研究,如离群值和新颖性检测或时间序列分类不适用于这一领域的异常概念,因为它们不是以前没有见过的单一点,可能无法精确注释。此外,由于缺乏注释的异常数据,许多基准是从监督的情况下改编的。为了解决这些问题,我们概括的概念,积极和消极的情况下,以间隔能够评估无监督的异常检测算法。我们还保留了不平衡计划的评估,通过建议的前窗ROC,一个概括的ROC曲线的计算时间序列的情况。我们还适应机制,从一个既定的时间序列异常检测基准建议的概括,以奖励早期检测。因此,该提案为不同的设想方案提供了一个灵活的评价框架。为了证明这个定义的有用性,我们包括了一个由ArcelorMittal公司提供的大数据算法与现实世界时间序列问题的案例研究,并将该建议与评估方法进行了比较。
2021-09-02 cs.LG
Research and application of Transformer based anomaly detection model: A literature review
Huazhong University of Science and Technology(华中科技大学);School of Cyber Science and Engineering(网络科学与工程学院);School of Artificial Intelligence and Automation(人工智能与自动化学院)
本文综述了基于Transformer的异常检测模型的研究与应用,详细剖析其运行原理、应用场景、数据集与评估指标,并指出关键挑战与未来趋势,为相关研究提供全面技术参考。
2024-02-14 cs.AI cs.LG
A Survey on Explainable Anomaly Detection
Leiden Institute of Advanced Computer Science (LIACS), Leiden University(莱顿大学莱顿高级计算机科学研究所)
本文综述可解释异常检测技术,针对异常检测长期重精度、轻解释的问题,系统梳理最新方法并提出分类框架,以辅助研究者和从业者选择合适方案。
2023-07-11 cs.LG
Reinforcement Neighborhood Selection for Unsupervised Graph Anomaly Detection
Zhejiang University(浙江大学);New York University Shanghai(上海纽约大学);The Hong Kong Polytechnic University(香港理工大学)
针对无监督图异常检测中异常污染邻域的问题,本文提出RAND,通过强化学习选择可靠邻居并进行异常感知聚合,在合成与真实数据集上优于现有方法。
2023-12-09 cs.AI cs.LG
Anomaly detection with semi-supervised classification based on risk estimators
University of Mons(蒙斯大学)
针对一类分类异常检测依赖正常数据假设的局限,提出基于无偏与有偏风险估计器的两种半监督异常检测方法,并给出误差界及实验验证。
2023-09-01 cs.LG
Trustworthy Anomaly Detection: A Survey
Utah State University(犹他州立大学);University of Arkansas(阿肯色大学)
异常检测有着广泛的实际应用,如银行欺诈检测和网络入侵检测。在过去的十年中,各种异常检测模型已经被开发出来,这导致在准确检测各种异常方面取得了很大的进展。尽管取得了成功,异常检测模型仍然面临许多限制。最重要的是我们是否可以相信模型的检测结果。近年来,研究界花费了大量的精力来设计可信的机器学习模型,例如开发可信的分类模型。然而,对异常检测任务的关注还远远不够。考虑到许多异常检测任务是涉及人类的改变生活的任务,将某人标记为异常或欺诈者应该非常谨慎。因此,确保以可信赖的方式进行异常检测模型是部署模型以在现实世界中进行自动决策的基本要求。在这个简短的调查中,我们总结了现有的努力,并讨论了开放的问题,值得信赖的异常检测的可解释性,公平性,鲁棒性和隐私保护的角度。
2022-02-15 cs.AI cs.LG
Anomaly Detection Requires Better Representations
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
异常检测旨在识别异常现象,这是科学和工业的中心任务。该任务本质上是无监督的,因为异常在训练期间是意外和未知的。自监督表示学习的最新进展直接推动了异常检测的改进。在这篇立场论文中,我们首先解释了自我监督表示如何在常见的异常检测基准测试中轻松实现最先进的性能。然后,我们认为,解决下一代的异常检测任务需要新的技术和概念的改进表示学习。
2022-10-19 cs.CV cs.LG
Sub-Image Anomaly Detection with Deep Pyramid Correspondences
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
利用深度预训练特征的最近邻(kNN)方法在应用于整个图像时表现出非常强的异常检测性能。kNN方法的局限性是缺乏描述异常位于图像内的位置的分割图。在这项工作中,我们提出了一种新的异常分割方法的基础上对齐的异常图像和一个常数数量的相似的正常图像。我们的方法,语义金字塔异常检测(SPADE)使用基于多分辨率特征金字塔的对应关系。SPADE是实现国家的最先进的无监督的异常检测和定位的性能,而几乎不需要训练时间。
2021-02-03 cs.CV cs.LG
ICLAD: In-Context Learning for Unified Tabular Anomaly Detection Across Supervision Regimes
Department of Electrical and Computer Engineering, McGill University, Canada(麦吉尔大学电气与计算机工程系,加拿大);Mila - Quebec Artificial Intelligence Institute, Montreal, Canada(魁北克人工智能研究所,蒙特利尔,加拿大)
ICLAD通过元学习训练合成表格异常检测任务,实现跨数据集和监督模式的统一表格异常检测框架,实验显示在57个数据集上取得最佳性能。
2026-03-19 cs.LG
Conditional anomaly detection methods for patient-management alert systems
University of Pittsburgh, PA(匹兹堡大学)
本文提出基于实例的条件异常检测方法,通过优化距离度量提升异常检测性能,应用于患者异常入院决策和HPF4检测异常识别。
2026-05-11 cs.LG