Low Latency Anomaly Detection and Bayesian Network Prediction of Anomaly Likelihood
我们开发了一个有监督的机器学习模型,可以实时的检测系统中的异常。我们的模型将无限的数据流处理成时间序列,然后形成低延迟异常检测模型的基础。此外,我们扩展我们的初步目标,只是异常检测到同步异常预测。我们通过开发一个贝叶斯网络框架来解决这个非常具有挑战性的问题,该框架捕获了在我们方法的第一部分中校准的滞后回归量的参数信息,并使用该结构来学习局部条件概率分布。
2016-11-11 cs.LG stat.ML
Supervised Anomaly Detection based on Deep Autoregressive Density Estimators
NTT Communication Science Laboratories(NTT通信科学实验室);NTT Secure Platform Laboratories(NTT安全平台实验室)
我们提出了一种基于神经密度估计的监督异常检测方法,其中的负对数似然用于异常得分。密度估计已被广泛用于无监督异常检测。通过深度学习的最新进展,密度估计性能已经大大提高。然而,神经密度估计器不能利用异常标签信息,这将是有价值的,以提高异常检测性能。该方法通过训练神经密度估计器有效地利用了异常标签信息,使得正常实例的似然最大化,异常实例的似然低于正常实例的似然。我们采用自回归模型的神经密度估计,这使我们能够准确地计算的可能性。通过对16个数据集的实验,证明了该方法在少量标记异常实例的情况下提高了异常检测性能,并取得了比现有的无监督和有监督异常检测方法更好的性能。
2019-04-12 cs.LG stat.ML
On Accurate and Reliable Anomaly Detection for Gas Turbine Combustors: A Deep Learning Approach
General Electric Global Research Center(通用电气全球研究中心);General Electric Power & Water Engineering(通用电气电力与水务工程部门)
监测燃气轮机燃烧室的健康状况,特别是早期检测异常行为和早期故障,对于确保燃气轮机有效运行和防止昂贵的计划外维护至关重要。检测燃烧室异常的一种常用方法是通过连续监测排气温度分布。多年来,许多异常检测技术已被探索用于检测燃烧室故障,然而,现场的异常检测解决方案的性能(检测率)仍然是不够的。非常需要能够提高检测性能的先进技术。为了提高异常检测性能,将机器学习中的深度学习引入燃烧室异常检测应用中。具体而言,我们使用深度学习来分层学习来自废气温度的传感器测量的特征。然后,我们使用学习的功能作为输入到一个神经网络分类器进行燃烧室异常检测。由于这种深度学习的特征可能比手工特征更好地捕捉所有传感器测量值和底层燃烧器行为之间的复杂关系,因此我们期望学习的特征可以导致更准确和鲁棒的异常检测。使用从实际燃气轮机燃烧系统收集的数据,我们证明了所提出的基于深度学习的异常检测确实显著提高了燃烧室异常检测性能。
2019-08-25 cs.LG stat.ML
A Survey on GANs for Anomaly Detection
Zuru Tech
异常检测是多个研究领域面临的重要问题。检测和正确分类看不见的异常是一个具有挑战性的问题,多年来已经以许多不同的方式解决。生成对抗网络(GANs)和对抗训练过程最近被用来面对这一任务,取得了显着的成果。在本文中,我们调查了主要的基于GAN的异常检测方法,突出了它们的优点和缺点。我们的贡献是主要的GAN模型异常检测的经验验证,不同数据集上的实验结果的增加和公开发布的一个完整的开源工具箱异常检测使用GANs。
2021-09-14 cs.LG stat.ML
Deep Anomaly Detection with Deviation Networks
Australian Institute for Machine Learning(澳大利亚机器学习研究所);The University of Adelaide(阿德莱德大学)
尽管深度学习已被应用于成功解决许多数据采掘问题,但在用于异常检测的深度学习方面所做的工作相对有限。现有的深度异常检测方法专注于学习新的特征表示以实现下游异常检测方法,对异常分数进行间接优化,导致数据效率低下的学习和次优的异常评分。此外,由于缺乏大规模标记的异常数据,它们通常被设计为无监督学习。因此,他们很难利用先前的知识(例如,一些标记的异常),当这样的信息如在许多真实世界的异常检测应用中那样可用时。本文介绍了一种新的异常检测框架及其实例,以解决这些问题。代替表示学习,我们的方法通过神经偏差学习实现异常分数的端到端学习,其中我们利用一些(例如,多个到几十个)标记的异常和先验概率,以强制异常的异常分数与上尾中的正常数据对象的异常分数的统计上显著的偏差。广泛的结果表明,我们的方法可以更有效地训练数据,并实现比最先进的竞争方法更好的异常评分。
2019-11-19 cs.LG stat.ML
Anomaly Detection in Univariate Time-series: A Survey on the State-of-the-Art
Technische Universität Darmstadt(达姆施塔特工业大学)
时间序列数据的异常检测一直是一个重要的研究领域。关于异常检测方法的初步工作一直集中在统计方法上。近年来,越来越多的机器学习算法被用来检测时间序列的异常。随后,研究人员试图使用(深度)神经网络来改进这些技术。鉴于异常检测方法的数量不断增加,研究主体缺乏对统计、机器学习和深度学习方法的广泛比较评估。本文研究了这三类中的20种单变量异常检测方法。评估是在公开的数据集上进行的,这些数据集是时间序列异常检测的基准。通过分析每种方法的准确性以及算法的计算时间,我们对这些异常检测方法的性能提供了深入的了解,同时也提供了一些关于哪种方法适合某种类型数据的一般概念。
2020-04-01 cs.LG stat.ML
A Choquet Fuzzy Integral Vertical Bagging Classifier for Mobile Telematics Data Analysis
University of Technology Sydney(悉尼科技大学)
近年来,移动应用程序的开发带来了新的产品和功能,以改善人类的生活。移动远程信息处理就是这样一种发展,它涵盖了运输安全的多学科领域。移动远程信息处理技术的应用已经在许多领域进行了探索,例如保险和道路安全。然而,据我们所知,其在性别检测中的应用尚未得到探索。本文提出了一种Choquet模糊积分垂直装袋分类器,通过移动远程信息处理检测性别。该模型利用粗糙集理论对随机生成的特征训练不同的随机森林分类器,并利用Choquet模糊积分对前三个分类器进行融合。该模型在一个真实的数据集上实现和评估。实验结果表明,Choquet模糊积分垂直装袋分类器优于其他分类器。
2019-03-19 cs.LG stat.ML
Anomaly Detection for High-Dimensional Data Using Large Deviations Principle
University at Buffalo(布法罗大学);Tufts University(塔夫茨大学)
当前的异常检测方法在处理高维数据时,大多数都存在维数灾难问题。我们提出了一个异常检测算法,可以扩展到高维数据使用的概念,从理论的大偏差。所提出的大偏差异常检测(LAD)算法表现出优于各种大型和高维基准数据集上的最先进的异常检测方法。利用该算法的能力,规模高维数据,我们提出了一个在线异常检测方法来识别异常的多元时间序列的集合。我们证明了在线算法在识别美国COVID-19相关病例和死亡异常趋势的县方面的适用性。数个已识别的异常县与记录在案的对COVID大流行应对不力的县相关。
2021-09-28 cs.LG stat.ML
Deep Anomaly Detection by Residual Adaptation
University of Edinburgh(爱丁堡大学);Technische Universität Berlin(柏林工业大学)
深度异常检测是一项困难的任务,因为在高维中,当仅给出正态性的示例时,很难完全表征“差异性”的概念。在本文中,我们提出了一种新的深度异常检测方法,该方法基于使用残差校正来增强大型预训练网络,从而将其调整为异常检测任务。我们的方法产生了一个高度参数有效的学习机制,增强了预训练模型中表示的解纠缠,并优于所有现有的异常检测方法,包括使用预训练网络的其他基线。例如,在CIFAR-10单次与休息基准上,我们的技术将最先进的平均AUC从96.1提高到99.0。
2020-10-05 cs.LG stat.ML
Adversarially Learned Anomaly Detection
CentraleSupélec(中央理工-高等电力学院);École Polytechnique(巴黎综合理工学院);Télécom ParisTech(巴黎电信学院);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
异常检测是一个重要的研究课题。然而,开发有效的异常检测方法的复杂和高维数据仍然是一个挑战。由于生成对抗网络(GANs)能够对现实世界数据的复杂高维分布进行建模,因此它们为解决这一挑战提供了一种有前途的方法。在这项工作中,我们提出了一种异常检测方法,基于双向GANs的逆向学习异常检测(ALAD),该方法可以获得用于异常检测任务的逆向学习特征。ALAD然后使用基于这些逆向学习特征的重建误差来确定数据样本是否异常。ALAD建立在最新进展的基础上,以确保数据空间和潜在空间的循环,并稳定GAN训练,从而显着提高异常检测性能。ALAD在一系列图像和表格数据集上实现了最先进的性能,同时在测试时比唯一发布的基于GAN的方法快几百倍。
2018-12-06 cs.LG stat.ML
Anomaly detection with Wasserstein GAN
Airbus AI Research(空客人工智能研究院);ISAE Supaero(法国高等航空航天学院)
生成对抗网络是一类生成算法,已被广泛用于生成最先进的样本。在本文中,我们研究了GAN对时间序列数据集进行异常检测。为了实现这一目标,参考书目的GAN和GAN用于异常检测的理论特性。一个Wasserstein GAN已被选择来学习正常数据分布的表示和一个堆叠的编码器与发生器执行异常检测。带有编码器的W-GAN似乎在MNIST数据集上产生了最先进的异常检测分数,我们研究了它在多变量时间序列上的使用。
2018-12-11 cs.LG stat.ML
LogLead -- Fast and Integrated Log Loader, Enhancer, and Anomaly Detector
University of Helsinki(赫尔辛基大学)
本文提出集成日志加载、增强与异常检测的工具 LogLead,支持多系统数据集、多种日志表示及九类机器学习算法,并在加载和解析速度上取得显著提升。
2024-01-19 cs.LG cs.SE
Deep Positive-Unlabeled Anomaly Detection for Contaminated Unlabeled Data
NTT
针对未标记数据受污染的半监督异常检测问题,提出融合正-未标记学习的深度异常检测框架,无需标记正常数据即可训练检测器,并具备理论保证与更优性能。
2026-09-25 cs.AI cs.LG stat.ML
Unsupervised Anomaly Detection Ensembles using Item Response Theory
RMIT University(皇家墨尔本理工大学)
从一组异构的无监督异常检测方法构建集成是具有挑战性的,因为类标签或地面真相是未知的。因此,使用响应变量或类别标签的传统集成技术不能用于构建用于无监督异常检测的集成。我们使用项目反应理论(IRT)-一类用于教育心理测量学的模型,以评估学生和测试问题的特点-构建一个无监督的异常检测集成。IRT的潜在特征计算适合于异常检测,因为潜在特征可以用来揭示隐藏的地面真相。使用一种新的IRT映射到异常检测问题,我们构建了一个合奏,可以淡化嘈杂,非歧视性的方法,并强调尖锐的方法。我们证明了IRT合奏的有效性,广泛的数据存储库,通过比较其性能与其他合奏技术。
2021-06-11 cs.AI cs.LG stat.ML
Towards Fair Deep Anomaly Detection
University of California, Davis(加州大学戴维斯分校)
异常检测旨在发现被认为不寻常的实例,是数据科学的基本问题。最近,深度异常检测方法被证明可以取得优异的结果,特别是在复杂的数据,如图像。我们的工作重点是深度一类分类的异常检测,学习映射只从正常的样本。然而,深度学习执行的非线性转换可能会发现与社会偏见相关的模式。为深度异常检测增加公平性的挑战是确保同时进行公平和正确的异常预测。在本文中,我们提出了一种新的架构的公平异常检测方法(深公平SVDD)和训练它使用对抗网络去相关的敏感属性和学习的表示之间的关系。这与通常添加公平性的方式不同,即作为正则化因子或约束。此外,我们提出了两个有效的公平性措施,并实证证明,现有的深度异常检测方法是不公平的。我们表明,我们所提出的方法可以消除不公平很大程度上以最小的损失上的异常检测性能。最后,我们进行了深入的分析,以显示我们提出的模型,包括参数分析,功能可视化和运行时分析的优势和局限性。
2020-12-29 cs.AI cs.LG stat.ML
Deep Learning for Anomaly Detection: A Review
University of Adelaide(阿德莱德大学);University of Technology Sydney(悉尼科技大学)
异常点探测,也就是。异常值检测或新颖性检测几十年来一直是各种研究团体中持续而活跃的研究领域。仍然有一些独特的问题、复杂性和挑战需要先进的方法。近年来,深度学习实现了异常检测,即,深部异常探测已经成为一个重要的方向。本文对深部异常检测的研究进行了全面的分类,涵盖了3个高级别类别和11个细粒度类别的方法的进展。我们回顾他们的关键直觉,目标函数,基本假设,优点和缺点,并讨论他们如何解决上述挑战。我们进一步讨论了一系列可能的未来机遇和应对挑战的新视角。
2020-12-05 cs.CV cs.LG stat.ML
PAC-Wrap: Semi-Supervised PAC Anomaly Detection
University of Pennsylvania(宾夕法尼亚大学)
异常检测对于防止自动驾驶等安全关键型应用的危险结果至关重要。考虑到它们的安全关键性,这些应用程序受益于异常检测中各种错误的可证明界限。为了在半监督环境中实现这一目标,我们建议为异常检测算法的假阴性和假阳性检测率提供可能近似正确(PAC)保证。我们的方法(PAC-Wrap)可以包裹几乎任何现有的半监督和无监督异常检测方法,赋予它严格的保证。我们对各种异常检测器和数据集的实验表明,PAC-Wrap广泛有效。
2022-06-21 cs.LG math.ST stat.ML
AnomalyAID: Reliable Interpretation for Semi-supervised Network Anomaly Detection
School of Future Science and Engineering, Soochow University(未来科学与工程学院,苏州大学);Southeast University(东南大学)
本文提出AnomalyAID框架,通过全局与局部解释器提升半监督网络异常检测的可解释性,并利用两阶段伪标签学习在有限标注数据下提高检测性能。
2025-11-10 cs.LG
Achieving Counterfactual Fairness for Anomaly Detection
Utah State University(犹他州立大学);University of Arkansas(阿肯色大学);Clemson University(克莱姆森大学)
由于许多异常检测应用都涉及到人类,因此保证异常检测模型的公平性受到了广泛关注。然而,现有的公平异常检测方法主要集中在基于关联的公平性的概念。在这项工作中,我们的目标是反事实公平,这是一个普遍的基于因果关系的公平概念。反事实公平异常检测的目标是确保个体在事实世界中的检测结果与个体属于不同群体的反事实世界中的检测结果相同。为此,我们提出了一个反事实公平的异常检测(CFAD)框架,其中包括两个阶段,反事实数据生成和公平的异常检测。在一个人工数据集和两个真实数据集上的实验结果表明,CFAD能够有效地检测异常,并确保反事实公平性。
2023-03-04 cs.LG
Ymir: A Supervised Ensemble Framework for Multivariate Time Series Anomaly Detection
本文提出了一个多变量时间序列异常检测框架Ymir,它利用集成学习和监督学习技术有效地学习和适应真实世界系统应用中的异常。Ymir通过集成学习方法集成了目前广泛使用的几种无监督异常检测模型,从而可以在无监督场景下提供鲁棒的前端异常检测结果。在有监督的环境中,领域专家和系统用户讨论并提供训练数据的标签(异常或不异常),这反映了他们对特定系统的异常检测标准。Ymir使用上述无监督方法从原始多变量时间序列数据中提取丰富而有用的特征表示,然后将特征和标签与监督分类器相结合来进行异常检测。我们在来自大型监测系统的内部多变量时间序列数据集上评估了Ymir,并获得了良好的异常检测性能。
2021-12-09 cs.LG
Discriminative Feature Learning Framework with Gradient Preference for Anomaly Detection
University of Jinan(济南大学);Shandong Jiaotong University(山东交通学院)
无监督表示学习在异常检测中得到了广泛的应用,并取得了令人瞩目的成绩。在无监督表示学习中,提取有价值的特征向量可以显著提高异常检测的性能。为此,我们提出了一种新的歧视性特征学习框架与梯度偏好的异常检测。具体而言,首先设计了一种基于梯度偏好的选择器,在空间上存储功能强大的特征点,然后构建特征库,减轻了冗余特征向量的干扰,提高了推理效率。其次,为了克服特征向量的松散性,提出了一种中心约束的判别式特征学习方法,将特征库映射到一个紧凑的子空间上,从而使异常样本与正常样本更容易区分。此外,我们的方法可以很容易地扩展到异常定位。在流行的工业和医疗异常检测数据集上进行的大量实验表明,我们提出的框架在异常检测和定位方面都可以取得有竞争力的结果。更重要的是,我们的方法在Few Shot异常检测方面优于最先进的方法。
2022-04-23 cs.LG
Anomaly Detection in Predictive Maintenance: A New Evaluation Framework for Temporal Unsupervised Anomaly Detection Algorithms
University of Granada(格拉纳达大学);ArcelorMittal Global R&D(安赛乐米塔尔全球研发中心)
异常检测的研究缺乏一个统一的定义,什么代表一个异常的实例。异常本身性质的离散性导致算法设计和实验的多种范式。预测性维护是一种特殊情况,其中异常表示必须防止的故障。相关的时间序列研究,如离群值和新颖性检测或时间序列分类不适用于这一领域的异常概念,因为它们不是以前没有见过的单一点,可能无法精确注释。此外,由于缺乏注释的异常数据,许多基准是从监督的情况下改编的。为了解决这些问题,我们概括的概念,积极和消极的情况下,以间隔能够评估无监督的异常检测算法。我们还保留了不平衡计划的评估,通过建议的前窗ROC,一个概括的ROC曲线的计算时间序列的情况。我们还适应机制,从一个既定的时间序列异常检测基准建议的概括,以奖励早期检测。因此,该提案为不同的设想方案提供了一个灵活的评价框架。为了证明这个定义的有用性,我们包括了一个由ArcelorMittal公司提供的大数据算法与现实世界时间序列问题的案例研究,并将该建议与评估方法进行了比较。
2021-09-02 cs.LG
A Survey on Explainable Anomaly Detection
Leiden Institute of Advanced Computer Science (LIACS), Leiden University(莱顿大学莱顿高级计算机科学研究所)
本文综述可解释异常检测技术,针对异常检测长期重精度、轻解释的问题,系统梳理最新方法并提出分类框架,以辅助研究者和从业者选择合适方案。
2023-07-11 cs.LG
Anomaly detection with semi-supervised classification based on risk estimators
University of Mons(蒙斯大学)
针对一类分类异常检测依赖正常数据假设的局限,提出基于无偏与有偏风险估计器的两种半监督异常检测方法,并给出误差界及实验验证。
2023-09-01 cs.LG
Dive into Time-Series Anomaly Detection: A Decade Review
Inria(法国国家信息与自动化研究所);DI ENS(巴黎高等师范学院数字研究所);PSL(巴黎文理研究大学);CNRS(法国国家科学研究中心);The Ohio State University(俄亥俄州立大学);Université Paris Cité(巴黎西岱大学);IUF(法国大学研究院)
本文综述了近十年时间序列异常检测研究,提出以过程为中心的分类法对现有方法进行系统归类,并通过文献元分析总结该领域的主要发展趋势。
2024-12-29 cs.AI cs.DB cs.LG
ICLAD: In-Context Learning for Unified Tabular Anomaly Detection Across Supervision Regimes
Department of Electrical and Computer Engineering, McGill University, Canada(麦吉尔大学电气与计算机工程系,加拿大);Mila - Quebec Artificial Intelligence Institute, Montreal, Canada(魁北克人工智能研究所,蒙特利尔,加拿大)
ICLAD通过元学习训练合成表格异常检测任务,实现跨数据集和监督模式的统一表格异常检测框架,实验显示在57个数据集上取得最佳性能。
2026-03-19 cs.LG
Conditional anomaly detection methods for patient-management alert systems
University of Pittsburgh, PA(匹兹堡大学)
本文提出基于实例的条件异常检测方法,通过优化距离度量提升异常检测性能,应用于患者异常入院决策和HPF4检测异常识别。
2026-05-11 cs.LG
Anomaly Detection in Graph Structured Data: A Survey
Tennessee Tech University(田纳西理工大学)
本文综述图数据异常检测技术,提出基于假设与技术的新分类法,梳理相关应用、各类方法的改进思路及优缺点,并展望未来研究方向。
2024-05-10 cs.CR cs.LG
Anomaly detection in wide area network mesh using two machine learning anomaly detection algorithms
University of Chicago(芝加哥大学)
异常检测是识别不符合预期行为或与数据集中其他项不相关的项或事件的实践。它以前曾被应用于入侵检测、系统健康监控和信用卡交易中的欺诈检测等领域。在本文中,我们描述了一种新的方法来检测异常行为的网络性能数据,收集的perfSONAR,使用两个机器学习算法:提升决策树(BDT)和简单前馈神经网络。对每种算法的有效性进行了评价和比较。两者都表现出足够的性能和灵敏度。
2018-01-30 cs.LG cs.NI
AGAD: Adversarial Generative Anomaly Detection
NEC Laboratories China(NEC中国研究院)
提出AGAD,一种基于自对比的异常检测范式,通过从正常样本生成上下文对抗信息来生成伪异常数据,在监督和半监督场景下显著提升检测性能,且仅需不超过5%的异常训练数据。
2023-04-09 cs.CV cs.LG
Possibility for Proactive Anomaly Detection
University of California, San Diego(加利福尼亚大学圣迭戈分校);KAIST(韩国科学技术院);Samsung SDS(三星SDS公司);Yonsei University(延世大学)
针对现有时间序列异常检测模型依赖观测值误差导致不切实际的问题,本研究提出结合异常检测专用预测模型与数据驱动模型的主动方法,通过训练数据确定阈值并基于预测值检测异常,经四个基准验证有效性且附源代码。
2025-04-15 cs.AI cs.LG
Understanding the Effect of Bias in Deep Anomaly Detection
University of Chicago(芝加哥大学)
由于标记异常数据的稀缺性,异常检测在机器学习中提出了独特的挑战。最近的工作试图通过使用额外的标记异常样本来增强深度异常检测模型的训练来缓解这些问题。然而,标记的数据通常与目标分布不一致,并向训练模型引入有害的偏差。在本文中,我们的目的是了解一个有偏见的异常集异常检测的效果。具体地说,我们认为异常检测作为一个监督学习任务,其目标是优化召回在给定的误报率。我们正式研究的相对评分偏差的异常检测器,定义为相对于基线异常检测器的性能差异。我们建立了第一个有限样本率来估计深度异常检测的相对评分偏差,并在合成和真实世界数据集上实证验证了我们的理论结果。我们还提供了一个广泛的实证研究如何偏见的训练异常集影响异常评分函数,因此对不同的异常类的检测性能。我们的研究展示了有偏见的异常集可能是有用的或有问题的场景,并为未来的研究提供了一个坚实的基准。
2021-05-16 cs.AI cs.LG
Research and application of Transformer based anomaly detection model: A literature review
Huazhong University of Science and Technology(华中科技大学);School of Cyber Science and Engineering(网络科学与工程学院);School of Artificial Intelligence and Automation(人工智能与自动化学院)
本文综述了基于Transformer的异常检测模型的研究与应用,详细剖析其运行原理、应用场景、数据集与评估指标,并指出关键挑战与未来趋势,为相关研究提供全面技术参考。
2024-02-14 cs.AI cs.LG
Trustworthy Anomaly Detection: A Survey
Utah State University(犹他州立大学);University of Arkansas(阿肯色大学)
异常检测有着广泛的实际应用,如银行欺诈检测和网络入侵检测。在过去的十年中,各种异常检测模型已经被开发出来,这导致在准确检测各种异常方面取得了很大的进展。尽管取得了成功,异常检测模型仍然面临许多限制。最重要的是我们是否可以相信模型的检测结果。近年来,研究界花费了大量的精力来设计可信的机器学习模型,例如开发可信的分类模型。然而,对异常检测任务的关注还远远不够。考虑到许多异常检测任务是涉及人类的改变生活的任务,将某人标记为异常或欺诈者应该非常谨慎。因此,确保以可信赖的方式进行异常检测模型是部署模型以在现实世界中进行自动决策的基本要求。在这个简短的调查中,我们总结了现有的努力,并讨论了开放的问题,值得信赖的异常检测的可解释性,公平性,鲁棒性和隐私保护的角度。
2022-02-15 cs.AI cs.LG
Anomaly Detection Requires Better Representations
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
异常检测旨在识别异常现象,这是科学和工业的中心任务。该任务本质上是无监督的,因为异常在训练期间是意外和未知的。自监督表示学习的最新进展直接推动了异常检测的改进。在这篇立场论文中,我们首先解释了自我监督表示如何在常见的异常检测基准测试中轻松实现最先进的性能。然后,我们认为,解决下一代的异常检测任务需要新的技术和概念的改进表示学习。
2022-10-19 cs.CV cs.LG
Sub-Image Anomaly Detection with Deep Pyramid Correspondences
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
利用深度预训练特征的最近邻(kNN)方法在应用于整个图像时表现出非常强的异常检测性能。kNN方法的局限性是缺乏描述异常位于图像内的位置的分割图。在这项工作中,我们提出了一种新的异常分割方法的基础上对齐的异常图像和一个常数数量的相似的正常图像。我们的方法,语义金字塔异常检测(SPADE)使用基于多分辨率特征金字塔的对应关系。SPADE是实现国家的最先进的无监督的异常检测和定位的性能,而几乎不需要训练时间。
2021-02-03 cs.CV cs.LG
Double-Adversarial Activation Anomaly Detection: Adversarial Autoencoders are Anomaly Generators
Fraunhofer AISEC(弗劳恩霍夫应用与集成安全研究所)
提出DA3D方法,利用对抗自编码器仅从正常数据生成人工异常,将无监督异常检测转化为有监督任务,并以纯数据驱动方式超越现有最先进方法。
2024-01-14 cs.CR cs.LG
Detect by Yourself: Self-Designing Agentic Workflows for Few-Shot Graph Anomaly Detection
CSU(中国科学技术大学);UST(香港大学)
提出SignGAD框架,通过自设计任务条件检测工作流替代固定检测器,结合图编码与检测器选择及受保护重拟合策略,提升少样本图异常检测的适应性与可靠性。
2026-05-26 cs.AI cs.LG
A Review of Machine Learning based Anomaly Detection Techniques
Punjabi University(旁遮普大学)
入侵检测技术是近二十年来兴起的一个研究热点。它主要有两种类型的基础上的入侵,第一个是误用或基于签名的检测和另一个是异常检测。本文讨论了基于机器学习的异常检测技术。
2013-07-27 cs.CR cs.LG
PatchTrAD: A Patch-Based Transformer focusing on Patch-Wise Reconstruction Error for Time Series Anomaly Detection
INSA Rouen(鲁昂国立应用科学学院);Univ Rouen(鲁昂大学);Normandie Univ(诺曼底大学)
本文提出PatchTrAD,一种在重构框架下结合分块与Transformer编码器的时间序列异常检测模型,在多个基准上达到与前沿深度学习模型相当的检测性能,并提升推理效率。
2025-06-10 cs.AI cs.LG
Explainable Contextual Anomaly Detection using Quantile Regression Forests
Leiden University(莱顿大学)
本文提出一种基于 Quantile Regression Forests 的内在可解释上下文异常检测方法,通过建模特征间依赖关系,在准确性与可解释性上优于现有方法。
2023-08-04 cs.AI cs.LG
Anomalib: A Deep Learning Library for Anomaly Detection
Intel(英特尔)
本文介绍了anomalib,一个新的库,用于无监督的异常检测和定位。考虑到可重复性和模块化,这个开源库提供了文献中的算法和一套工具,通过即插即用的方法设计自定义异常检测算法。Anomalib包括最先进的异常检测算法,在基准测试中达到最高性能,并且可以现成使用。此外,该库还提供了用于设计定制算法的组件,这些算法可以针对特定需求进行定制。其他工具,包括实验跟踪器,可视化器和超参数优化器,使设计和实现异常检测模型变得简单。该库还支持OpenVINO模型优化和量化,以实现实时部署。总的来说,anomalib是一个广泛的库,用于设计、实现和部署从数据到边缘的无监督异常检测模型。
2022-02-16 cs.CV cs.LG
CESNET-TimeSeries24: Time Series Dataset for Network Traffic Anomaly Detection and Forecasting
CESNET a.l.e.;Czech Technical University in Prague(布拉格捷克理工大学)
本文提出CESNET-TimeSeries24数据集,基于CESNET3网络中27.5万个活跃IP地址40周的流量构建,旨在填补大规模真实网络数据空白,为基于预测的异常检测方法提供真实评估基准。
2024-09-27 cs.AI cs.LG
Red PANDA: Disambiguating Anomaly Detection by Removing Nuisance Factors
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
异常检测方法努力发现在语义上与规范不同的模式。这个目标是模糊的,因为数据点与规范的属性不同,例如,年龄、种族或性别可能被一些操作者认为是异常的,而其他操作者可能认为该属性无关紧要。打破以往的研究,我们提出了一种新的异常检测方法,允许运营商排除被认为是相关的异常检测的属性。然后,我们的方法学习表示不包含信息的滋扰属性。使用基于密度的方法进行异常评分。重要的是,我们的方法不需要指定与检测异常相关的属性,这在异常检测中通常是不可能的,而只需要忽略属性。一个实证调查验证我们的方法的有效性。
2022-07-07 cs.CV cs.LG
Dependency-based Anomaly Detection: a General Framework and Comprehensive Evaluation
University of South Australia(南澳大学);Hefei University of Technology(合肥工业大学)
该研究提出利用变量依赖关系的通用异常检测框架DepAD,将无监督任务重构为有监督任务以实现定制化,实验验证其两种算法性能优于9种现有方法且可解释性更强。
2024-04-17 cs.AI cs.LG
Power Interpretable Causal ODE Networks: A Unified Model for Explainable Anomaly Detection and Root Cause Analysis in Power Systems
PICODE网络通过统一模型实现电力系统中异常检测与根本原因分析的可解释性,提升模型的可解释性和减少对标注数据的依赖。
2026-02-13 cs.AI cs.LG
ADT: Agent-based Dynamic Thresholding for Anomaly Detection
University of Galway(戈尔韦大学)
本文针对异常检测中阈值设定研究不足的问题,提出基于深度Q网络的智能体动态阈值设定框架ADT,利用自编码器异常评分自适应调整阈值,并在三个真实数据集上验证了其有效性和鲁棒性。
2023-12-03 cs.AI cs.LG
Towards a Unified Framework of Clustering-based Anomaly Detection
Zhejiang University(浙江大学);New York University Shanghai(上海纽约大学)
本文提出一种新型概率混合模型,建立表征学习、聚类与异常检测的理论联系,通过最大化异常感知数据似然协同提升检测性能,并设计受引力分析启发的改进异常分数,在30个数据集上超越17种基线方法。
2024-06-01 cs.AI cs.LG
Sub-clusters of Normal Data for Anomaly Detection
Kyung hee University(庆熙大学)
数据分析中的异常检测是一个有趣但仍然具有挑战性的研究课题。随着数据维复杂性的增加,需要理解其描述中的语义上下文,以便有效地进行异常描述。然而,现有的异常检测方法对高维数据(如ImageNet)表现出有限的性能。现有的研究已经评估了他们的性能低维,清洁和良好分离的数据集,如MNIST和CIFAR-10。本文研究高维复杂正态数据的异常检测问题。我们的观察是,在一般情况下,异常数据是由语义上可解释的功能,这些功能也可以用于定义正常数据的语义子集群。我们假设,如果存在合理的好的特征空间,语义上分离的子集群给定的正常数据,看不见的异常也可以很好地区分在空间中的正常数据。我们建议对给定的正常数据进行语义聚类,并训练分类器来学习最终进行异常检测的判别特征空间。基于我们对MNIST,CIFAR-10和ImageNet进行的仔细和广泛的实验评估,以及正常和异常数据的各种组合,我们表明我们的异常检测方案优于最先进的方法,特别是高维真实世界图像。
2020-11-17 cs.CV cs.LG
Grid HTM: Hierarchical Temporal Memory for Anomaly Detection in Videos
University of Oslo(奥斯陆大学);SimulaMet;OsloMet(奥斯陆城市大学);UiT(特罗姆瑟大学)
视频异常检测系统的兴趣在过去的几年中得到了牵引。当前的方法使用深度学习来执行视频中的异常检测,但是这种方法具有多个问题。对于初学者来说,深度学习通常存在噪声、概念漂移、可解释性和训练数据量等问题。此外,异常检测本身是一项复杂的任务,面临着未知性、异构性和类别不平衡等挑战。因此,使用深度学习的异常检测主要限于生成模型,如生成对抗网络和自动编码器,因为它们的无监督性质,但即使它们也会遇到一般的深度学习问题,并且很难正确训练。在本文中,我们探讨的分层时间记忆(HTM)算法进行异常检测的视频,因为它具有良好的性能,如噪声容忍度和在线学习,打击概念漂移的能力。我们介绍了一个新版本的HTM,即网格HTM,这是一个基于HTM的架构,专门用于异常检测复杂的视频,如监控录像。
2022-05-30 cs.CV cs.LG
Efficient Quantum One-Class Support Vector Machines for Anomaly Detection Using Randomized Measurements and Variable Subsampling
LMU Munich(慕尼黑大学);Fraunhofer AISEC(弗劳恩霍夫应用安全研究所)
针对量子单类支持向量机处理大型数据集时的二次时间复杂度问题,结合量子随机测量核、可变子采样与旋转特征装袋,实现了数据和特征维度的双重线性复杂度,并显著提升了性能与训练测试速度。
2024-07-30 cs.AI cs.LG quant-ph
Benchmarking Suite for Synthetic Aperture Radar Imagery Anomaly Detection (SARIAD) Algorithms
Texas A&M University(德克萨斯农工大学)
针对SAR图像异常检测缺乏开发和基准测试方法的问题,该研究引入SARIAD基准测试套件,结合Anomalib库提供算法、数据集、指标及可视化功能,支持SAR图像异常检测方法的开发与评估。
2025-04-10 cs.AI cs.CV cs.LG
Sparse Network Inversion for Key Instance Detection in Multiple Instance Learning
POSTECH(浦项工科大学);BARO AI
多实例学习(MIL)涉及为一袋实例预测单个标签,在袋级给出正面或负面标签,而无需在训练阶段访问每个实例的标签。由于正包包含正实例和负实例,因此当一组实例被归类为正包时,通常需要检测正实例(关键实例)。基于注意力的深度MIL模型是袋级分类和关键实例检测(KID)的最新进展。然而,如果正面袋中的正面和负面实例不能清楚区分,则基于注意力的深度MIL模型具有有限的KID性能,因为注意力分数偏向于少数正面实例。在本文中,我们提出了一种方法来改善基于注意力的深度MIL模型在KID的任务。其主要思想是使用神经网络反演,找出哪些实例对训练的MIL模型产生的袋级预测做出了贡献。此外,我们将稀疏性约束引入到神经网络反演中,从而得到稀疏网络反演,并采用近似梯度法求解。基于MNIST的图像MIL数据集和两个真实世界的组织病理学数据集上的数值实验验证了我们的方法的有效性,表明KID性能显着提高,同时保持袋级预测的性能。
2020-09-08 cs.LG stat.ML
Vandalism Detection in Wikipedia: a Bag-of-Words Classifier Approach
使用正则化逻辑回归训练基于词袋的概率分类器,以检测英文维基百科中的破坏行为。保序回归用于校准类成员概率。进行学习曲线、可靠性、ROC和成本分析。
2010-01-05 cs.CY cs.IR cs.LG