Unraveling Anomalies in Time: Unsupervised Discovery and Isolation of Anomalous Behavior in Bio-regenerative Life Support System Telemetry
本研究针对南极 EDEN ISS 空间温室遥测数据,利用时间序列聚类对异常检测结果进行分类,评估了识别系统性异常行为的有效性,并证实 MDI 和 DAMP 方法能产生互补结果。
2024-09-26 cs.AI cs.IR cs.LG
Anomaly Detection in Bitcoin Network Using Unsupervised Learning Methods
异常检测问题已经被研究了很长时间。简而言之,异常是不正常或不太可能的事情。在金融网络中,小偷和非法活动往往是反常的。网络成员希望尽快检测到异常,以防止它们损害网络的社区和完整性。许多机器学习技术已经被提出来处理这个问题,一些结果似乎是相当有前途的,但没有明显的优越的方法。在本文中,我们认为异常检测特定的比特币交易网络。我们的目标是检测哪些用户和交易是最可疑的;在这种情况下,异常行为是可疑行为的代理。为此,我们使用三种无监督学习方法,包括k-means聚类,Mahalanobis距离和无监督支持向量机(SVM)在比特币交易网络生成的两个图上:一个图以用户为节点,另一个图以交易为节点。
2017-02-25 cs.CR cs.LG
A systematic literature review of unsupervised learning algorithms for anomalous traffic detection based on flows
University of León(莱昂大学)
本文系统回顾了基于流量的无监督学习算法在异常检测中的应用,发现自编码器是主流方法,同时分析了多个数据集的使用情况。
2025-03-11 cs.CR cs.LG cs.NI
Lossy Compression for Robust Unsupervised Time-Series Anomaly Detection
Advanced Center for Electrical and Electronic Engineering(先进电子电气工程中心);University of Chile(智利大学)
提出了一种新的用于异常检测的有损因果时间卷积神经网络自编码器。我们的框架使用率失真损失和熵瓶颈来学习任务的压缩潜在表示。使用率失真损失的主要思想是引入表示的灵活性,忽略或变得鲁棒的不太可能的事件与独特的模式,如异常。这些异常表现为独特的失真特征,可以在测试条件下准确检测。这种新的架构允许我们训练一个完全无监督的模型,该模型在从失真分数检测异常时具有很高的准确性,尽管是用一些未标记的异常数据进行训练的。这种设置与许多最先进的无监督方法形成鲜明对比,这些方法要求模型仅在“正常数据”上进行训练。我们认为,这部分违反了异常检测的无监督训练的概念,因为模型使用了一个明智的决策,从异常中选择正常的训练。此外,有证据表明,它也影响模型的泛化能力。我们证明了,在只对正常数据进行训练的范例中取得成功的模型在异常数据注入训练时无法保持稳健。相比之下,我们的基于压缩的方法收敛到一个强大的表示,容忍一些异常失真。通过使用率失真损失的模型实现的鲁棒表示可以用于更现实的无监督异常检测方案中。
2022-12-05 cs.IT cs.LG math.IT
Diminishing Empirical Risk Minimization for Unsupervised Anomaly Detection
Australian Artificial Intelligence Institute, University of Technology Sydney(悉尼科技大学澳大利亚人工智能研究所);Centre for Medical Research, The University of Western Australia(西澳大学医学研究中心)
无监督异常检测在实际应用中是一项具有挑战性的任务。近年来,利用深度神经网络(DNN)检测异常的趋势越来越明显。然而,大多数流行的深度AD检测器不能保护网络免受异常数据带来的学习污染信息的影响,导致检测性能不理想和过拟合问题。在这项工作中,我们确定了阻碍大多数现有的基于DNN的异常检测方法执行的一个原因是经验风险最小化(ERM)的广泛采用。ERM假设算法在未知分布上的性能可以通过对已知训练集上的损失进行平均来近似。因此,这种平均方案忽略了正常情况和异常情况之间的区别。为了突破ERM的局限性,我们提出了一个新的递减经验风险最小化(DERM)框架。具体来说,DERM通过精心设计的聚合策略自适应地调整个人损失的影响。理论上,我们提出的DERM可以直接修改优化过程中每个个体损失的梯度贡献,以抑制离群值的影响,从而产生鲁棒的异常检测器。从经验上讲,DERM在由18个数据集组成的无监督AD基准测试中表现优于最先进的技术。
2022-05-29 cs.LG
uTRAND: Unsupervised Anomaly Detection in Traffic Trajectories
Eindhoven University of Technology(埃因霍温理工大学)
uTRAND通过将异常轨迹预测从像素空间转移到语义拓扑域,实现无监督且可解释的交通异常检测,并在真实数据集上优于现有方法。
2024-04-19 cs.AI cs.CV cs.LG
SmoothGNN: Smoothing-aware GNN for Unsupervised Node Anomaly Detection
The Chinese University of Hong Kong(香港中文大学);City University of Hong Kong(香港城市大学)
针对图学习平滑问题,提出无监督节点异常检测框架SmoothGNN,利用个体和邻域平滑模式设计学习组件、谱图神经网络与异常度量,在9个数据集上AUC平均提升14.66%,运行加速75倍。
2024-10-17 cs.LG
Unsupervised Anomaly Detection for Tabular Data Using Noise Evaluation
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出一种通过评估数据噪声量进行表格数据无监督异常检测的新方法,利用干净与噪声数据训练神经网络,提供理论保证,在60多个数据集上平均AUC达92.27%,优于12种基线方法且更易实现。
2024-12-16 cs.AI cs.LG
Likelihood-Based Unsupervised Anomaly Detection in CMS Dijet Events
Mohan Babu University(莫汉·巴布大学);VIT-AP University(VIT-AP大学)
本文利用神经样条流密度估计对CMS双喷注事件进行无监督异常检测,无需信号假设,识别出与标准模型本底显著偏离的异常事件,为LHC新物理搜索提供模型无关的探索工具。
2026-09-09 cs.LG hep-ex
Estimating the Contamination Factor's Distribution in Unsupervised Anomaly Detection
KU Leuven(鲁汶大学);University of Stuttgart(斯图加特大学);University of Helsinki(赫尔辛基大学)
本文从贝叶斯视角提出一种估计无监督异常检测中污染因子后验分布的方法,利用多个检测器输出和混合公式,在22个数据集上验证了其校准性和性能提升。
2023-10-17 cs.LG stat.ML
Anomalous Sound Detection as a Simple Binary Classification Problem with Careful Selection of Proxy Outlier Examples
Johannes Kepler University(约翰内斯·开普勒大学);Software Competence Center Hagenberg GmbH(哈根贝格软件能力中心有限公司)
无监督的异常声音检测涉及识别偏离定义为“正常”的声音,而不明确指定异常的类型。一个重要的障碍是异常值的多样性和稀有性,这通常会阻止我们收集一组有代表性的异常声音。因此,大多数异常检测方法使用无监督而不是有监督的机器学习方法。尽管如此,我们将表明,异常声音检测可以有效地框架作为一个监督分类问题,如果一组异常样本被仔细替换我们所谓的代理离群值。代理异常值的候选者大量可用,因为它们可能包括既不正常也不异常的声音的所有录音。我们对2020年DCASE挑战赛的机器状态监测数据集进行了实验,发现了具有匹配记录条件和与目标声音高度相似性的代理异常值,这些异常值特别具有信息性。如果没有具有相似声音和匹配记录条件的数据可用,则优选在这两个维度上具有较大多样性的数据集。我们的模型基于有代理离群值的监督训练,在DCASE2020挑战赛的任务2中排名第三。
2020-11-05 cs.LG cs.SD eess.AS
Towards Multiple Missing Values-resistant Unsupervised Graph Anomaly Detection
针对不完整图上无监督异常检测存在的插补偏差与跨视图误差干扰问题,提出M²V-UGAD框架,通过双路径独立重构、潜在空间正则化与困难负样本采样,在多缺失率场景下取得更优检测效果。
2025-11-13 cs.LG
Quorum: Zero-Training Unsupervised Anomaly Detection using Quantum Autoencoders
Rice University(莱斯大学);Stanford University(斯坦福大学)
针对量子机器学习模型训练困难及异常检测需无监督方法的问题,提出首个无需训练的无监督量子异常检测框架Quorum,利用量子计算解决多行业关键异常检测挑战。
2025-04-17 cs.ET cs.LG
Unsupervised Anomaly Detection via Nonlinear Manifold Learning
University of California, Irvine(加州大学欧文分校)
针对无监督场景下现有异常检测方法性能不足的问题,提出基于非线性流形学习的鲁棒可解释检测方法,采用LMGP或AE学习低维潜在表示,经多组实验验证性能优于现有技术。
2023-06-15 cs.LG stat.ML
Unsupervised anomaly detection in large-scale estuarine acoustic telemetry data
Rhodes University(罗德斯大学);South African Institute for Aquatic Biodiversity(南非水生生物多样性研究所)
本研究针对南非布里德河口超过三百万条声学遥测数据,开发无监督自动异常检测分类器,提出阈值寻找算法辅助的神经网络自编码器(NN-AE),实现高召回率且无误报正常,显著优于其他模型。
2025-02-03 cs.LG
Coincident Learning for Unsupervised Anomaly Detection
Stanford University(斯坦福大学);SLAC National Laboratory(SLAC国家实验室)
本文提出CoAD方法,利用特征空间不同切片间的巧合行为,通过无监督指标$\hat{F}_β$训练异常检测算法,适用于多模态任务,并在合成、MNIST及两个真实数据集上验证了有效性。
2023-09-05 cs.LG
Learning to Detect Anomalous Wireless Links in IoT Networks
Jožef Stefan Institute(约瑟夫·斯特凡研究所);Jožef Stefan International Postgraduate School(约瑟夫·斯特凡国际研究生院);Bitlis Eren University(比特利斯·埃伦大学);University of Ljubljana(卢布尔雅那大学)
经过数十年的研究,物联网(IoT)终于渗透到现实生活中,并有助于提高基础设施和流程的效率以及我们的健康。随着大量物联网设备的部署,它们自然会产生巨大的运营成本,以确保预期的运营。为了有效地处理大规模物联网网络中的此类预期操作,自动检测故障,即异常检测,成为一项关键但具有挑战性的任务。在本文中,受现实世界实验性物联网部署的启发,我们介绍了在链路层识别的四种类型的无线网络异常。我们研究的性能阈值和机器学习(ML)为基础的分类器自动检测这些异常。我们检查了三种有监督和三种无监督ML技术在非编码和编码(自动编码器)特征表示上的相对性能。我们的研究结果表明,i)选定的监督方法能够检测F1分数高于0.98的异常,而无监督方法也能够检测F1分数平均为0.90的所述异常,以及ii)OC-SVM优于所有其他无监督ML方法,对于SuddenD,F1分数为0.99,对于SuddenR,F1分数为0.95,对于InstaD,F1分数为0.93,对于SlowD,F1分数为0.95。
2020-11-23 cs.LG cs.NI eess.SP
Learning Representation for Anomaly Detection of Vehicle Trajectories
Northwestern University(西北大学);University of California, Irvine(加州大学欧文分校)
根据周围车辆的历史轨迹预测其未来轨迹是自动驾驶中的一项关键任务。然而,当小的精心制作的扰动被引入到这些历史轨迹中时,所得到的异常(或对抗性)轨迹可以显著地误导自我车辆的未来轨迹预测模块,这可能导致不安全的规划甚至致命的事故。因此,它是非常重要的,以检测周围车辆的异常轨迹的系统安全,但很少有工作已经解决了这个问题。在这项工作中,我们提出了两种新的方法来学习有效和高效的表示在线异常检测的车辆轨迹。与一般的时间序列异常检测不同,异常车辆轨迹检测处理的是道路上更丰富的上下文和异常轨迹本身更少的可观察模式。为了解决这些挑战,我们的方法利用对比学习技术和轨迹语义来捕获驾驶场景下的模式,分别在监督和无监督设置下进行有效的异常检测。我们进行了大量的实验,以证明我们的监督方法的基础上对比学习和无监督方法的基础上重建与语义潜在空间可以显着提高异常轨迹检测的性能,在其相应的设置在各种基线方法。我们还展示了我们的方法的泛化能力,以检测看不见的异常模式。
2023-03-09 cs.LG
GCTAM: Global and Contextual Truncated Affinity Combined Maximization Model For Unsupervised Graph Anomaly Detection
School of Software, Yunnan University, Kunming, China(云南大学软件学院,昆明,中国)
本文提出GCTAM模型,结合上下文和全局亲和力截断,提升无监督图异常检测效果。
2026-03-02 cs.GR cs.LG cs.SI
Anomaly Detection in Predictive Maintenance: A New Evaluation Framework for Temporal Unsupervised Anomaly Detection Algorithms
University of Granada(格拉纳达大学);ArcelorMittal Global R&D(安赛乐米塔尔全球研发中心)
异常检测的研究缺乏一个统一的定义,什么代表一个异常的实例。异常本身性质的离散性导致算法设计和实验的多种范式。预测性维护是一种特殊情况,其中异常表示必须防止的故障。相关的时间序列研究,如离群值和新颖性检测或时间序列分类不适用于这一领域的异常概念,因为它们不是以前没有见过的单一点,可能无法精确注释。此外,由于缺乏注释的异常数据,许多基准是从监督的情况下改编的。为了解决这些问题,我们概括的概念,积极和消极的情况下,以间隔能够评估无监督的异常检测算法。我们还保留了不平衡计划的评估,通过建议的前窗ROC,一个概括的ROC曲线的计算时间序列的情况。我们还适应机制,从一个既定的时间序列异常检测基准建议的概括,以奖励早期检测。因此,该提案为不同的设想方案提供了一个灵活的评价框架。为了证明这个定义的有用性,我们包括了一个由ArcelorMittal公司提供的大数据算法与现实世界时间序列问题的案例研究,并将该建议与评估方法进行了比较。
2021-09-02 cs.LG
Post-Hoc Calibrated Anomaly Detection
RHEINLAND-PFÄLZISCHE TECHNISCHE UNIVERSITÄT(莱茵兰-普法尔茨技术大学)
本研究探索事后校准在深度无监督异常检测中的应用,发现Platt缩放和Beta校准结合梯度扰动可提升性能,且异常暴露仅对初始训练更有效。
2025-03-25 cs.LG
Few-Shot Adaptation for Anomalous Sound Detection at Low False-Positive Rate
University of Genoa(热那亚大学);TU Graz(格拉茨工业大学);voestalpine Stahl GmbH(奥钢联钢铁公司)
针对工业机械异常声音检测的高误报率问题,提出两步式方法,结合正则化无监督模型与少样本适配策略,显著提升了AUPR和低误报率区域的检测性能。
2026-10-15 cs.LG cs.SD eess.AS
Anomaly Detection in Soil Heavy Metal Contamination Using Unsupervised Learning for Environmental Risk Assessment
Institute of Environment and Sanitation Studies(环境与卫生研究所);Department of Mathematics(数学系);Department of Actuarial Science(精算科学系)
本文利用无监督学习方法检测土壤中重金属污染模式,识别异常样本,通过HI和ILCR指数评估健康风险,发现六个稳健异常点,揭示不同类型的污染特征,为环境管理提供精准依据。
2026-04-29 cs.AI cs.LG physics.data-an
Deep Dense and Convolutional Autoencoders for Unsupervised Anomaly Detection in Machine Condition Sounds
CCG ZGDV Institute(CCG ZGDV研究所);Bosch Car Multimedia, Portugal(博世汽车多媒体(葡萄牙)公司)
本技术报告描述了为DCASE 2020挑战任务2开发的两种方法。挑战涉及到无监督学习来检测异常声音,因此在训练过程中只有正常的机器工作条件样本可用。这两种方法涉及深度自动编码器,基于使用melspectogram处理的声音特征的密集和卷积架构。使用挑战的六种机器类型数据集进行实验。总体而言,所提出的密集和卷积AE实现了具有竞争力的结果,优于基线挑战方法。
2020-06-19 cs.LG cs.SD eess.AS
A Coarse-to-Fine Pseudo-Labeling (C2FPL) Framework for Unsupervised Video Anomaly Detection
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学)
本文提出由粗到细伪标签(C2FPL)框架,通过分层分裂聚类和统计假设检验生成片段级伪标签,用于训练无监督视频异常检测器,在UCF-Crime和XD-Violence上优于现有OCC和US方法并接近WS方法性能。
2023-10-26 cs.CV cs.LG
Unsupervised anomaly detection in MeV ultrafast electron diffraction
本文提出一种无监督方法,通过卷积自编码器计算衍射图案的重建均方误差,用于检测和去除异常图案,实验表明该方法在低误报率下有效。
2026-03-13 cs.LG physics.ins-det
AnoViT: Unsupervised Anomaly Detection and Localization with Vision Transformer-based Encoder-Decoder
Korea University(高丽大学)
图像异常检测问题的目的是确定图像是否异常,并检测异常区域。这些方法在制造业、医疗保健、智能信息等各个领域得到了积极应用。编码器-解码器结构已经被广泛用于异常检测领域,因为它们可以在无监督学习环境中容易地学习正常模式,并且通过指示输入图像和重构图像之间的差异的重构误差来计算用于识别异常的分数。因此,目前的图像异常检测方法普遍采用卷积编解码器,通过图像的局部特征提取正常信息。然而,它们的局限性在于,由于使用固定大小的滤波器的卷积运算的特性,在构造正常表示时只能利用图像的局部特征。因此,我们提出了一个基于视觉Transformer的编码器-解码器模型,命名为AnoViT,旨在反映正常的信息,通过额外的学习图像块之间的全局关系,这是能够图像异常检测和定位。所提出的方法构造了一个特征图,保持现有的位置信息的个人补丁,通过使用嵌入的所有补丁通过多个自我注意层。所提出的AnoViT模型在三个基准数据集上的表现优于基于卷积的模型。在MVTecAD中,这是异常定位的代表性基准数据集,与基线相比,15个类别中有10个类别的结果有所改善。此外,所提出的方法表现出良好的性能,无论类和类型的异常区域定位结果进行定性评价。
2022-03-21 cs.CV cs.LG
Ymir: A Supervised Ensemble Framework for Multivariate Time Series Anomaly Detection
本文提出了一个多变量时间序列异常检测框架Ymir,它利用集成学习和监督学习技术有效地学习和适应真实世界系统应用中的异常。Ymir通过集成学习方法集成了目前广泛使用的几种无监督异常检测模型,从而可以在无监督场景下提供鲁棒的前端异常检测结果。在有监督的环境中,领域专家和系统用户讨论并提供训练数据的标签(异常或不异常),这反映了他们对特定系统的异常检测标准。Ymir使用上述无监督方法从原始多变量时间序列数据中提取丰富而有用的特征表示,然后将特征和标签与监督分类器相结合来进行异常检测。我们在来自大型监测系统的内部多变量时间序列数据集上评估了Ymir,并获得了良好的异常检测性能。
2021-12-09 cs.LG
ID-Conditioned Auto-Encoder for Unsupervised Anomaly Detection
Samsung R\&D Institute Poland Artificial Intelligence Warsaw, Poland
在本文中,我们介绍了ID条件自动编码器的无监督异常检测。我们的方法是一个适应类条件自动编码器(C2AE)设计的开集识别。假设非异常样本由不同的ID组成,我们应用条件自动编码器,这些ID提供标签。相对于C2AE,我们的方法省略了分类子任务,并将学习过程减少到单次运行。我们通过固定一个常数向量作为不匹配标签的目标来进一步简化学习过程。我们将我们的方法应用于机器状态监测的声音的背景下。我们在DCASE 2020挑战任务2的ToyADMOS和MIMII数据集上评估了我们的方法。我们进行了一项消融研究,以表明我们的方法的哪些步骤对结果影响最大。
2020-09-08 cs.LG eess.AS
DeNoise: Learning Robust Graph Representations for Unsupervised Graph-Level Anomaly Detection
School of Computer, Electronics and Information, Guangxi University(广西大学计算机电子信息学院);School of Computer Science and Technology, Hainan University(海南大学计算机科学与技术学院);Guangxi Key Laboratory of Multi-Source Information Mining & Security, Guangxi Normal University(广西多源信息挖掘与安全重点实验室)
针对无监督图级异常检测中训练数据易受异常图污染的问题,提出DeNoise框架,通过对抗学习、锚点对齐去噪和对比学习学习抗噪声图表示,在多个数据集上显著优于现有方法。
2026-10-06 cs.AI cs.LG
Unsupervised anomaly detection in digital pathology using GANs
Linköping University(林雪平大学);Sectra AB(Sectra AB公司)
机器学习(ML)算法针对训练数据所表示的分布进行优化。对于离群数据,它们通常以相同的置信度提供预测,即使这些预测不应该被信任。为了在临床实践中部署基于ML的数字病理学解决方案,用于检测异常数据的有效方法对于避免异常情况下的错误决策至关重要。提出了一种基于生成对抗网络(GANs)的组织病理学数据异常检测的无监督学习方法。与医学成像中使用的现有基于GAN的方法相比,所提出的方法显着提高了病理数据的性能。我们的研究结果表明,组织病理学图像比以前的方法所针对的数据要复杂得多。这种复杂性不仅需要更先进的GAN架构,还需要适当的异常度量来捕获重建图像的质量。
2021-03-16 cs.CV cs.LG eess.IV
AIOps-Driven Enhancement of Log Anomaly Detection in Unsupervised Scenarios
BITS Pilani(比尔拉科学技术学院皮拉尼校区);Sardar Patel Institute of Technology(萨达尔·帕特尔技术学院)
本研究针对AIOps领域无监督日志异常检测研究不足的问题,提出融合PCA与ANN并搭配自定义损失函数的混合框架,可处理原始日志,在多数据集上实现伪阳性率显著降低,推动AIOps日志检测技术发展。
2023-11-05 cs.AI cs.IR cs.IT
NK-GAD: Neighbor Knowledge-Enhanced Unsupervised Graph Anomaly Detection
College of Intelligence and Computing, Tianjin University, Tianjin, China(智能与计算学院,天津大学,天津,中国);School of New Media and Communication, Tianjin University, Tianjin, China(新媒体与传播学院,天津大学,天津,中国)
针对图数据中属性异质性问题,提出NK-GAD框架,通过联合编码器、邻居重建模块和双解码器提升异常检测性能,实验显示在七大数据集上平均AUC提升3.29%。
2026-04-17 cs.LG
Class Label-aware Graph Anomaly Detection
KAIST GSDS(韩国科学技术院数据科学研究生院);KAIST ISysE(韩国科学技术院工业与系统工程系);KAIST ISysE & AI(韩国科学技术院工业与系统工程系及人工智能学院)
本研究针对现有无监督图异常检测方法未利用类别标签的问题,提出CLAD框架,借助少量带标签节点提升检测性能,实验证明其在10个数据集上效果优于现有方法,且无需真实类别标签。
2023-08-22 cs.LG
The Analysis of Online Event Streams: Predicting the Next Activity for Anomaly Detection
Utrecht University(乌得勒支大学)
流程挖掘中的异常检测主要关注流程执行中的异常情况或事件。由此产生的诊断用于提供防止欺诈行为的措施,以及获得用于改进流程合规性和安全性的建议。大多数现有的技术集中在检测离线设置中的异常情况。然而,为了及时识别潜在的异常并立即采取对策,有必要实时在线检测事件级异常。在本文中,我们提出了使用下一个活动预测方法来解决在线事件异常检测问题。更具体地说,我们研究了使用ML模型(如RF和XGBoost)和深度模型(如LSTM)来预测下一个活动的概率,并将预测的事件视为不太可能的异常。我们在在线环境中将这些预测异常检测方法与四种经典的无监督异常检测方法(例如隔离森林和LOF)进行了比较。我们的评估表明,使用ML模型的方法往往优于使用深度模型的方法,而这两种方法在检测异常事件方面都优于经典的无监督方法。
2022-03-17 cs.DB cs.LG
Self-supervise, Refine, Repeat: Improving Unsupervised Anomaly Detection
Google Cloud AI(谷歌云人工智能)
异常检测(AD)将异常与正常数据分离,在从安全到医疗保健的各个领域都有许多应用。虽然大多数以前的工作被证明是有效的情况下,完全或部分标记的数据,该设置是在实践中不太常见,由于标记是特别繁琐的这项任务。在本文中,我们专注于完全无监督的AD,其中包含正常和异常样本的整个训练数据集是未标记的。为了有效地解决这个问题,我们建议使用数据细化过程来提高在自监督表示上训练的一类分类的鲁棒性。我们提出的数据细化方法是基于一类分类器(OCC),其中每一个训练的训练数据的不相交的子集的合奏。随着数据细化的改进,通过自监督学习对细化数据学习的表示会迭代更新。我们展示了我们的方法在各种无监督的AD任务与图像和表格数据。在CIFAR-10图像数据上的异常率为10%/甲状腺表格数据上的异常率为2.5%的情况下,所提出的方法以6.3 AUC和12.5平均精度/ 22.9 F1分数优于最先进的一类分类器。
2022-08-05 cs.LG
AD-MERCS: Modeling Normality and Abnormality in Unsupervised Anomaly Detection
KU Leuven(鲁汶大学);Leuven.AI - KU Leuven Institute for AI(鲁汶AI——鲁汶大学人工智能研究所)
本文提出无监督异常检测方法 AD-MERCS,通过同时识别实例空间中正常行为的模式子空间与表征异常偏离的条件,实现对正常与异常的双重建模,在多种异常类型上表现优异并提供可解释性。
2023-05-22 cs.LG
An Expert Ensemble for Detecting Anomalous Scenes, Interactions, and Behaviors in Autonomous Driving
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对自动驾驶道路异常检测,提出场景、交互、行为三个无监督专家,并用卡尔曼滤波集成,在大型数据集上优于现有方法。
2025-02-23 cs.AI cs.CV cs.LG
Enabling Open-World Specification Mining via Unsupervised Learning
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Microsoft Research(微软研究院);GrammaTech, Inc.(GrammaTech公司)
许多编程任务需要同时使用特定于域的代码和完善的模式(例如与文件IO有关的例程)。几个小模式结合在一起,创造出复杂的交互。这种复合效应,与特定领域的特质混合,为全自动规范推理创造了一个具有挑战性的环境。在这种环境中挖掘规范,没有规则模板的帮助,用户导向的反馈,或预定义的API表面,是一个重大的挑战。我们称之为开放世界规范挖掘。在本文中,我们提出了一个框架,挖掘规范和使用模式在开放世界的设置。我们将这个框架设计为与矿机无关,而是专注于解决复杂和嘈杂的API交互。为了评估我们的框架,我们引入了从五个开源项目中提取的71个集群的基准。使用这个数据集,我们表明,有趣的集群可以恢复,在一个完全自动的方式,利用无监督学习的形式词嵌入。一旦恢复集群,开放世界规范挖掘的挑战就会简化,并且可以应用任何基于踪迹的挖掘技术。此外,我们提供了一个全面的评估三个词向量学习器,以展示子词信息的嵌入在软件工程领域学习的价值。
2019-04-27 cs.LG cs.SE
Fast and Accurate Anomaly Detection in Time Series
University of Salento(萨勒诺大学)
提出一种基于Haar离散小波和t检验的无监督时间序列异常检测算法,在343个数据集上超越现有无监督和自监督方法。
2026-07-03 cs.LG
TaskBridge: Bridging Unsupervised Tabular Anomaly Detection and In-Context Learning via Virtual Tasks
Seoul National University(首尔大学);KAIST(韩国科学技术院);Nums AI Inc.(Nums AI 公司)
TaskBridge通过构建虚拟监督任务,将无监督表格异常检测重构为上下文学习,无需异常预训练,在790个数据集上超越30个基线。
2026-09-30 cs.LG
Anomalous Sound Detection Based on Machine Activity Detection
Hitachi, Ltd.(日立有限公司)
我们开发了一种用于机器状态监测的无监督异常声音检测方法,该方法利用辅助任务-检测目标机器何时处于活动状态。首先,我们训练一个模型,该模型通过使用带有机器活动标签的正常数据来检测机器活动,然后如果我们在推理阶段可以访问地面实况活动标签,则使用活动检测错误作为给定声音片段的异常分数。如果这些标签不可用,则通过对由活动检测模型获得的嵌入向量进行离群值检测来计算异常分数。解决这个辅助任务使模型能够学习目标机器声音和类似背景噪声之间的差异,这使得识别目标声音中的小偏差成为可能。实验结果表明,该方法通过集成的方式互补地提高了传统方法的异常检测性能。
2022-04-15 cs.LG cs.SD eess.AS
G-CMP: Graph-enhanced Contextual Matrix Profile for unsupervised anomaly detection in sensor-based remote health monitoring
University of Surrey(萨里大学)
基于传感器的远程健康监测用于工业、城市和医疗保健环境,以监测设备的持续运行和人体健康。一个重要的目标是在发现异常事件或不良健康状况时及早干预。在野外,这些异常检测方法受到噪声、标签稀缺性、高维性、可解释性和操作环境的广泛变化的挑战。上下文矩阵配置文件(CMP)是矩阵配置文件(MP)的可配置二维版本,它使用时间序列的所有连续性的距离矩阵来发现模式和异常。CMP被证明是提高MP和其他SOTA方法在检测,可视化和解释真正的异常在嘈杂的现实世界中的数据从不同的域的有效性。它擅长缩小和识别可配置时间尺度的时间模式。然而,CMP不解决跨传感器信息,并且不能缩放到高维数据。我们提出了一种新的,自我监督的基于图的时间异常检测方法,工作在从CMP距离矩阵生成的上下文图。学习的图嵌入对时间上下文的异常性质进行编码。此外,我们评估其他图离群算法相同的任务。假定我们的流水线是模块化的,则图构造、图嵌入的生成和模式识别逻辑都可以基于特定的模式检测应用来选择。我们验证了基于图的异常检测的有效性,并将其与CMP和3种最先进的方法在两个具有不同异常的真实医疗数据集上进行了比较。我们提出的方法表现出更好的召回率,警报率和泛化能力。
2022-11-29 cs.AI cs.LG
Online-compatible Unsupervised Non-resonant Anomaly Detection
National Energy Research Scientific Computing Center, Berkeley Lab(伯克利实验室国家能源研究科学计算中心);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);Berkeley Institute for Data Science, University of California, Berkeley(加州大学伯克利分校伯克利数据科学研究所);Rutgers University(罗格斯大学)
有一个异常检测方法,可以扩大在模型不可知的方式寻找新的粒子的需求不断增长。大多数新方法的提案都专门关注信号灵敏度。然而,仅仅选择异常事件是不够的,还必须有一种策略来为所选事件提供背景。我们提出了第一个完整的策略,包括信号灵敏度和数据驱动的背景估计方法的非共振异常的无监督检测。我们的技术是由两个经过严格训练的自动编码器构建的,它们被迫彼此去相关。该方法可以离线部署用于非共振异常检测,也是第一个完整的在线兼容的异常检测策略。我们表明,我们的方法在为ADC 2021数据挑战准备的各种信号上实现了出色的性能。
2021-11-11 cs.LG hep-ex hep-ph
An Iterative Method for Unsupervised Robust Anomaly Detection Under Data Contamination
KAIST(韩国科学技术院);King’s College London(伦敦国王学院);POSTECH(浦项科技大学);Yonsei University(延世大学);Harvard University(哈佛大学)
本文提出一种模型无关且对超参数不敏感的迭代学习框架,通过样本级正常性权重减少数据污染对无监督异常检测的影响,并在多个数据集上验证其鲁棒性提升。
2023-09-18 cs.LG
Self-Discriminative Modeling for Anomalous Graph Detection
Institute of Data Science(数据科学研究所);National University of Singapore(新加坡国立大学);Shenzhen Research Institute of Big Data(深圳大数据研究院);School of Data Science(数据科学学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出一种仅用正常图训练的自我判别建模框架,通过联合生成伪异常图并学习判别器来检测异常图,在多个数据集上显著提升AUC,且无监督性能优于有监督方法。
2023-10-10 cs.AI cs.LG
Description and Discussion on DCASE2020 Challenge Task2: Unsupervised Anomalous Sound Detection for Machine Condition Monitoring
NTT Corporation(NTT公司);Hitach, Ltd.(日立有限公司);Doshisha University(同志社大学)
在本文中,我们介绍了任务描述,并讨论了DCASE 2020挑战任务2的结果:机器状态监测的异常声音的无监督检测。异常声音检测(ASD)的目的是识别目标机器发出的声音是正常还是异常。该任务的主要挑战是在仅提供正常声音样本作为训练数据的条件下检测未知的异常声音。我们设计了这个挑战作为ASD研究的第一个基准,其中包括一个大规模的数据集,评估指标和一个简单的基线系统。我们收到了来自40个团队的117份提交,由于这一挑战,已经开发了几种新方法。在分析评价结果的基础上,讨论了两种新的评价方法及其存在的问题。
2020-08-08 cs.LG cs.SD eess.AS
A Comparison of Supervised and Unsupervised Deep Learning Methods for Anomaly Detection in Images
CentraleSupélec(巴黎中央理工-高等电力学院)
图像中的异常检测对于所有行业的许多应用都起着重要作用,例如医疗保健中的疾病诊断或制造业中的质量保证。当在单调重复的时间段上延长时,对图像的手动检查是非常耗时的,并且可能导致异常被忽略。人工神经网络已经证明自己在简单重复的任务上非常成功,在某些情况下甚至优于人类。因此,在本文中,我们研究了不同的深度学习方法,包括监督和无监督学习,用于应用于质量保证用例的异常检测。我们利用MVTec异常数据集,并开发了三种不同的模型,一个CNN的监督异常检测,KD-CAE的自动编码器异常检测,NI-CAE的噪声引起的异常检测和DCGAN生成重建图像。通过实验,我们发现KD-CAE在异常数据集上的表现优于CNN和NI-CAE,其中NI-CAE在晶体管数据集上的表现最好。我们还实现了一个DCGAN来创建新的训练数据,但由于计算限制和缺乏对Ano GAN机制的外推,我们将自己限制为仅生成基于GAN的图像。我们的结论是,无监督方法对于图像中的异常检测更强大,特别是在只有少量异常数据可用或数据未标记的环境中。
2021-07-20 cs.CV cs.LG eess.IV
Description and Discussion on DCASE 2021 Challenge Task 2: Unsupervised Anomalous Sound Detection for Machine Condition Monitoring under Domain Shifted Conditions
Hitachi, Ltd.(日立制作所);Doshisha University(同志社大学);Google(谷歌);NTT Corporation(日本电报电话公司)
我们介绍了DCASE 2021挑战任务2的任务描述和结果讨论。2020年,我们组织了一项无监督的异常声音检测(ASD)任务,在没有异常训练数据的情况下识别给定声音是正常还是异常。在2021年,我们组织了一个在领域转移条件下的高级无监督ASD任务,重点关注ASD系统实际使用中不可避免的问题。该任务的主要挑战是检测未知的异常声音,其中训练样本和测试样本的声学特性不同,即,域转移由于季节、制造产品和/或环境噪声的变化,该问题经常发生。我们收到了来自26个团队的75份参赛作品,在这次挑战中开发了几种新颖的方法。在对评估结果进行分析的基础上,我们发现TOP-5获胜团队采用了两种类型的显着方法:1)基于“离群点检测”(OE)的检测器和基于“内点建模”(IM)的检测器的集成方法,以及2)基于IM的机器识别任务中学习的特征检测方法。
2021-09-27 cs.LG cs.SD eess.AS
Challenges for Unsupervised Anomaly Detection in Particle Physics
Harvard University(哈佛大学);The NSF AI Institute for Artificial Intelligence and Fundamental Interactions(美国国家科学基金会人工智能与基础相互作用人工智能研究所)
异常检测依赖于设计分数来确定特定事件是否不具有给定背景分布的特征。定义分数的一种方法是使用自动编码器,它依赖于重建某些类型的数据(背景)而不是其他类型的数据(信号)的能力。在本文中,我们研究了变分自编码器相关的一些挑战,如超参数和度量的依赖性,在QCD背景下的异常信号(顶部和$W$)喷流的背景下。我们发现,超参数的选择强烈影响网络的性能,一个信号的最佳参数是非最佳的另一个。在探索网络的过程中,我们发现了使用均方误差训练的变分自动编码器的潜在空间与数据集内的最佳传输距离之间的联系。然后,我们表明,在背景数据集中的代表性事件的最佳传输距离可以直接用于异常检测,与自动编码器的性能相当。无论是使用自动编码器还是最佳传输距离进行异常检测,我们发现最能代表背景的选择不一定是最适合信号识别的。无监督异常检测的这些挑战支持了对半监督或替代方法的额外探索。
2021-10-13 cs.LG hep-ex hep-ph
Anomalous Sound Detection using unsupervised and semi-supervised autoencoders and gammatone audio representation
Visualfy(维苏阿尔公司)
异常音检测是当前机器听力领域的热门课题之一。无监督检测由于其在许多领域的直接适用性而引起了人们的极大兴趣。例如,在工业过程中,机器故障或损坏的早期检测可能意味着工业过程效率的巨大节省和提高。这个问题可以通过无监督的ASD解决方案来解决,因为工业机器不会仅仅因为在训练阶段具有此音频数据而损坏。本文提出了一种基于卷积自编码器(无监督和半监督)和基于Gammatone的音频表示的新框架。通过这些架构获得的结果大大超过了作为基线呈现的结果。
2020-06-27 cs.LG cs.SD eess.AS
Description and Discussion on DCASE 2022 Challenge Task 2: Unsupervised Anomalous Sound Detection for Machine Condition Monitoring Applying Domain Generalization Techniques
Hitachi, Ltd.(日立有限公司);Doshisha University(同志社大学);NTT Corporation(日本电信电话公司);Google(谷歌)
我们介绍了DCASE 2022挑战任务2的任务描述和结果讨论:“应用领域泛化技术进行机器状态监测的无监督异常声音检测(ASD)”。域移位是ASD系统应用的关键问题。由于域偏移可以改变数据的声学特性,因此在源域中训练的模型对于目标域表现不佳。在DCASE 2021挑战任务2中,我们组织了一个ASD任务来处理域转移。在这项任务中,假设域移位的发生是已知的。然而,在实践中,可能没有给出每个样本的域,并且域偏移可能隐含地发生。在2022年的任务2中,我们将重点关注领域泛化技术,该技术可以检测异常,而不管领域的变化。具体地,在测试数据中不给出每个样本的域,并且对于所有域仅允许一个阈值。对来自31个团队的81个提交的分析揭示了两种显着类型的领域泛化技术:1)基于域混合的方法,获得广义表示和2)基于域分类的方法,显式或隐式地对不同的域进行分类,以提高每个域的检测性能。
2022-11-22 cs.LG cs.SD eess.AS
Robust Unsupervised Network Intrusion Detection via Federated Learning with Selective Aggregation under Anomalous Sample Contamination
School of Engineering, Institute of Science Tokyo(东京科学大学工程学院)
针对实际中训练数据含异常致网络入侵检测性能下降问题,提出一种基于联邦学习的稳健训练方法,利用联邦学习局限性减弱异常数据影响,引入选择性聚合机制排除异常更新,实验证明该方法在含异常数据环境中性能更优且随异常比例增加仍稳定。
2026-07-29 cs.LG cs.NI
Unsupervised learning of anomalous diffusion data
ICFO – Institut de Ciències Fotòniques, The Barcelona Institute of Science and Technology(ICFO 光子科学研究所,巴塞罗那科学技术学院);ICREA(加泰罗尼亚研究与高级研究所)
本研究针对反常扩散实验数据短且含噪、监督学习依赖标注的问题,提出无监督学习方法,可无标注学习扩散特征、区分模型并提取参数,还能发现组合型新扩散类型,适用于监督学习无法应用的实验场景。
2021-08-07 cond-mat.stat-mech cs.LG physics.bio-ph