AEGR: A simple approach to gradient reversal in autoencoders for network anomaly detection
异常检测是指一个过程,其目的是检测遵循与大多数数据点不同模式的数据点。异常检测方法受到几个众所周知的挑战,阻碍了他们的性能,如高维。自动编码器是无监督的神经网络,用于降低维数,并检测大型数据集中的网络异常。当训练集包含噪声和异常时,自动编码器的性能会减弱。本文提出了一种新的梯度反转方法,以克服异常对训练阶段的影响,以检测网络异常。该方法与其他方法不同,因为它不需要无异常的训练集,并且基于重建误差。一旦从网络中提取出潜在变量,就可以使用局部离群值因子将正常数据点与异常数据点分开。还添加了简单的修剪方法和数据增强以进一步提高性能。实验结果表明,该模型的性能优于其他众所周知的方法。
2020-02-28 cs.LG stat.ML
Towards Meaningful Anomaly Detection: The Effect of Counterfactual Explanations on the Investigation of Anomalies in Multivariate Time Series
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
检测罕见事件在各个领域都是必不可少的,例如,在网络安全或维护方面。通常,人类专家由异常检测系统支持,因为连续监视数据是一项容易出错且繁琐的任务。然而,在检测到的异常中可能有罕见的事件,例如,机器的计划停机,但不是实际关注的事件,例如,机器的故障。因此,需要人类专家来验证检测到的异常是否相关。我们建议通过提供异常检测的解释来支持这种异常调查。相关工作只关注可解释异常检测的技术实现,而忽略了后续的人为异常调查。为了解决这一研究空白,我们进行了一项行为实验,使用纽约市的出租车乘坐记录作为测试平台。要求参与者将极端天气事件与其他异常事件(如假期或体育赛事)区分开来。我们的研究结果表明,提供反事实的解释,提高了调查的异常,表明潜在的解释异常检测一般。
2023-02-07 cs.LG
Warping Resilient Scalable Anomaly Detection in Time Series
IIT Palakkad(帕拉克卡德印度理工学院);Queen’s University Belfast(贝尔法斯特女王大学)
时间序列数据在包括医疗保健、社交媒体和犯罪监控在内的各个领域的现实问题中无处不在。在时间序列数据中检测异常或不规则和罕见事件,可以使我们能够在任何自然现象中发现异常事件,这可能需要特殊处理。此外,标记的异常实例很难在时间序列数据中获得。另一方面,时间序列数据,由于其性质,往往表现出局部膨胀和压缩的时间维度,这就是所谓的翘曲。这两个挑战使得难以检测时间序列中的异常,因为通常这种扭曲可能被错误地检测为异常。我们的目标是建立一个异常检测模型,是强大的这种翘曲变化。在本文中,我们提出了一种新的无监督的时间序列异常检测方法,WaRTEm-AD,分两个阶段进行操作。在表示学习的关键阶段,我们采用数据增强,通过定制的时间序列操作符,通过一个双自动编码器架构,学习扭曲的时间序列数据的鲁棒表示。其次,采用最先进的异常检测方法的适应性学习表示,以识别异常。我们将说明WaRTEm-AD旨在检测两种类型的时间序列异常:点和序列异常。我们将WaRTEm-AD与最先进的基线进行比较,并在异常检测性能和计算效率方面建立了我们的方法的有效性。
2021-10-02 cs.LG stat.ML
Anomaly Detection using Principles of Human Perception
Airbus(空中客车公司)
在统计学和无监督机器学习领域中,一个基本的和充分研究的问题是异常检测。异常很难定义,但已经提出了许多算法。这些方法的基础是模糊的理解,即异常是罕见的,不寻常的或与大多数数据不一致的。目前的工作提供了一个哲学论文,以明确定义异常,并开发了一种算法,以最小的用户干预,他们的有效检测。受格式塔心理学和亥姆霍兹人类感知原理的启发,异常被假设为相对于大多数数据所做的某些分组而意外发生的观察结果。在适当的随机变量建模下,通过对观测的组成元素的分布进行均匀且独立的随机假设,在一组数据中直接发现异常,其中异常对应于给定视图中元素出现次数的期望值为$<1$的那些观测。从人类感知的基本原理出发,开发了一种简单、实时、无参数的无监督异常检测算法。实验表明,它作为一个竞争的选择,单变量数据与有前途的结果检测全局异常的多元数据。
2022-05-13 cs.CR cs.LG stat.ML
When Will It Fail?: Anomaly to Prompt for Forecasting Future Anomalies in Time Series
Department of Artificial Intelligence, Kyung Hee University, Yongin, Republic of Korea(韩国成均馆大学人工智能系);Department of Artificial Intelligence, Korea University, Seoul, Republic of Korea(韩国大学人工智能系)
针对时间序列异常预测任务,提出A2P框架,通过异常关系学习与异常提示池模拟,实现对未来异常时间点的精确预测,优于现有方法。
2025-06-30 cs.AI cs.LG
Bridging Unsupervised and Semi-Supervised Anomaly Detection: A Theoretically-Grounded and Practical Framework with Synthetic Anomalies
School of Cybersecurity and Privacy, Georgia Institute of Technology(网络安全与隐私学院,佐治亚理工学院);H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology(H. Milton Stewart工业与系统工程学院,佐治亚理工学院)
本研究将无监督异常检测的合成异常原则拓展至半监督场景,提出结合已知与合成异常的理论框架,首次给出半监督AD数学表述与收敛性理论证明,经5个基准验证性能提升且方法具有普适性。
2025-06-16 cs.CR cs.LG stat.AP
Reimagining Anomalies: What If Anomalies Were Normal?
本文提出一种生成多个替代修改以解释异常检测机制的方法,通过语义解释帮助用户探索异常的"如果"场景。
2026-01-12 cs.CV cs.LG stat.ML
Unravel Anomalies: An End-to-end Seasonal-Trend Decomposition Approach for Time Series Anomaly Detection
Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学)
针对传统时间序列异常检测方法难以处理复杂复合数据与多样异常的问题,提出端到端模型TADNet,结合季节-趋势分解关联异常与分解分量,采用合成数据预训练加微调的训练策略,在真实数据集上实现了当前最优的多类型异常检测性能。
2023-12-14 cs.AI cs.LG
Towards an Awareness of Time Series Anomaly Detection Models' Adversarial Vulnerability
Data61 CSIRO(联邦科学与工业研究组织Data61研究所);Sungkyunkwan University(成均馆大学)
时间序列异常检测在统计学、经济学和计算机科学中得到了广泛的研究。多年来,已经提出了许多使用基于深度学习的方法进行时间序列异常检测的方法。这些方法中的许多方法在基准数据集上表现出最先进的性能,给人一种错误的印象,即这些系统在许多实际和工业现实世界的场景中是健壮的和可部署的。在本文中,我们证明了国家的最先进的异常检测方法的性能大大降低,只增加了小的对抗性扰动的传感器数据。我们使用不同的评分指标,如预测误差,异常和分类分数在几个公共和私人的数据集,从航空航天应用,服务器机器,在发电厂的网络物理系统。在快速梯度符号方法(FGSM)和投影梯度下降(PGD)方法的著名对抗攻击下,我们证明了最先进的深度神经网络(DNN)和图神经网络(GNN)方法,这些方法声称对异常具有鲁棒性,并且可能已集成到现实生活中的系统中,其性能下降到低至0%。根据我们的理解,我们第一次展示了异常检测系统对对抗攻击的脆弱性。这项研究的总体目标是提高人们对时间序列异常检测器的对抗性漏洞的认识。
2022-08-24 cs.CR cs.LG
Incorporating Feedback into Tree-based Anomaly Detection
Oregon State University(俄勒冈州立大学)
异常检测器通常用于生成统计异常的排名列表,由人类分析师检查,以提取感兴趣的实际异常。不幸的是,在现实世界的应用程序中,这个过程对分析师来说可能非常困难,因为大部分高级别的异常都是误报,从应用程序的角度来看并不有趣。在本文中,我们的目标是使分析师的工作更容易,允许在调查过程中的分析师反馈。理想地,反馈以减少在发现感兴趣的异常之前必须检查的误报的数量的方式影响异常检测器的排名。特别是,我们介绍了一种新的技术,将简单的二进制反馈到基于树的异常检测器。我们专注于隔离森林算法作为一个代表性的基于树的异常检测器,并表明,我们可以显着提高其性能,通过将反馈,与基线算法相比,不纳入反馈。我们的技术是简单的,规模以及数据的大小增加,这使得它适合在大型数据集的异常交互式发现。
2017-08-30 cs.AI cs.LG stat.ML
k-Parameter Approach for False In-Season Anomaly Suppression in Daily Time Series Anomaly Detection
Bell Canada(加拿大贝尔公司)
针对每日时间序列中周模式导致的季节性内虚假异常,提出k-参数方法,通过可配置容差抑制误报并保留真实异常,取得良好效果。
2023-11-10 cs.LG
Classification of Anomalies in Telecommunication Network KPI Time Series
Concordia University(康考迪亚大学);EXFO Inc.(EXFO公司)
针对电信网络KPI异常分类研究不足,提出模块化分类框架,分离检测与分类,通过模拟器生成数据并训练模型,在真实数据上验证了良好性能。
2023-08-30 cs.LG
Robust Anomaly Detection in Images using Adversarial Autoencoders
Ludwig-Maximilians-University Munich(路德维希-马克西米利安慕尼黑大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
可靠地检测给定图像集合中的异常对于视觉质量检查、监视或医学图像分析而言是具有高度实际相关性的任务。自动编码器神经网络学习重建正常图像,因此可以将这些图像分类为异常,其中重建误差超过某个阈值。在这里,我们分析了这种方法的一个基本问题,当训练集被一小部分离群值污染时。我们发现,持续训练的自编码器不可避免地减少异常值的重建误差,从而降低异常检测性能。为了抵消这种影响,采用了对抗性自动编码器架构,该架构对潜在表示施加了先验分布,通常将异常放置在低可能性区域中。利用似然模型,可以在训练期间识别和拒绝潜在的异常,这导致异常检测器在训练期间对异常值的存在显著更鲁棒。
2019-01-18 cs.CV cs.LG stat.ML
Using Large-Scale Anomaly Detection on Code to Improve Kotlin Compiler
JetBrains Research(JetBrains研究院);Saint Petersburg State University(圣彼得堡国立大学);JetBrains;Higher School of Economics(高等经济学院)
在这项工作中,我们应用异常检测源代码和字节码,以促进程序设计语言及其编译器的发展。我们将异常定义为与用特定程序设计语言编写的典型代码不同的代码片段。识别这些代码片段对语言开发人员和最终用户都有好处,因为异常可能表明编译器或运行时性能存在潜在问题。此外,异常可能对应于语言设计中的问题。在这项研究中,我们选择Kotlin作为目标程序设计语言。我们概述并讨论了获得源代码和字节码的向量表示以及在向量化代码片段中检测异常的方法。本文提出了一种方法,旨在检测两种类型的异常:语法树异常和所谓的编译器引起的异常,只出现在编译的字节码。我们描述了几个实验,采用不同的向量化和异常检测技术的组合,并讨论检测到的异常类型及其对语言开发人员的有用性。我们证明,提取的异常和基本的提取技术提供了额外的价值语言的发展。
2020-04-03 cs.LG cs.PL cs.SE
Anomaly Detection in Driving by Cluster Analysis Twice
Wistron Corporation(纬创资通)
在驾驶中偏离正常交通模式的事件、异常情况(例如激进驾驶或颠簸道路)可能会损害运输和物流(T&L)业务的交付效率。因此,检测驾驶中的异常对于T&L行业至关重要。到目前为止,许多研究已经使用车辆传感器数据来识别异常。以前的大多数作品都是通过使用深度学习或机器学习算法来捕捉异常的,这需要事先进行训练过程和巨大的计算成本。提出了一种基于两次聚类分析的驾驶异常检测方法(ADDCAT),该方法将处理后的传感器数据按不同的物理属性进行聚类。如果一个事件从来不符合主聚类,则该事件被称为异常,这被认为是驾驶中的正常模式。这种方法提供了一种检测驾驶异常的方法,无需事先训练过程和巨大的计算成本。在开放数据集上验证了该方法的性能。
2022-12-15 cs.LG
FadMan: Federated Anomaly Detection across Multiple Attributed Networks
Tianjin University(天津大学);WeBank(微众银行)
异常子图检测已广泛应用于各种应用中,从计算机网络中的网络攻击到社交网络中的恶意活动。尽管越来越需要跨多个属性网络的联合异常检测,但只有有限数量的方法可用于此问题。联邦异常检测面临两个主要挑战。一个是大多数行业中的孤立数据限制与其他人共享,以保护数据隐私和安全。另一种是基于数据集成的集中式培训方法。联合异常检测的主要思想是将本地数据所有者的私有异常与服务器中属性网络的公共异常进行对齐,通过公共异常联合本地异常。在每个私有属性网络中,检测到的异常子图与公共属性网络中的异常子图对齐。在防止本地私有数据泄漏的同时,选择显著的公共异常子图用于联合私有异常。FadMan算法是一个垂直的联邦学习框架,适用于公共节点和多个不同特征的私有节点的联合学习,并在多属性网络上的异常检测和无属性网络上的异常检测两个任务上进行了验证。在第一种情况下,FadMan在10%的噪声水平下至少有12%的准确率优于竞争对手的方法。在第二种情况下,通过分析异常节点的分布,我们发现流量异常的节点与同一天的考研事件相关联。
2022-05-27 cs.AI cs.LG
Reconstruction Error-based Anomaly Detection with Few Outlying Examples
University of Calabria(卡拉布里亚大学)
本研究提出一种利用少量异常样本增强重建误差对比度的方法,使自编码器能将已知异常排除在正常数据域之外,从而提升半监督异常检测性能。
2024-06-05 cs.LG
ARISE: Graph Anomaly Detection on Attributed Networks via Substructure Awareness
National University of Defense Technology(国防科技大学);Chongqing University of Posts and Telecommunications(重庆邮电大学);Intelligent Game and Decision Laboratory(智能博弈与决策实验室)
针对现有属性网络图异常检测忽略集体拓扑异常模式的问题,提出基于子结构感知的框架ARISE,通过区域提议模块识别拓扑异常、结合图对比学习检测属性异常,在基准数据集上性能显著优于现有方法。
2023-10-01 cs.LG
Learning Feature Encoder with Synthetic Anomalies for Weakly Supervised Graph Anomaly Detection
Sichuan University(四川大学);University of Connecticut(康涅狄格大学);University of Electronic Science and Technology of China(电子科技大学);University of Adelaide(阿德莱德大学)
本文提出一种弱监督图异常检测方法,通过合成异常生成鲁棒特征表示,结合多任务学习策略提升异常检测性能。
2026-05-12 cs.LG
Rare anomalies require large datasets: About proving the existence of anomalies
TU Dortmund University(杜伊斯堡-埃森大学)
本文研究何时能确凿判定数据集中存在异常,通过超300万次统计测试,发现数据集大小、污染率与算法常数 $ α_{\text{algo}} $ 间的关系,提出证明异常存在所需样本数下界为 $ N \ge \frac{α_{\text{algo}}}{ν^2} $。
2025-08-13 cs.AI cs.LG
gen2Out: Detecting and Ranking Generalized Anomalies
Carnegie Mellon University(卡内基梅隆大学);Barrow Neurological Institute(巴罗神经学研究所)
在m维数据点的云中,我们如何发现单点异常和组异常,并对其进行排序?我们是第一个在两个维度上概括异常检测的人:第一个维度是我们在统一的视图下处理点异常和组异常-我们将其称为广义异常。第二个维度是gen 2 Out不仅检测,而且还按可疑顺序对异常进行排名。异常的检测和排序有许多应用:例如,在癫痫患者的EEG记录中,异常可能表示癫痫发作;在计算机网络流量数据中,它可能表示电源故障或DoS/DDoS攻击。我们首先设置一些合理的公理;令人惊讶的是,没有一个早期的方法通过所有的公理。我们的主要贡献是gen 2 Out算法,它具有以下理想的属性:(a)原则和声音异常评分,遵守检测器的公理,(b)双一般,它检测,以及排名广义异常-点和组异常,(c)可扩展性,它是快速和可扩展的,线性的输入大小。(d)有效的,对真实世界癫痫记录(200 GB)的实验证明了gen 2 Out的有效性,并得到了临床医生的证实。在27个真实世界基准数据集上的实验表明,gen 2 Out检测地面真值组,在准确性上匹配或优于点异常基线算法,而没有组异常的竞争,并且在股票机器上需要大约2分钟的时间才能获得100万个数据点。
2021-11-15 cs.LG
Open-Set Graph Anomaly Detection via Normal Structure Regularisation
Monash University(蒙纳士大学);Singapore Management University(新加坡管理大学);The University of Tokyo(东京大学);The University of Melbourne(墨尔本大学)
针对开放集图异常检测中未知异常易被漏检的问题,提出正常结构正则化方法,利用结构关系学习正常表示,避免过拟合已知异常,在七个数据集上显著提升检测性能。
2025-06-20 cs.AI cs.LG cs.SI
LogELECTRA: Self-supervised Anomaly Detection for Unstructured Logs
NTT Social Informatics Laboratories(NTT社会信息学实验室)
针对现有日志异常检测方法在未知模板和点异常检测延迟上的局限,提出基于自监督的LogELECTRA模型,利用ELECTRA分析单行日志语义以实现点异常检测,在BGL、Sprit和Thunderbird数据集上优于现有方法。
2024-02-16 cs.LG cs.SE
Memory-augmented Adversarial Autoencoders for Multivariate Time-series Anomaly Detection with Deep Reconstruction and Prediction
Beijing Jiaotong University(北京交通大学)
由于当今IT监控系统的维度和复杂性的增加,在没有人工监督的情况下检测多变量时间序列的异常仍然是一个具有挑战性的问题。无监督时间序列异常检测的最新进展主要使用深度自编码器来解决这个问题,即在正常样本上进行训练,并在异常输入上产生显著的重建误差。然而,在实践中,由于神经网络的强大功能,自编码器可以很好地重建异常。此外,这些方法对于识别非点异常(例如,上下文异常和集体异常)可能是无效的,因为它们仅利用逐点重建目标。为了解决上述问题,我们提出了MemAAE(\textit{Memory-augmented Adversarial Autoencoders with Deep Reconstruction and Prediction}),一种新的无监督的时间序列异常检测方法。通过联合训练两个互补的代理任务,重建和预测,与共享的网络架构,我们表明,通过多个任务检测异常获得优越的性能,而不是单任务训练。此外,引入压缩记忆模块来保存正常模式,避免对异常输入的意外泛化。通过广泛的实验,MemAAE在四个公共数据集上的总体F1得分为0.90,显著优于最佳基线0.02。
2021-10-15 cs.LG
AnoOnly: Semi-Supervised Anomaly Detection with the Only Loss on Anomalies
University of Electronic Science and Technology of China(电子科技大学);Juntendo University(顺天堂大学);RIKEN(理化学研究所)
AnoOnly提出一种仅对异常进行损失监督的半监督异常检测框架,通过暂停对正常数据的严格监督并利用批归一化实现弱监督,以平衡数据不平衡,提升检测性能并增强对标签噪声的鲁棒性。
2023-09-06 cs.AI cs.LG
AD-MERCS: Modeling Normality and Abnormality in Unsupervised Anomaly Detection
KU Leuven(鲁汶大学);Leuven.AI - KU Leuven Institute for AI(鲁汶AI——鲁汶大学人工智能研究所)
本文提出无监督异常检测方法 AD-MERCS,通过同时识别实例空间中正常行为的模式子空间与表征异常偏离的条件,实现对正常与异常的双重建模,在多种异常类型上表现优异并提供可解释性。
2023-05-22 cs.LG
Unsupervised Anomaly Detection in Stream Data with Online Evolving Spiking Neural Networks
Warsaw University of Technology(华沙理工大学);TECNALIA(泰克纳利亚);University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU))
流数据中的无监督异常发现是一个具有实际应用价值的研究课题。然而,在许多情况下,不容易收集具有标记的异常的足够训练数据用于异常检测器的监督学习,以便稍后部署它来识别流数据中的真实异常。因此,重要的是设计能够在不访问标记的训练数据的情况下正确地检测异常的异常检测器。我们的想法是适应在线进化脉冲神经网络(OeSNN)分类器的异常检测任务。因此,我们提供了一个在线进化的脉冲神经网络的无监督异常检测算法(OeSNN-UAD),它,不像OeSNN,工作在一个无监督的方式,不分离输出神经元到不相交的决策类。OeSNN-UAD使用我们提出的新的两步异常检测方法。此外,我们推导出OeSNN的神经元模型和输入层编码的新的理论性质,这使得我们的OeSNN-UAD方法能够更有效地检测异常。所提出的OeSNN-UAD检测器与Numenta Anomaly Benchmark和Yahoo Anomaly Datasets存储库中的流数据中的异常的最先进的无监督和半监督检测器进行了实验比较。我们的方法优于文献中提供的其他解决方案的情况下,从Numenta异常基准存储库的数据流。此外,在雅虎异常基准存储库的真实数据文件的情况下,OeSNN-UAD优于其他选定的算法,而在雅虎异常基准合成数据文件的情况下,它提供了有竞争力的结果,最近在文献中报道的结果。
2021-03-08 cs.AI cs.LG cs.NE
GLAD: Group Anomaly Detection in Social Media Analysis- Extended Abstract
University of Southern California(南加州大学)
传统的社交媒体异常检测多集中在单个点的异常上,而异常现象通常发生在群体中。因此,研究个体的集体行为和发现群体异常是有价值的。现有的群体异常检测方法依赖于群体已知的假设,这在现实世界的社交媒体应用中几乎是不可能的。在本文中,我们采取了生成的方法,提出了一个分层贝叶斯模型:组潜在异常检测(GLAD)模型。GLAD以成对和逐点数据作为输入,自动推断组并同时检测组异常。为了考虑社交媒体数据的动态特性,我们进一步将GLAD推广到其动态扩展d-GLAD。我们进行了广泛的实验,以评估我们的模型在合成和现实世界的数据集。实验结果表明,我们的方法是有效的和强大的发现潜在群体和检测群体异常。
2014-10-07 cs.LG cs.SI
MetaGAD: Meta Representation Adaptation for Few-Shot Graph Anomaly Detection
Illinois Institute of Technology(伊利诺伊理工学院);Northwestern University(西北大学);Emory University(埃默里大学)
本文研究少样本图异常检测问题,提出基于元学习的框架MetaGAD,通过双层优化将自监督学习知识适应到少样本监督学习中,有效克服异常不规则性与过拟合挑战,在六个真实数据集上验证了其有效性。
2024-08-23 cs.AI cs.CR cs.LG
Open-Set Multivariate Time-Series Anomaly Detection
McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所)
本文提出MOSAD框架,通过少量标注异常样本和异常感知对比头构建共享表示空间,解决开放集多变量时间序列异常检测问题,并在三个真实数据集上取得最优性能。
2024-08-07 cs.LG
A Taxonomy of Anomalies in Log Data
Technische Universität Berlin(柏林工业大学)
日志数据异常检测是面向IT运营的人工智能领域的核心组成部分。然而,大量的现有方法使得很难为特定系统选择正确的方法。更好地了解不同类型的异常,以及哪些算法适合检测它们,将为研究人员和IT运营商提供支持。虽然已经存在一种常见的异常分类法,但它尚未专门应用于日志数据,指出了该领域的特征和特殊性。本文提出了不同类型日志数据异常的分类法,并介绍了一种在标记数据集中分析此类异常的方法。我们将我们的分类应用于三个常见的基准数据集Thunderbird,Spirit和BGL,并训练了五种最先进的无监督异常检测算法,以评估它们在检测不同类型异常时的性能。我们的研究结果表明,最常见的异常类型也是最容易预测的。此外,基于深度学习的方法在所有异常类型中都优于基于数据采掘的方法,尤其是在检测上下文异常时。
2021-11-26 cs.DB cs.GL cs.LG
Redefining Maritime Anomaly Detection via Equation-Grounded Synthetic Anomalies
Seoul National University(首尔国立大学);KRISO(韩国海洋研究组织)
针对海上异常检测中缺乏标签和交互驱动异常的问题,提出基于方程引导的异常分类法,并构建统一评分-合成-标注流程,生成时间戳级标签,评估多种模型性能。
2026-06-29 cs.AI cs.LG
Detecting Log Anomalies with Multi-Head Attention (LAMA)
Huawei Technologies Co., Ltd(华为技术有限公司)
异常检测是一个重要的和具有挑战性的课题,已经在不同的研究领域进行了研究。在这项工作中,我们探讨的任务日志异常检测(特别是计算机系统日志和用户行为日志)通过分析日志的顺序信息。我们提出了LAMA,一个基于多头注意力的顺序模型来处理日志流作为模板活动(事件)序列。应用下一事件预测任务来训练用于异常检测的模型。大量的实证研究表明,该模型优于现有的日志异常检测方法,包括统计和深度学习方法,验证了该方法在学习日志数据序列模式方面的有效性。
2021-01-07 cs.CR cs.LG
Nominality Score Conditioned Time Series Anomaly Detection by Point/Sequential Reconstruction
MIT(麻省理工学院)
提出一种利用基于点和序列重建模型的无监督时间序列异常检测框架,通过整合标称性分数与异常分数推导出更优的诱导异常分数,在多个公共数据集上优于大多数最先进基线方法。
2023-10-24 cs.AI cs.LG
Reconciling Attribute and Structural Anomalies for Improved Graph Anomaly Detection
School of Computer and Information Engineering, Henan University(河南大学计算机与信息工程学院);School of Information and Software Engineering, University of Electronic Science and Technology of China(电子科技大学信息与软件工程学院);Yangtze Delta Region Institute (Quzhou), University of Electronic Science and Technology of China(电子科技大学长江三角洲地区研究所(衢州));Quzhou Affiliated Hospital of Wenzhou Medical University, Quzhou People’s Hospital(温州医学院衢州附属医院,衢州人民医院)
针对图异常检测中属性与结构异常的拉锯战问题,提出基于互蒸馏的三通道框架TripleAD,通过多尺度属性估计、链路增强结构估计和属性混合曲率分别检测属性、结构和混合异常,并在实验中验证了其优于强基线的有效性。
2025-06-30 cs.LG cs.SI
CurvGAD: Leveraging Curvature for Enhanced Graph Anomaly Detection
Carnegie Mellon University(卡内基梅隆大学)
CurvGAD 提出混合曲率图自编码器,通过曲率等变几何重建和曲率不变结构与属性重建两条并行流水线,利用网络内在曲率识别几何异常并解耦非几何异常,在 10 个真实数据集上相比最先进 GAD 方法提升最高 6.5%。
2025-06-04 cs.AI cs.LG
State Frequency Estimation for Anomaly Detection
Delft University of Technology(代尔夫特理工大学);Thales SIX GTS France(泰雷兹法国SIX公司)
本文提出无监督方法 SEQUENT,通过状态机的状态访问频率动态调整异常评分并生成根因,在三个 NetFlow 数据集上验证了其检测网络异常的有效性。
2025-03-10 cs.CR cs.LG
PatchGuard: Adversarially Robust Anomaly Detection and Localization through Vision Transformers and Pseudo Anomalies
Sharif University of Technology(谢里夫理工大学)
PatchGuard提出一种基于视觉Transformer和前景感知伪异常的对抗鲁棒异常检测与定位方法,通过理论指导的对抗训练,在工业和医学数据集上显著提升对抗鲁棒性,AD提升53.2%,AL提升68.5%。
2025-10-24 cs.CV cs.LG
Brittle Features May Help Anomaly Detection
University College London(伦敦大学学院)
单类异常检测具有挑战性。一个能够清楚区分异常和正常数据的表示是理想的,但是达到这个表示是困难的,因为在训练时只有正常数据可用。我们检查的表现,从辅助任务,异常检测。我们的研究结果表明,表示的选择是更重要的异常检测器使用这些表示,虽然知识蒸馏可以更好地工作比直接使用的表示。此外,异常和正常数据之间的可分性是重要的,但不是一个良好的表示的唯一因素,异常检测性能也与表示空间中的更不利的脆性功能。最后,我们展示了我们的配置可以在真正的X射线安全数据集中检测到96.4%的异常,优于以前的结果。
2021-04-21 cs.CV cs.LG
Enhancing Anomaly Detection via Generating Diversified and Hard-to-distinguish Synthetic Anomalies
Chung-Ang University(中央大学);Korea University(高丽大学)
针对无监督异常检测中特定领域变换难定义、合成异常易区分的问题,提出带条件扰动器和判别器的领域无关方法,通过扰动正交与近邻约束生成多样难区分的合成异常,在图像与表格数据上性能优于SOTA,且适配半监督场景。
2024-09-16 cs.AI cs.LG
Double-Adversarial Activation Anomaly Detection: Adversarial Autoencoders are Anomaly Generators
Fraunhofer AISEC(弗劳恩霍夫应用与集成安全研究所)
提出DA3D方法,利用对抗自编码器仅从正常数据生成人工异常,将无监督异常检测转化为有监督任务,并以纯数据驱动方式超越现有最先进方法。
2024-01-14 cs.CR cs.LG
A Typology of Data Anomalies
异常是在某种程度上不寻常的情况,并且似乎不符合数据集中存在的一般模式。有几种概念可以区分不同类型的异常。然而,这些要么是太具体,一般适用或如此抽象,他们既不提供具体的洞察异常类型的性质,也不促进异常检测算法的功能评估。随着最近对“黑匣子”算法和分析的批评,很明显这是一种不受欢迎的情况。因此,本文介绍了一个一般类型的异常,提供了一个明确的和有形的定义数据集中的不同类型的异常。类型学还有助于评估异常检测算法的功能能力,并作为一个框架,协助分析数据,模式和异常的概念层次。最后,它作为一个分析工具,从其他类型学研究异常类型。
2021-07-04 cs.AI cs.DB cs.LG
On the Nature and Types of Anomalies: A Review of Deviations in Data
Heineken(喜力公司)
本文通过文献综述首次提出领域无关的数据异常类型学,基于五个数据维度划分出3组、9类、63种子类型,为异常检测算法评估和可解释数据科学提供基础。
2023-05-29 cs.AI cs.DB cs.LG
Is it worth it? Comparing six deep and classical methods for unsupervised anomaly detection in time series
German Aerospace Center(德国航空航天中心);Friedrich-Schiller University(弗里德里希-席勒大学)
检测时间序列数据中的异常在各种领域都很重要,包括系统监控、医疗保健和网络安全。虽然可用方法的丰富性使得很难为给定的应用选择最合适的方法,但每种方法在检测某些类型的异常方面都有其优势。在这项研究中,我们比较了六种不同复杂度的无监督异常检测方法,以确定更复杂的方法是否通常表现更好,以及某些方法是否更适合某些类型的异常。我们使用UCR异常存档(最近的异常检测基准数据集)评估了这些方法。在调整每种方法所需的超参数后,我们分析了数据集和异常类型级别的结果。此外,我们评估了每种方法结合有关异常的先验知识的能力,并检查了逐点和逐序列特征之间的差异。我们的实验表明,经典的机器学习方法在一系列异常类型上通常优于深度学习方法。
2023-02-02 cs.AI cs.IR cs.LG
Strengthening Anomaly Awareness
Southern Methodist University(南卫理公会大学);Lyle School of Engineering(莱尔工程学院);University of Manchester(曼彻斯特大学);Instituto de Física Corpuscular (IFIC)(粒子物理与宇宙学研究所);Universidad de Valencia-CSIC(瓦伦西亚大学-西班牙国家研究委员会)
该研究改进Anomaly Awareness框架,通过两阶段训练向变分自动编码器引入最小监督,在多领域数据集验证中提升了无监督异常检测模型的敏感性、泛化能力与性能。
2025-04-15 cs.LG hep-ph
AA-Forecast: Anomaly-Aware Forecast for Extreme Events
University of Central Florida(中佛罗里达大学);Baidu Inc.(百度公司)
时间序列模型通常处理极端事件和异常,这两者在现实世界的数据集中都很普遍。这些模型往往需要提供仔细的概率预测,这对于飓风和流行病等极端事件的风险管理至关重要。然而,自动检测和学习使用大规模数据集的极端事件和异常是具有挑战性的,这通常需要手动操作。因此,我们提出了一个异常感知的预测框架,利用以前看到的异常的影响,以提高其预测精度期间和之后的极端事件的存在。具体而言,该框架自动提取异常,并通过注意机制将其纳入,以提高其对未来极端事件的准确性。此外,该框架采用动态不确定性优化算法,以在线方式减少预测的不确定性。该框架在三个数据集上表现出一致的优越准确性,具有较低的不确定性,这些数据集与当前的预测模型具有不同的异常。
2022-08-21 cs.LG stat.ML
Toward Deep Supervised Anomaly Detection: Reinforcement Learning from Partially Labeled Anomaly Data
Australian Institute for Machine Learning(澳大利亚机器学习研究所);The University of Adelaide(阿德莱德大学);Advanced Analytics Institute(高级分析研究所);University of Technology Sydney(悉尼科技大学)
我们考虑的问题的异常检测与一个小的部分标记的异常的例子和一个大规模的未标记的数据集。这是许多重要应用中的常见场景。现有的相关方法要么专门适合通常不跨越整个异常集的有限异常示例,要么从未标记的数据进行无监督学习。相反,我们在这里提出了一种基于深度强化学习的方法,该方法可以对标记和未标记异常的检测进行端到端的优化。该方法通过自动地与异常偏置的模拟环境交互来学习已知的异常,同时连续地将所学习的异常扩展到新的异常类别(即,未知的异常),通过主动探索未标记数据中可能的异常。这是通过联合优化小标记异常数据的利用和罕见的未标记异常的探索来实现的。在48个真实世界数据集上进行的广泛实验表明,我们的模型明显优于五种最先进的竞争方法。
2021-06-10 cs.AI cs.CR cs.CV
Urban Anomaly Analytics: Description, Detection, and Prediction
Hong Kong University of Science and Technology(香港科技大学);University of Helsinki(赫尔辛基大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua University(清华大学);JD Finance(京东金融)
如果处理不当,城市异常现象可能导致生命或财产损失。在异常的早期阶段自动报警甚至在异常发生之前预测异常对于种群具有重要价值。近年来,数据驱动的城市异常分析框架正在形成,该框架利用城市大数据和机器学习算法来自动检测和预测城市异常。在本次调查中,我们对城市异常分析的最新研究进行了全面的回顾。首先,我们概述了四种主要类型的城市异常,交通异常,意外人群,环境异常,和个人异常。接下来,我们总结了从不同设备获得的各种类型的城市数据集,即,轨迹、行程记录、CDR、城市传感器、事件记录、环境数据、社交媒体和监控摄像头。随后,提出了一个全面的调查问题的检测和预测技术的城市异常。最后,讨论了研究的挑战和有待解决的问题.
2020-04-25 cs.LG cs.SI
Deep Anomaly Detection and Search via Reinforcement Learning
半监督异常检测(Semi-supervised Anomaly Detection,AD)是一种数据采掘任务,旨在从部分标记的数据集中学习特征,以帮助检测离群点。本文将现有的半监督AD方法分为基于无监督和基于监督两大类,指出它们大多存在对标记数据利用不足和对未标记数据利用不足的问题。为了解决这些问题,我们提出了深度异常检测和搜索(DADS),它应用强化学习(RL)来平衡开发和探索。在训练过程中,智能体使用分层结构的数据集搜索可能的异常,并使用搜索到的异常来提高性能,这在本质上借鉴了集成学习的思想。实验上,我们比较了DADS与几个国家的最先进的方法,利用标记的已知异常的设置,以检测其他已知的异常和未知的异常。实验结果表明,DADS能够高效、准确地从未标记数据中发现异常并从中学习,取得了良好的性能。
2022-10-26 cs.LG
Unveiling the Anomalies in an Ever-Changing World: A Benchmark for Pixel-Level Anomaly Detection in Continual Learning
University of Padova(帕多瓦大学)
本研究探讨了持续学习环境下的像素级异常检测问题,通过将多种最先进的技术适配至持续学习环境,并利用真实世界图像数据集提供可靠基准和全面分析,为该领域进一步发展奠定基础。
2024-03-19 cs.CV cs.LG
Clustering-Based Collective Anomaly Detection in IoT Systems: A Graph Neural Network Approach
University of South-Eastern Norway(东南挪威大学)
针对物联网流量中集体异常检测不足的问题,提出无监督图集体异常检测框架UGCAD,利用变分图自编码器学习表示并增强聚类,在CICIoT2023和ToN-IoT数据集上验证了其优于现有方法。
2026-09-22 cs.LG
Beyond the Benchmark: Detecting Diverse Anomalies in Videos
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
针对现有VAD基准侧重单帧简单异常、限制模型发展的问题,研究构建两个基于动作异常的新数据集,提出融合长程时序特征与逻辑回归的MFAD方法,在各类异常检测场景中均优于现有模型。
2023-10-03 cs.CV cs.LG
Anomalies by Synthesis: Anomaly Detection using Generative Diffusion Models for Off-Road Navigation
MIT CSAIL(麻省理工学院CSAIL);DEVCOM Army Research Laboratory(国防部陆军研究实验室)
本文提出一种基于分析-合成的纯测试时逐像素异常检测方法,利用生成式扩散模型合成移除异常的图像,并结合视觉-语言基础模型在特征空间中检测语义编辑,实现准确的越野导航异常检测。
2025-05-28 cs.CV cs.LG cs.RO
Learning Discriminative and Generalizable Anomaly Detector for Dynamic Graph with Limited Supervision
University of Science and Technology of China(中国科学技术大学)
针对动态图异常检测中标注异常稀缺的问题,提出一个结合残差表示编码、限制损失和双边界优化的模型无关框架,从正常/未标注数据中学习可判别边界,同时利用有限标注异常并保持对未见异常的泛化能力。
2026-05-29 cs.AI cs.LG