Latent Laplacian Maximum Entropy Discrimination for Detection of High-Utility Anomalies
University of Michigan(密歇根大学);PARC(帕洛阿尔托研究中心)
数据驱动的异常检测方法的缺点是检测统计上罕见的所有实例,而不管检测到的实例是否具有现实意义。在本文中,我们感兴趣的问题,具体检测异常的情况下,已知具有较高的现实世界的效用,而忽略低效用的统计异常的情况。为此,我们提出了一种新的方法,称为潜在的拉普拉斯最大熵歧视(LatLapMED)作为一个潜在的解决方案。该方法使用期望最大化算法同时结合几何熵最小化原理来识别统计异常,并结合最大熵判别原理来结合效用标签,以检测高效用异常。我们将我们的方法应用于模拟和真实数据集,以证明它具有优于现有替代方案的性能,这些替代方案在分类之前独立地使用无监督异常检测算法进行预处理。
2017-12-14 cs.CR cs.LG stat.ML
Unifying Explainable Anomaly Detection and Root Cause Analysis in Dynamical Systems
本文提出可解释因果常微分方程网络ICODE,在单一框架内同时实现动态系统的异常检测、根因分析与异常类型分类,并通过因果推断揭示异常来源。
2025-07-17 cs.LG stat.ML
AEGR: A simple approach to gradient reversal in autoencoders for network anomaly detection
异常检测是指一个过程,其目的是检测遵循与大多数数据点不同模式的数据点。异常检测方法受到几个众所周知的挑战,阻碍了他们的性能,如高维。自动编码器是无监督的神经网络,用于降低维数,并检测大型数据集中的网络异常。当训练集包含噪声和异常时,自动编码器的性能会减弱。本文提出了一种新的梯度反转方法,以克服异常对训练阶段的影响,以检测网络异常。该方法与其他方法不同,因为它不需要无异常的训练集,并且基于重建误差。一旦从网络中提取出潜在变量,就可以使用局部离群值因子将正常数据点与异常数据点分开。还添加了简单的修剪方法和数据增强以进一步提高性能。实验结果表明,该模型的性能优于其他众所周知的方法。
2020-02-28 cs.LG stat.ML
Early Failure Prediction from Near-Anomaly Detection: A Proactive Approach
Schaeffler(舍弗勒);LAAS-CNRS(法国国家科学研究中心自动化与系统分析实验室);University of Toulouse(图卢兹大学);INSA(法国国立应用科学学院);CNRS(法国国家科学研究中心)
该研究提出CANARI无监督方法,利用克里斯托费尔函数检测近异常,在印刷电路板工业测试数据上验证,性能优于双阈值基线,可主动预测故障,助力弹性维护与质量控制。
2026-08-04 cs.LG stat.ML
Towards Meaningful Anomaly Detection: The Effect of Counterfactual Explanations on the Investigation of Anomalies in Multivariate Time Series
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
检测罕见事件在各个领域都是必不可少的,例如,在网络安全或维护方面。通常,人类专家由异常检测系统支持,因为连续监视数据是一项容易出错且繁琐的任务。然而,在检测到的异常中可能有罕见的事件,例如,机器的计划停机,但不是实际关注的事件,例如,机器的故障。因此,需要人类专家来验证检测到的异常是否相关。我们建议通过提供异常检测的解释来支持这种异常调查。相关工作只关注可解释异常检测的技术实现,而忽略了后续的人为异常调查。为了解决这一研究空白,我们进行了一项行为实验,使用纽约市的出租车乘坐记录作为测试平台。要求参与者将极端天气事件与其他异常事件(如假期或体育赛事)区分开来。我们的研究结果表明,提供反事实的解释,提高了调查的异常,表明潜在的解释异常检测一般。
2023-02-07 cs.LG
Warping Resilient Scalable Anomaly Detection in Time Series
IIT Palakkad(帕拉克卡德印度理工学院);Queen’s University Belfast(贝尔法斯特女王大学)
时间序列数据在包括医疗保健、社交媒体和犯罪监控在内的各个领域的现实问题中无处不在。在时间序列数据中检测异常或不规则和罕见事件,可以使我们能够在任何自然现象中发现异常事件,这可能需要特殊处理。此外,标记的异常实例很难在时间序列数据中获得。另一方面,时间序列数据,由于其性质,往往表现出局部膨胀和压缩的时间维度,这就是所谓的翘曲。这两个挑战使得难以检测时间序列中的异常,因为通常这种扭曲可能被错误地检测为异常。我们的目标是建立一个异常检测模型,是强大的这种翘曲变化。在本文中,我们提出了一种新的无监督的时间序列异常检测方法,WaRTEm-AD,分两个阶段进行操作。在表示学习的关键阶段,我们采用数据增强,通过定制的时间序列操作符,通过一个双自动编码器架构,学习扭曲的时间序列数据的鲁棒表示。其次,采用最先进的异常检测方法的适应性学习表示,以识别异常。我们将说明WaRTEm-AD旨在检测两种类型的时间序列异常:点和序列异常。我们将WaRTEm-AD与最先进的基线进行比较,并在异常检测性能和计算效率方面建立了我们的方法的有效性。
2021-10-02 cs.LG stat.ML
Unravel Anomalies: An End-to-end Seasonal-Trend Decomposition Approach for Time Series Anomaly Detection
Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学)
针对传统时间序列异常检测方法难以处理复杂复合数据与多样异常的问题,提出端到端模型TADNet,结合季节-趋势分解关联异常与分解分量,采用合成数据预训练加微调的训练策略,在真实数据集上实现了当前最优的多类型异常检测性能。
2023-12-14 cs.AI cs.LG
SECODA: Segmentation- and Combination-Based Detection of Anomalies
UWV(荷兰乌得勒支工作与收入机构)
本研究介绍SECODA,一种新的通用无监督非参数异常检测算法的数据集包含连续和分类属性。该方法保证识别具有唯一或稀疏属性值组合的情况。连续属性被反复离散化,以便正确确定这种值组合的频率。星座的概念,指数增长的权重和离散化切割点,以及修剪启发式的最佳迭代次数来检测异常。此外,该算法具有较低的内存印记,其运行时性能与数据集的大小呈线性关系。模拟和真实数据集的评估表明,该算法能够识别许多不同类型的异常,包括复杂的多维实例。对一个真实数据集的数据质量用例的评估表明,SECODA可以为现实世界的设置带来相关和实用的价值。
2020-08-16 cs.AI cs.DB cs.LG
Explaining Anomalies in Groups with Characterizing Subspace Rules
Heinz College, Carnegie Mellon University(卡内基梅隆大学海因茨学院)
异常检测有许多应用,并已被广泛研究。我们考虑一个互补的问题,有一个稀疏的文献:异常描述。对异常的解释对于从业者进行意义判断、故障排除和计划行动至关重要。为此,我们提出了一种新的方法称为x-PACS(eXplaining Patterns of Anomalies with Characterizing Subspaces),它通过识别(1)它们形成的组(或模式)以及(2)将每个异常模式与正常实例分开的特征子空间和特征规则来“逆向工程”已知异常。分组解释异常不仅可以节省分析时间并深入了解各种类型的异常,还可以引起对潜在关键的重复异常的注意。在发展x-PACS,我们首先构建一个异常描述问题的desiderata。从描述性数据采掘的角度来看,我们的方法表现出五个所需的属性在我们的desiderata。也就是说,它可以发现异常模式(i)多种不同类型,(ii)隐藏在高维空间的任意子空间中,(iii)可由分析师解释,(iv)不同于数据的正常模式,以及最后(v)简洁,提供最短的数据描述。此外,x-PACS是高度并行化的,并在数据大小方面线性扩展。没有现有的工作异常描述同时满足所有这些属性。虽然不是我们的主要目标,但我们发现的异常模式可以作为可解释的“签名”,并可用于检测。我们展示了x-PACS在解释和检测现实世界的数据集相比,国家的最先进的有效性。
2018-05-02 cs.LG stat.ML
Using Large-Scale Anomaly Detection on Code to Improve Kotlin Compiler
JetBrains Research(JetBrains研究院);Saint Petersburg State University(圣彼得堡国立大学);JetBrains;Higher School of Economics(高等经济学院)
在这项工作中,我们应用异常检测源代码和字节码,以促进程序设计语言及其编译器的发展。我们将异常定义为与用特定程序设计语言编写的典型代码不同的代码片段。识别这些代码片段对语言开发人员和最终用户都有好处,因为异常可能表明编译器或运行时性能存在潜在问题。此外,异常可能对应于语言设计中的问题。在这项研究中,我们选择Kotlin作为目标程序设计语言。我们概述并讨论了获得源代码和字节码的向量表示以及在向量化代码片段中检测异常的方法。本文提出了一种方法,旨在检测两种类型的异常:语法树异常和所谓的编译器引起的异常,只出现在编译的字节码。我们描述了几个实验,采用不同的向量化和异常检测技术的组合,并讨论检测到的异常类型及其对语言开发人员的有用性。我们证明,提取的异常和基本的提取技术提供了额外的价值语言的发展。
2020-04-03 cs.LG cs.PL cs.SE
Learning Feature Encoder with Synthetic Anomalies for Weakly Supervised Graph Anomaly Detection
Sichuan University(四川大学);University of Connecticut(康涅狄格大学);University of Electronic Science and Technology of China(电子科技大学);University of Adelaide(阿德莱德大学)
本文提出一种弱监督图异常检测方法,通过合成异常生成鲁棒特征表示,结合多任务学习策略提升异常检测性能。
2026-05-12 cs.LG
Reconstruction Error-based Anomaly Detection with Few Outlying Examples
University of Calabria(卡拉布里亚大学)
本研究提出一种利用少量异常样本增强重建误差对比度的方法,使自编码器能将已知异常排除在正常数据域之外,从而提升半监督异常检测性能。
2024-06-05 cs.LG
LogELECTRA: Self-supervised Anomaly Detection for Unstructured Logs
NTT Social Informatics Laboratories(NTT社会信息学实验室)
针对现有日志异常检测方法在未知模板和点异常检测延迟上的局限,提出基于自监督的LogELECTRA模型,利用ELECTRA分析单行日志语义以实现点异常检测,在BGL、Sprit和Thunderbird数据集上优于现有方法。
2024-02-16 cs.LG cs.SE
Bridging Unsupervised and Semi-Supervised Anomaly Detection: A Theoretically-Grounded and Practical Framework with Synthetic Anomalies
School of Cybersecurity and Privacy, Georgia Institute of Technology(网络安全与隐私学院,佐治亚理工学院);H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology(H. Milton Stewart工业与系统工程学院,佐治亚理工学院)
本研究将无监督异常检测的合成异常原则拓展至半监督场景,提出结合已知与合成异常的理论框架,首次给出半监督AD数学表述与收敛性理论证明,经5个基准验证性能提升且方法具有普适性。
2025-06-16 cs.CR cs.LG stat.AP
Generalizing Fault Detection Against Domain Shifts Using Stratification-Aware Cross-Validation
University of California, Berkeley(加州大学伯克利分校);Arizona State University(亚利桑那州立大学)
与严重异常相比,早期异常的症状较轻,并且由于其与正常操作条件的相似性而更难以检测和诊断。训练数据中缺乏早期异常示例可能会对基于机器学习(ML)技术构建的异常检测方法造成严重风险,因为这些异常很容易被误认为是正常操作条件。为了应对这一挑战,我们建议利用集成学习提供的不确定性信息来识别潜在的错误分类的初期异常。我们在本文中表明,集成学习方法可以提高早期异常的性能,并通过对两个真实数据集的广泛实验来识别这些模型中的常见陷阱。然后,我们讨论了如何设计更有效的集成模型检测早期异常。
2020-08-20 cs.LG cs.SY eess.SY
Open-Set Graph Anomaly Detection via Normal Structure Regularisation
Monash University(蒙纳士大学);Singapore Management University(新加坡管理大学);The University of Tokyo(东京大学);The University of Melbourne(墨尔本大学)
针对开放集图异常检测中未知异常易被漏检的问题,提出正常结构正则化方法,利用结构关系学习正常表示,避免过拟合已知异常,在七个数据集上显著提升检测性能。
2025-06-20 cs.AI cs.LG cs.SI
Signed Network Embedding with Application to Simultaneous Detection of Communities and Anomalies
The Chinese University of Hong Kong(香港中文大学);Southern University of Science and Technology(南方科技大学)
本文提出一种统一的带符号网络嵌入模型,通过低秩加稀疏分解同时捕捉平衡结构与异常效应,实现社区与异常检测,并给出理论保证与实验验证。
2023-10-16 cs.LG cs.SI stat.ML
Explaining Anomalies Detected by Autoencoders Using SHAP
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
异常检测算法通常被认为是有限的,因为它们不便于领域专家执行的验证结果的过程。相比之下,用于异常检测的深度学习算法(如自动编码器)会指出异常值,从而为专家节省了检查正常情况以发现异常的耗时任务。大多数离群值检测算法为数据库中的每个实例输出一个分数。将前k个最强烈的离群值返回给用户进行进一步检查;然而,如果没有额外的线索,手动验证结果变得具有挑战性。解释一个实例为什么是异常的,使专家能够将他们的调查集中在最重要的异常上,并可能增加他们对算法的信任。最近,一个基于博弈论的框架被称为SHapley加法解释(SHAP)已被证明是有效的,在解释各种监督学习模型。在这项研究中,我们扩展SHAP来解释自动编码器(一种无监督模型)检测到的异常。所提出的方法提取和可视化描绘的功能,最有助于异常和抵消it.A使用真实世界的数据进行了初步的实验研究表明,所提出的方法在帮助领域专家了解异常和过滤掉不感兴趣的异常,旨在最大限度地减少误报率检测异常。
2020-06-30 cs.GT cs.LG stat.ML
Anomaly Detection in Driving by Cluster Analysis Twice
Wistron Corporation(纬创资通)
在驾驶中偏离正常交通模式的事件、异常情况(例如激进驾驶或颠簸道路)可能会损害运输和物流(T&L)业务的交付效率。因此,检测驾驶中的异常对于T&L行业至关重要。到目前为止,许多研究已经使用车辆传感器数据来识别异常。以前的大多数作品都是通过使用深度学习或机器学习算法来捕捉异常的,这需要事先进行训练过程和巨大的计算成本。提出了一种基于两次聚类分析的驾驶异常检测方法(ADDCAT),该方法将处理后的传感器数据按不同的物理属性进行聚类。如果一个事件从来不符合主聚类,则该事件被称为异常,这被认为是驾驶中的正常模式。这种方法提供了一种检测驾驶异常的方法,无需事先训练过程和巨大的计算成本。在开放数据集上验证了该方法的性能。
2022-12-15 cs.LG
Rare anomalies require large datasets: About proving the existence of anomalies
TU Dortmund University(杜伊斯堡-埃森大学)
本文研究何时能确凿判定数据集中存在异常,通过超300万次统计测试,发现数据集大小、污染率与算法常数 $ α_{\text{algo}} $ 间的关系,提出证明异常存在所需样本数下界为 $ N \ge \frac{α_{\text{algo}}}{ν^2} $。
2025-08-13 cs.AI cs.LG
Memory-augmented Adversarial Autoencoders for Multivariate Time-series Anomaly Detection with Deep Reconstruction and Prediction
Beijing Jiaotong University(北京交通大学)
由于当今IT监控系统的维度和复杂性的增加,在没有人工监督的情况下检测多变量时间序列的异常仍然是一个具有挑战性的问题。无监督时间序列异常检测的最新进展主要使用深度自编码器来解决这个问题,即在正常样本上进行训练,并在异常输入上产生显著的重建误差。然而,在实践中,由于神经网络的强大功能,自编码器可以很好地重建异常。此外,这些方法对于识别非点异常(例如,上下文异常和集体异常)可能是无效的,因为它们仅利用逐点重建目标。为了解决上述问题,我们提出了MemAAE(\textit{Memory-augmented Adversarial Autoencoders with Deep Reconstruction and Prediction}),一种新的无监督的时间序列异常检测方法。通过联合训练两个互补的代理任务,重建和预测,与共享的网络架构,我们表明,通过多个任务检测异常获得优越的性能,而不是单任务训练。此外,引入压缩记忆模块来保存正常模式,避免对异常输入的意外泛化。通过广泛的实验,MemAAE在四个公共数据集上的总体F1得分为0.90,显著优于最佳基线0.02。
2021-10-15 cs.LG
Robust Anomaly Detection in Images using Adversarial Autoencoders
Ludwig-Maximilians-University Munich(路德维希-马克西米利安慕尼黑大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
可靠地检测给定图像集合中的异常对于视觉质量检查、监视或医学图像分析而言是具有高度实际相关性的任务。自动编码器神经网络学习重建正常图像,因此可以将这些图像分类为异常,其中重建误差超过某个阈值。在这里,我们分析了这种方法的一个基本问题,当训练集被一小部分离群值污染时。我们发现,持续训练的自编码器不可避免地减少异常值的重建误差,从而降低异常检测性能。为了抵消这种影响,采用了对抗性自动编码器架构,该架构对潜在表示施加了先验分布,通常将异常放置在低可能性区域中。利用似然模型,可以在训练期间识别和拒绝潜在的异常,这导致异常检测器在训练期间对异常值的存在显著更鲁棒。
2019-01-18 cs.CV cs.LG stat.ML
Reconciling Attribute and Structural Anomalies for Improved Graph Anomaly Detection
School of Computer and Information Engineering, Henan University(河南大学计算机与信息工程学院);School of Information and Software Engineering, University of Electronic Science and Technology of China(电子科技大学信息与软件工程学院);Yangtze Delta Region Institute (Quzhou), University of Electronic Science and Technology of China(电子科技大学长江三角洲地区研究所(衢州));Quzhou Affiliated Hospital of Wenzhou Medical University, Quzhou People’s Hospital(温州医学院衢州附属医院,衢州人民医院)
针对图异常检测中属性与结构异常的拉锯战问题,提出基于互蒸馏的三通道框架TripleAD,通过多尺度属性估计、链路增强结构估计和属性混合曲率分别检测属性、结构和混合异常,并在实验中验证了其优于强基线的有效性。
2025-06-30 cs.LG cs.SI
MetaGAD: Meta Representation Adaptation for Few-Shot Graph Anomaly Detection
Illinois Institute of Technology(伊利诺伊理工学院);Northwestern University(西北大学);Emory University(埃默里大学)
本文研究少样本图异常检测问题,提出基于元学习的框架MetaGAD,通过双层优化将自监督学习知识适应到少样本监督学习中,有效克服异常不规则性与过拟合挑战,在六个真实数据集上验证了其有效性。
2024-08-23 cs.AI cs.CR cs.LG
A Taxonomy of Anomalies in Log Data
Technische Universität Berlin(柏林工业大学)
日志数据异常检测是面向IT运营的人工智能领域的核心组成部分。然而,大量的现有方法使得很难为特定系统选择正确的方法。更好地了解不同类型的异常,以及哪些算法适合检测它们,将为研究人员和IT运营商提供支持。虽然已经存在一种常见的异常分类法,但它尚未专门应用于日志数据,指出了该领域的特征和特殊性。本文提出了不同类型日志数据异常的分类法,并介绍了一种在标记数据集中分析此类异常的方法。我们将我们的分类应用于三个常见的基准数据集Thunderbird,Spirit和BGL,并训练了五种最先进的无监督异常检测算法,以评估它们在检测不同类型异常时的性能。我们的研究结果表明,最常见的异常类型也是最容易预测的。此外,基于深度学习的方法在所有异常类型中都优于基于数据采掘的方法,尤其是在检测上下文异常时。
2021-11-26 cs.DB cs.GL cs.LG
Robust Spatiotemporally Contiguous Anomaly Detection Using Tensor Decomposition
Michigan State University(密歇根州立大学)
针对现有时空异常检测方法难捕捉依赖关系、多为有监督且无统计置信度的问题,提出一种结合异常稀疏性与时空平滑性的无监督张量分解方法及统计评分框架,在合成与真实数据上验证了有效性。
2025-10-01 cs.LG stat.ME stat.ML
Framing Algorithmic Recourse for Anomaly Detection
Virginia Tech(弗吉尼亚理工大学);University of Texas, Dallas(德克萨斯大学达拉斯分校)
算法追索权的问题已经被探索用于监督机器学习模型,以从决策支持系统提供更可解释、透明和鲁棒的结果。一个未探索的领域是异常检测的算法资源,特别是对于只有离散特征值的表格数据。这里的问题是提出一组被底层异常检测模型视为正常的反事实,以便应用程序可以利用此信息进行解释或推荐对策。本文提出了一种有效的、可扩展的、对底层异常检测模型不可知的方法--表数据中异常的上下文保持查询追索权(CARAT)。CARAT使用基于Transformer的编码器-解码器模型,通过查找具有低可能性的特征来解释异常。随后,通过修改突出显示的特征,使用异常实例中特征的整体上下文来生成语义上连贯的反事实。大量的实验有助于证明CARAT的功效。
2022-06-29 cs.AI cs.LG stat.ME
Sensor Data Simulation for Anomaly Detection of the Elderly Living Alone
Graduate School of Information Science and Technology(信息科学与技术学院);Hokkaido University(北海道大学)
本文提出一种新型传感器数据仿真器,可建模长期状态转移和异常间相关性,生成包含状态、活动和移动三类异常的10年独居老人数据,并在模拟真实日常变化上优于现有方法。
2023-12-28 cs.HC cs.LG eess.SP
FadMan: Federated Anomaly Detection across Multiple Attributed Networks
Tianjin University(天津大学);WeBank(微众银行)
异常子图检测已广泛应用于各种应用中,从计算机网络中的网络攻击到社交网络中的恶意活动。尽管越来越需要跨多个属性网络的联合异常检测,但只有有限数量的方法可用于此问题。联邦异常检测面临两个主要挑战。一个是大多数行业中的孤立数据限制与其他人共享,以保护数据隐私和安全。另一种是基于数据集成的集中式培训方法。联合异常检测的主要思想是将本地数据所有者的私有异常与服务器中属性网络的公共异常进行对齐,通过公共异常联合本地异常。在每个私有属性网络中,检测到的异常子图与公共属性网络中的异常子图对齐。在防止本地私有数据泄漏的同时,选择显著的公共异常子图用于联合私有异常。FadMan算法是一个垂直的联邦学习框架,适用于公共节点和多个不同特征的私有节点的联合学习,并在多属性网络上的异常检测和无属性网络上的异常检测两个任务上进行了验证。在第一种情况下,FadMan在10%的噪声水平下至少有12%的准确率优于竞争对手的方法。在第二种情况下,通过分析异常节点的分布,我们发现流量异常的节点与同一天的考研事件相关联。
2022-05-27 cs.AI cs.LG
Enhancing Anomaly Detection via Generating Diversified and Hard-to-distinguish Synthetic Anomalies
Chung-Ang University(中央大学);Korea University(高丽大学)
针对无监督异常检测中特定领域变换难定义、合成异常易区分的问题,提出带条件扰动器和判别器的领域无关方法,通过扰动正交与近邻约束生成多样难区分的合成异常,在图像与表格数据上性能优于SOTA,且适配半监督场景。
2024-09-16 cs.AI cs.LG
Kinematic Detection of Anomalies in Human Trajectory Data
Emory University(埃默里大学)
本文利用 Geolife 轨迹数据集研究人类移动的动力学特征,发现个体具有独特的“动力学特征画像”,并证明将简单动力学特征输入标准分类和异常检测算法可显著提升个体识别与异常检测效果。
2024-09-27 cs.AI cs.LG
Detecting Log Anomalies with Multi-Head Attention (LAMA)
Huawei Technologies Co., Ltd(华为技术有限公司)
异常检测是一个重要的和具有挑战性的课题,已经在不同的研究领域进行了研究。在这项工作中,我们探讨的任务日志异常检测(特别是计算机系统日志和用户行为日志)通过分析日志的顺序信息。我们提出了LAMA,一个基于多头注意力的顺序模型来处理日志流作为模板活动(事件)序列。应用下一事件预测任务来训练用于异常检测的模型。大量的实证研究表明,该模型优于现有的日志异常检测方法,包括统计和深度学习方法,验证了该方法在学习日志数据序列模式方面的有效性。
2021-01-07 cs.CR cs.LG
Detection of anomalies in cow activity using wavelet transform based features
INRAE(法国国家农业、食品与环境研究院);VetAgro Sup(法国兽医食品与环境高等学院);Ghent University(根特大学)
本研究利用小波变换特征结合孤立森林算法,检测奶牛活动时间序列中的异常,以识别疾病或发情状态,并能早于人工标注发现异常,便于及时干预。
2025-02-28 cs.CE cs.LG
AnoOnly: Semi-Supervised Anomaly Detection with the Only Loss on Anomalies
University of Electronic Science and Technology of China(电子科技大学);Juntendo University(顺天堂大学);RIKEN(理化学研究所)
AnoOnly提出一种仅对异常进行损失监督的半监督异常检测框架,通过暂停对正常数据的严格监督并利用批归一化实现弱监督,以平衡数据不平衡,提升检测性能并增强对标签噪声的鲁棒性。
2023-09-06 cs.AI cs.LG
GLAD: Group Anomaly Detection in Social Media Analysis- Extended Abstract
University of Southern California(南加州大学)
传统的社交媒体异常检测多集中在单个点的异常上,而异常现象通常发生在群体中。因此,研究个体的集体行为和发现群体异常是有价值的。现有的群体异常检测方法依赖于群体已知的假设,这在现实世界的社交媒体应用中几乎是不可能的。在本文中,我们采取了生成的方法,提出了一个分层贝叶斯模型:组潜在异常检测(GLAD)模型。GLAD以成对和逐点数据作为输入,自动推断组并同时检测组异常。为了考虑社交媒体数据的动态特性,我们进一步将GLAD推广到其动态扩展d-GLAD。我们进行了广泛的实验,以评估我们的模型在合成和现实世界的数据集。实验结果表明,我们的方法是有效的和强大的发现潜在群体和检测群体异常。
2014-10-07 cs.LG cs.SI
High Significant Fault Detection in Azure Core Workload Insights
Microsoft(微软)
本文研究Azure Core时间序列数据中的高显著性故障检测,提出自动识别具有高用户感知度和高重建误差的异常(如每小时5-20个)及其关联信息,以便在仪表板上向用户突出显示。
2024-07-25 cs.AI cs.DC cs.LG
A Multivariate Statistical Framework for Detection, Classification and Pre-localization of Anomalies in Water Distribution Networks
Institute of Computer Science and Information Technologies, National Technical University "Kharkiv Polytechnic Institute"(计算机科学与信息科技研究所,国家技术大学"Kharkiv 工程学院");Informatics Institute, University of Amsterdam(信息学院,阿姆斯特丹大学);Bernoulli Institute, University of Groningen(伯努利研究所,格罗宁根大学)
本文提出SICAMS框架,通过多元统计分析实现水供网络中异常的检测、分类和预定位,利用T²统计量评估系统健康状态并估计水损失。
2025-12-17 cs.LG
Classification of Anomalies in Telecommunication Network KPI Time Series
Concordia University(康考迪亚大学);EXFO Inc.(EXFO公司)
针对电信网络KPI异常分类研究不足,提出模块化分类框架,分离检测与分类,通过模拟器生成数据并训练模型,在真实数据上验证了良好性能。
2023-08-30 cs.LG
k-Parameter Approach for False In-Season Anomaly Suppression in Daily Time Series Anomaly Detection
Bell Canada(加拿大贝尔公司)
针对每日时间序列中周模式导致的季节性内虚假异常,提出k-参数方法,通过可配置容差抑制误报并保留真实异常,取得良好效果。
2023-11-10 cs.LG
SPADE: Semi-supervised Anomaly Detection under Distribution Mismatch
Google Cloud AI(谷歌云人工智能)
半监督异常检测是一个常见的问题,因为包含异常的数据集通常是部分标记的。我们提出了一个规范的框架:半监督的伪标签异常检测与集成(SPADE),它不受标记和未标记数据来自相同分布的假设的限制。事实上,在许多应用中,这一假设经常被违反-例如,标记数据可能只包含与未标记数据不同的异常,或者未标记数据可能包含不同类型的异常,或者标记数据可能只包含“易于标记”的样本。SPADE利用一类分类器的集成作为伪标记器,以提高伪标记对分布失配的鲁棒性。提出了部分匹配方法,在没有验证数据的情况下自动选择伪标记的关键超参数,这对于有限的标记数据至关重要。SPADE在表格和图像域中具有分布不匹配的各种场景中显示了最先进的半监督异常检测性能。在一些常见的现实环境中,例如面对新类型的未标记异常的模型,SPADE的平均性能优于最先进的替代品5%的AUC。
2022-11-30 cs.LG
State Frequency Estimation for Anomaly Detection
Delft University of Technology(代尔夫特理工大学);Thales SIX GTS France(泰雷兹法国SIX公司)
本文提出无监督方法 SEQUENT,通过状态机的状态访问频率动态调整异常评分并生成根因,在三个 NetFlow 数据集上验证了其检测网络异常的有效性。
2025-03-10 cs.CR cs.LG
Open-Set Multivariate Time-Series Anomaly Detection
McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所)
本文提出MOSAD框架,通过少量标注异常样本和异常感知对比头构建共享表示空间,解决开放集多变量时间序列异常检测问题,并在三个真实数据集上取得最优性能。
2024-08-07 cs.LG
Unraveling Anomalies in Time: Unsupervised Discovery and Isolation of Anomalous Behavior in Bio-regenerative Life Support System Telemetry
本研究针对南极 EDEN ISS 空间温室遥测数据,利用时间序列聚类对异常检测结果进行分类,评估了识别系统性异常行为的有效性,并证实 MDI 和 DAMP 方法能产生互补结果。
2024-09-26 cs.AI cs.IR cs.LG
CurvGAD: Leveraging Curvature for Enhanced Graph Anomaly Detection
Carnegie Mellon University(卡内基梅隆大学)
CurvGAD 提出混合曲率图自编码器,通过曲率等变几何重建和曲率不变结构与属性重建两条并行流水线,利用网络内在曲率识别几何异常并解耦非几何异常,在 10 个真实数据集上相比最先进 GAD 方法提升最高 6.5%。
2025-06-04 cs.AI cs.LG
CoBAD: Modeling Collective Behaviors for Human Mobility Anomaly Detection
Carnegie Mellon University(卡内基梅隆大学)
针对集体移动异常检测未被充分探索的问题,提出CoBAD模型,通过两阶段注意力机制建模个体时空依赖与交互,检测意外共现和缺席异常,在大规模数据集上AUCROC和AUCPR显著优于基线。
2025-08-13 cs.AI cs.LG cs.SI
Dependency-based Anomaly Detection: a General Framework and Comprehensive Evaluation
University of South Australia(南澳大学);Hefei University of Technology(合肥工业大学)
该研究提出利用变量依赖关系的通用异常检测框架DepAD,将无监督任务重构为有监督任务以实现定制化,实验验证其两种算法性能优于9种现有方法且可解释性更强。
2024-04-17 cs.AI cs.LG
Redefining Maritime Anomaly Detection via Equation-Grounded Synthetic Anomalies
Seoul National University(首尔国立大学);KRISO(韩国海洋研究组织)
针对海上异常检测中缺乏标签和交互驱动异常的问题,提出基于方程引导的异常分类法,并构建统一评分-合成-标注流程,生成时间戳级标签,评估多种模型性能。
2026-06-29 cs.AI cs.LG
Am I Rare? An Intelligent Summarization Approach for Identifying Hidden Anomalies
Macquarie University(麦考瑞大学);Arizona State University(亚利桑那州立大学)
监控网络流量数据以检测任何隐藏的异常模式是一项具有挑战性且耗时的任务,需要大量的计算资源。为此,适当的摘要技术是非常重要的,它可以替代原始数据。然而,汇总的数据受到消除异常的威胁。因此,创建能够反映与原始数据相同模式的摘要至关重要。因此,在本文中,我们提出了一个智能总结方法来识别隐藏的异常,称为智能。所提出的方法保证了在汇总数据中保持原始数据的分布。我们的方法是一个基于聚类的算法,动态映射到一个新的特征空间的原始特征空间,在每个集群的本地加权功能。因此,在新的特征空间中,相似的样本更接近,因此,离群值更容易检测。此外,根据聚类大小选择代表,在汇总数据中保持与原始数据相同的分布。异常检测算法既可以作为异常检测算法执行前的预处理方法,也可以作为异常检测算法执行前的预处理方法。在基准数据集上的实验结果证明,在异常检测任务中,数据摘要可以替代原始数据。
2021-12-19 cs.AI cs.LG
Brittle Features May Help Anomaly Detection
University College London(伦敦大学学院)
单类异常检测具有挑战性。一个能够清楚区分异常和正常数据的表示是理想的,但是达到这个表示是困难的,因为在训练时只有正常数据可用。我们检查的表现,从辅助任务,异常检测。我们的研究结果表明,表示的选择是更重要的异常检测器使用这些表示,虽然知识蒸馏可以更好地工作比直接使用的表示。此外,异常和正常数据之间的可分性是重要的,但不是一个良好的表示的唯一因素,异常检测性能也与表示空间中的更不利的脆性功能。最后,我们展示了我们的配置可以在真正的X射线安全数据集中检测到96.4%的异常,优于以前的结果。
2021-04-21 cs.CV cs.LG
Context-Dependent Anomaly Detection for Low Altitude Traffic Surveillance
Aarhus University(奥胡斯大学)
背景异常的检测是一项具有挑战性的任务,因为在特定的环境背景下,观察可以被认为是异常的或正常的。无人驾驶飞行器(UAV)可以利用其空中监测能力并采用多个传感器来收集关于环境的上下文信息并执行上下文异常检测。在这项工作中,我们引入了一种基于深度神经网络的方法(CADNet)来发现点异常(即,单实例异常数据)和上下文异常(即,特定环境异常)。该方法是基于一个变分自编码器(VAE)与上下文子网络。上下文子网络使用GPS和时间数据提取关于环境的上下文信息,然后将其馈送到VAE以预测以上下文为条件的异常。据我们所知,我们的方法是第一个上下文异常检测方法的无人机辅助空中监视。我们评估我们的方法上的AU-AIR数据集在交通监控场景。对几个基线的定量比较表明,我们的方法在异常检测任务的优越性。代码和数据将在www.example.com上提供。
2021-04-14 cs.CV cs.LG
F-FADE: Frequency Factorization for Anomaly Detection in Edge Streams
Stanford University(斯坦福大学);Purdue University(普渡大学);Barracuda Networks(梭子鱼网络公司)
边缘流通常用于捕获动态网络中的交互,例如电子邮件、社交或计算机网络。边缘流中异常或罕见事件的检测问题有着广泛的应用。然而,由于缺乏标签,交互的高度动态性以及网络中时间和结构变化的纠缠,它带来了许多挑战。目前的方法在解决上述挑战和有效处理大量相互作用的能力方面是有限的。在这里,我们提出了F-FADE,边缘流中的异常检测的一种新方法,它使用了一种新的频率因子分解技术,有效地模拟节点对之间的相互作用的频率的时间演化分布。然后,基于观察到的每个传入交互的频率的可能性来确定异常。F-FADE能够在在线流媒体设置中处理具有时间和结构变化的各种异常,同时仅需要恒定的内存。我们在一个合成网络和六个真实动态网络上的实验表明,F-FADE实现了最先进的性能,并且可以检测到以前的方法无法发现的异常。
2021-02-05 cs.LG cs.SI
Low-rank on Graphs plus Temporally Smooth Sparse Decomposition for Anomaly Detection in Spatiotemporal Data
Michigan State University(密歇根州立大学)
时空数据的异常检测是高光谱成像、视频监控、城市交通监控等应用中面临的一个具有挑战性的问题。现有的异常检测方法大多适用于序列数据中的点异常,不能处理时空数据中出现的时间和空间依赖性。近年来,已经提出了基于张量的异常检测方法来解决这个问题。这些方法依赖于传统的张量分解模型,不考虑异常的结构,并且是监督或半监督的。我们引入了一种无监督的基于张量的异常检测方法,该方法考虑了异常的稀疏性和时间连续性。特别是,异常检测问题被制定为一个强大的lowrank +稀疏张量分解与正则化项,最大限度地减少稀疏部分的时间变化,使提取的异常是时间持久的。为了降低优化算法的复杂度,我们还用图总变差最小化来近似秩最小化。由此产生的优化问题是凸的,可扩展的,并对丢失的数据和噪声是强大的。综合和真实的时空城市交通数据,并与基线方法相比,建议的框架进行评估。
2020-10-23 cs.DS cs.LG eess.SP
Unsupervised Anomaly Detection in Stream Data with Online Evolving Spiking Neural Networks
Warsaw University of Technology(华沙理工大学);TECNALIA(泰克纳利亚);University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU))
流数据中的无监督异常发现是一个具有实际应用价值的研究课题。然而,在许多情况下,不容易收集具有标记的异常的足够训练数据用于异常检测器的监督学习,以便稍后部署它来识别流数据中的真实异常。因此,重要的是设计能够在不访问标记的训练数据的情况下正确地检测异常的异常检测器。我们的想法是适应在线进化脉冲神经网络(OeSNN)分类器的异常检测任务。因此,我们提供了一个在线进化的脉冲神经网络的无监督异常检测算法(OeSNN-UAD),它,不像OeSNN,工作在一个无监督的方式,不分离输出神经元到不相交的决策类。OeSNN-UAD使用我们提出的新的两步异常检测方法。此外,我们推导出OeSNN的神经元模型和输入层编码的新的理论性质,这使得我们的OeSNN-UAD方法能够更有效地检测异常。所提出的OeSNN-UAD检测器与Numenta Anomaly Benchmark和Yahoo Anomaly Datasets存储库中的流数据中的异常的最先进的无监督和半监督检测器进行了实验比较。我们的方法优于文献中提供的其他解决方案的情况下,从Numenta异常基准存储库的数据流。此外,在雅虎异常基准存储库的真实数据文件的情况下,OeSNN-UAD优于其他选定的算法,而在雅虎异常基准合成数据文件的情况下,它提供了有竞争力的结果,最近在文献中报道的结果。
2021-03-08 cs.AI cs.LG cs.NE
Boosting Fine-Grained Visual Anomaly Detection with Coarse-Knowledge-Aware Adversarial Learning
Sun Yat-sen University(中山大学);Guangdong Key Laboratory of Big Data Analysis and Processing(广东省大数据分析与处理重点实验室);The Hong Kong Polytechnic University(香港理工大学);Pazhou Lab(琶洲实验室)
本文提出一种粗粒度知识感知对抗学习方法,通过收集少量粗标注异常数据并对齐重建特征与正常特征分布,抑制自编码器对异常的重建,提升细粒度视觉异常检测与定位精度,在医学和工业数据集上验证了有效性。
2024-12-17 cs.AI cs.CV cs.LG