Outlier Detection through Null Space Analysis of Neural Networks
University of Florida（佛罗里达大学）
许多机器学习分类系统缺乏能力意识。具体地，许多系统缺乏识别何时异常值（例如，与训练数据分布不同且未在其中表示的样本）被呈现给系统。检测异常值的能力具有实际意义，因为它可以帮助系统在遇到意外数据时以合理的方式运行。在先前的工作中，离群值检测通常在与分类模型不同的处理管道中进行。因此，对于一个包含离群值检测和分类的完整系统，必须训练两个模型，从而增加了该方法的整体复杂性。在本文中，我们使用的零空间的概念，集成离群值检测方法直接到一个神经网络用于分类。我们的方法，称为神经网络的空间分析（NuSA），其工作原理是计算和控制的零空间投影的大小，数据通过网络。使用这些预测，我们可以计算出一个可以区分正常和异常数据的分数。结果表明，用NuSA训练的网络保留了它们的分类性能，同时也能够以类似于常用离群值检测算法的速度检测离群值。
2020-07-02 cs.LG stat.ML
Model-based Exception Mining for Object-Relational Data
Simon Fraser University（西蒙弗雷泽大学）
这篇文章是基于以前的出版物[29]。我们的工作扩展异常挖掘和离群值检测的情况下，对象关系数据。对象关系数据表示一个复杂的异构网络[12]，它包括不同类型的对象，这些对象之间的链接，也是不同类型的，以及这些链接的属性。这种特殊的结构禁止直接的矢量数据表示。我们遵循成熟的异常模型挖掘框架，该框架利用机器学习模型进行异常挖掘：对象是异常的，因为为对象数据学习的模型不同于为一般人群学习的模型。异常对象可以被视为离群值。我们应用最先进的概率建模技术的对象关系数据，构建一个图形化的模型（贝叶斯网络），其中companion表示数据中的概率关联。一个新的度量，来自学习对象-关系模型，量化的程度，一个潜在的离群值的个体关联模式偏离整个人口。该度量基于两个参数向量的似然比：一个表示总体关联，另一个表示个体关联。我们的方法在合成数据集和真实世界的足球比赛和电影数据集上进行了验证。与基线方法相比，我们的新转换似然比在所有数据集上都达到了最佳的检测精度。
2018-07-01 cs.AI cs.LG stat.ML
A Functional Data Analysis Approach to Evolution Outlier Detection for Grouped Smart Meters
智能计量基础设施以细粒度长时间序列的形式几乎连续地收集数据。这些海量数据系列通常具有共同的日常模式，这些模式在相似的日子或季节之间重复，并在分组仪表之间共享。在此背景下，我们提出了一种无监督的方法来突出具有异常日常依赖模式的个体，我们称之为进化离群值。为此，我们从功能数据分析（FDA）的角度来处理这个问题，我们使用功能深度的概念来利用动态组结构，并隔离具有不同演变的单个仪表。该建议的性能首先通过不同的演变情景下的模拟演习经验评估。随后，通过使用对应于光伏能量产生和电路电压记录的实际智能计量数据，示出了演化离群值检测方法的重要性和需要。在这里，我们的建议检测离群值，这些离群值可能被文献中的其他方法所忽视，这些方法已被证明可以有效地捕获幅度和形状异常。
2022-10-07 stat.AP stat.ME
Memorize Early, Then Query: Inlier-Memorization-Guided Active Outlier Detection
IMBoost通过强化内群记忆效应，结合主动学习提升异常检测性能，实验表明其在准确性和效率上均优于现有方法。
2026-01-19 cs.LG stat.ML
Functional Outlier Detection and Taxonomy by Sequential Transformations
功能数据分析可能会受到异常观测值的严重影响，这些异常观测值可以根据其偏离大部分数据的方式被分类为幅度或形状异常值。识别幅度异常值相对容易，而检测形状异常值则更具挑战性。我们建议通过数据转换将形状异常值转化为幅度异常值，并使用功能箱形图检测它们。除了简化检测过程外，顺序应用几个转换还为标记的离群值提供了合理的分类。一个联合功能排名，其中包括几个转换，也定义在这里。仿真研究进行了评估所提出的方法使用不同的功能深度的概念的性能。在几个实际应用中得到有趣的结果。
2020-03-21 stat.CO stat.ME
Learning to Rank Anomalies: Scalar Performance Criteria and Maximization of Two-Sample Rank Statistics
收集和存储越来越大的数据库的能力一直伴随着有效处理它们的需求。在许多情况下，大多数观测具有相同的行为，而这些观测中可能有一小部分是异常的。检测后者（定义为离群值）是机器学习应用的主要挑战之一（例如，在欺诈检测或预测性维护中）。在本文中，我们提出了一种方法来解决离群点检测的问题，通过学习一个数据驱动的评分函数定义的特征空间，反映了异常程度的观察。这个评分函数是通过一个精心设计的二元分类问题，其经验标准采取的形式是一个双样本的线性秩统计量的理论结果是可用的。我们说明我们的方法与初步令人鼓舞的数值实验。
2021-09-20 math.ST stat.ML stat.TH
Unsupervised Event Outlier Detection in Continuous Time
McGill University（麦吉尔大学）；Borealis AI（博雷亚利斯人工智能公司）
本文提出首个基于GAN和强化学习的无监督事件异常检测框架，通过生成器在线纠正异常并辅助判别器学习，实验证明其检测准确率优于现有方法。
2024-11-25 cs.AI cs.LG
Three Revisits to Node-Level Graph Anomaly Detection: Outliers, Message Passing and Hyperbolic Neural Networks
Duke Kunshan University（昆山杜克大学）
该研究从离群点注入、消息传递影响、双曲神经网络应用三方面重新审视无监督节点级图异常检测，发现消息传递会导致性能下降，明确了双曲网络的关键设计，为该领域方法优化提供了通用策略。
2024-03-06 cs.LG
Network Volume Anomaly Detection and Identification in Large-scale Networks based on Online Time-structured Traffic Tensor Tracking
本文讨论了网络异常，即从间接链路测量推断网络级异常的问题。这个问题被转换为一个低秩子空间跟踪问题的正常流量下的不完全观测，和异常流量的离群点检测问题。由于交通数据是大规模的时间结构数据，伴随着噪声和部分观测下的离群值，一个有效的建模方法是必不可少的。为此，本文提出了一种在线子空间跟踪的Hankelized的时间结构的流量张量的正常流量的Candecomp/PARAFAC分解的基础上，利用递归最小二乘（RLS）算法。我们估计异常流作为离群稀疏流通过稀疏最大化的基本约束下的线性逆问题。一个主要的优点是，我们的算法估计正常流量的低维矩阵的时间方向的功能，以及多个链接的空间相关性，而不使用过去观察到的测量和过去的模型参数。大量的数值计算结果表明，该算法实现了更快的收敛，每次迭代的模型近似，和更好的体积异常检测性能相比，国家的最先进的算法。
2016-08-19 cs.NI stat.ML
Anomalous Sound Detection as a Simple Binary Classification Problem with Careful Selection of Proxy Outlier Examples
Johannes Kepler University（约翰内斯·开普勒大学）；Software Competence Center Hagenberg GmbH（哈根贝格软件能力中心有限公司）
无监督的异常声音检测涉及识别偏离定义为“正常”的声音，而不明确指定异常的类型。一个重要的障碍是异常值的多样性和稀有性，这通常会阻止我们收集一组有代表性的异常声音。因此，大多数异常检测方法使用无监督而不是有监督的机器学习方法。尽管如此，我们将表明，异常声音检测可以有效地框架作为一个监督分类问题，如果一组异常样本被仔细替换我们所谓的代理离群值。代理异常值的候选者大量可用，因为它们可能包括既不正常也不异常的声音的所有录音。我们对2020年DCASE挑战赛的机器状态监测数据集进行了实验，发现了具有匹配记录条件和与目标声音高度相似性的代理异常值，这些异常值特别具有信息性。如果没有具有相似声音和匹配记录条件的数据可用，则优选在这两个维度上具有较大多样性的数据集。我们的模型基于有代理离群值的监督训练，在DCASE2020挑战赛的任务2中排名第三。
2020-11-05 cs.LG cs.SD eess.AS
Functional outlier detection by a local depth with application to NOx levels
本文提出的方法来检测异常值的功能数据集和识别非典型曲线的任务是使用最近提出的核函数空间深度（KFSD）。KFSD是一个局部深度，可以用来从最中心到最不中心排序样本的曲线，并且由于异常值通常在最不中心的曲线中，我们提出了一个概率结果，该结果允许选择KFSD的阈值，使得深度值低于阈值的曲线被检测为异常值。基于这一结果，我们提出了三个新的离群值检测程序。模拟研究的结果表明，我们的建议一般优于电池的竞争对手。我们将我们的程序应用到一个真实的数据集，包括氮氧化物（NOx）的排放水平的每日曲线，因为它是感兴趣的，以确定异常的NOx水平，采取必要的环境政治行动。
2015-06-16 stat.ME
ICS for complex data with application to outlier detection for density data
本文在抽象欧几里得空间中提出ICS的无坐标定义，将其扩展到函数型和分布型复杂数据，用于异常检测，并在低异常比例模拟及越南气温分布数据中验证了有效性。
2025-05-26 math.ST stat.ME stat.TH
SUOD: Toward Scalable Unsupervised Outlier Detection
H. John Heinz III College, Carnegie Mellon University（卡内基梅隆大学海因茨三世学院）；Machine Learning Department, Carnegie Mellon University（卡内基梅隆大学机器学习系）
离群点检测是机器学习识别异常数据对象的关键领域。由于获取地面真实值的成本很高，在实践中经常选择无监督模型。为了弥补无监督算法的不稳定性，来自金融、健康和安全等高风险领域的从业者更喜欢构建大量模型以进行进一步的组合和分析。然而，这对高维大型数据集的可扩展性提出了挑战。在这项研究中，我们提出了一个名为SUOD的三模块加速框架，以加快大量无监督检测模型的训练和预测。SUOD的随机投影模块可以为高维数据集生成较低的子空间，同时保留它们的距离关系。平衡并行调度模块可以高置信度地预测模型的训练和预测成本，因此任务调度器可以在工作者之间分配几乎相等的任务负载，以实现高效的并行化。SUOD还附带了一个伪监督近似模块，它可以通过较低的时间复杂度监督回归来近似拟合的无监督模型，以便对未知数据进行快速预测。它可以被认为是一个无监督的模型知识蒸馏过程。值得注意的是，所有三个模块都是独立的，具有很大的灵活性，可以“混合和匹配”;可以根据用例选择模块的组合。在30多个基准数据集上的大量实验表明了SUOD的有效性，并提出了一个全面的未来发展计划。
2020-02-08 cs.IR cs.LG stat.ML
Functional outlier detection for density-valued data with application to robustify distribution to distribution regression
分布数据分析是在功能数据分析（FDA）框架下对随机概率密度函数（PDF）组成的数据对象进行统计分析和建模的研究，近年来受到了广泛的关注。然而，许多重要的方面仍然没有探索，如离群值检测和鲁棒性。现有的函数离群点检测方法主要用于普通函数数据，应用于PDF时通常表现不佳。为了填补这一空白，本研究的重点是PDF值离群检测，以及其在稳健分布回归中的应用。与普通函数数据类似，检测由大量PDF形成的“曲线网”掩盖的形状异常值是PDF异常值检测中的主要挑战。为此，我们提出了一个树结构的转换系统的特征提取以及转换的形状离群值容易检测的幅度离群值，相关的离群值检测器设计的特定的转换数据。还提出了一种多重检测策略，以考虑检测的不确定性，并将不同的检测器结合起来，形成一个更可靠的检测工具。此外，我们提出了一种基于分布回归的方法来检测PDF值二元组的异常关联。作为一个具体的应用，建议的离群值检测方法适用于robustify的分布到分布回归方法，我们开发了一个强大的估计器的回归算子通过降低检测到的离群值。所提出的方法进行了验证和评估，通过广泛的模拟研究或实际数据的应用。相关的比较研究表明，与其他竞争对手的分布式离群检测方法的优越性。
2021-10-02 stat.ME
Robust Function-on-Function Regression
函数线性回归是一种广泛使用的方法来模拟功能输入的功能响应。然而，经典的函数线性回归模型会受到异常值的严重影响。因此，我们引入了一个Fisher一致的强大的功能线性回归模型，能够有效地拟合数据中存在的离群值。该模型是建立使用强大的功能主成分和最小二乘回归估计。函数线性回归模型的性能取决于所使用的主成分的数量。因此，我们引入了一个一致的鲁棒模型选择过程来选择主成分的数量。我们稳健的功能性线性回归模型可与离群值检测程序一起使用，以有效地识别异常功能反应。仿真研究表明，我们的方法能够有效地捕捉回归行为的离群值的存在，并能够找到离群值具有较高的精度。我们证明了我们的方法对喷气发动机传感器数据的实用性。我们确定离群值，将不会被发现，如果功能性反应建模独立的功能性输入，或使用非鲁棒性的方法。
2019-08-30 stat.AP stat.ME
SUOD: Accelerating Large-Scale Unsupervised Heterogeneous Outlier Detection
Carnegie Mellon University（卡内基梅隆大学）；Peking University（北京大学）；Purdue University（普渡大学）；Arima Inc.（Arima公司）；IQVIA（艾昆纬）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
离群点检测（Outlier Detection，OD）是一项关键的机器学习（Machine Learning，ML）任务，用于从一般样本中识别异常对象，具有许多高风险应用，包括欺诈检测和入侵检测。由于缺乏基础事实标签，从业者通常必须构建大量无监督的异构模型（即，具有不同超参数的不同算法）进行进一步的组合和分析，而不是依赖于单个模型。如何使用大量无监督的异构OD模型，通过outlyingness（在本文中称为预测）来加速对新样本的训练和评分？在这项研究中，我们提出了一个模块化的加速系统，称为SUOD，以解决它。所提出的系统侧重于三个互补的加速方面（数据减少高维数据，近似昂贵的模型，和任务负载不平衡优化的分布式环境），同时保持性能的准确性。在20多个基准数据集上进行的大量实验证明了SUOD在异构OD加速方面的有效性，以及领先的医疗保健公司IQVIA欺诈索赔分析的真实部署案例。我们开源SUOD以实现可重复性和可访问性。
2021-03-05 cs.DC cs.IR cs.LG
Covariate-dependent control limits for the detection of abnormal price changes in scanner data
目前，消费品的大规模销售数据，称为扫描仪数据，是通过在零售店的销售点扫描单个产品的条形码获得的。许多国家统计局使用扫描数据建立消费价格统计。在这一过程中，与其他统计程序一样，发现销售价格中的异常交易是分析的重要步骤。进行这种离群值检测的流行方法是四分位数方法、Hidiroglou-Berthelot方法、抵抗栅栏方法和Tukey算法。这些方法仅基于有关价格变化的信息，而不基于任何其他协变量（例如，销售量或零售商店类型），这些数据也可从扫描仪数据中获得。在本文中，我们提出了一种新的方法来检测异常的价格变化，考虑到一个额外的协变量，即销售量。我们假设价格变化的对数的方差是销售量的平滑函数，并根据先前观察到的数据估计该函数。我们用数值方法显示了新方法比现有方法的优势。我们还将这些方法应用于韩国工商会在2013年和2014年之间每周收集的真实扫描仪数据，并比较它们的性能。
2020-02-06 stat.ME
AnomalyBERT: Self-Supervised Transformer for Time Series Anomaly Detection using Data Degradation Scheme
Seoul National University（首尔大学）
AnomalyBERT提出基于数据退化方案的自监督Transformer，通过合成离群值替换输入数据训练模型，有效检测多元时间序列异常，在五个真实基准上超越现有方法。
2023-05-08 cs.AI cs.LG
Projection-Based Outlier Detection in Interval-Valued Functional Data
School of Economics and Management, Beihang University（北京航空航天大学经济管理学院）；Key Laboratory of Complex System Analysis, Management and Decision (Beihang University)（复杂系统分析与决策重点实验室（北京航空航天大学））；Advanced Institute of Information Technology, Peking University（北京大学前沿交叉学科研究院信息科技前沿中心）；Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
针对区间值函数数据的异常值检测需求，提出ILTFS-FDR方法，结合IFPCA与ILTFS，经模拟和高频ETF数据验证，可有效检测异常观测，兼具鲁棒性。
2026-08-04 stat.ME
Outlier detection in multivariate functional data through a contaminated mixture model
在工业环境中，传感器的活动以高频率被记录。一个挑战是自动检测异常测量行为。将传感器测量值视为函数数据，问题可以表述为多变量函数数据集中的异常值检测。由于该数据集的异质性，所提出的污染混合模型既聚类到同质组的多元函数数据，并检测离群值。与竞争对手相比，该方法的主要优点是不需要指定离群值的比例。通过期望条件最大化算法进行模型推断，并使用BIC来选择聚类的数量。模拟数据的数值实验表明，高性能的推理算法实现。特别是，所提出的模型优于竞争对手。它的应用程序的真实数据，促使这项研究允许正确地检测异常行为。
2022-03-08 math.ST stat.ML stat.TH
A Bayesian Ensemble for Unsupervised Anomaly Detection
Columbia University（哥伦比亚大学）；Facebook Data Engineering（Facebook数据工程）
无监督异常检测方法的缺点是数据是未标记的，这使得难以评估检测算法的最优性。包围学习在分类和聚类问题中表现出了出色的结果，但在离群点检测方面的研究并不多。现有的方法侧重于结合输出分数的各个检测器，但这导致输出，是不容易解释。在本文中，我们介绍了一个理论基础，结合个人检测器与贝叶斯分类器组合。后验分布不仅很容易被解释为异常的概率分布，而且检测器的偏差、方差和个体错误率都很容易获得。在实际数据集上的性能表明，在不同类型的时间序列数据中具有很高的准确性。
2016-10-24 cs.LG stat.ML
Detection and treatment of outliers for multivariate robust loss reserving
本文提出两种稳健双变量链梯法（基于调整离群度和袋距离）处理异常值，并扩展至N维，在三变量数据集上验证效果。
2023-06-16 q-fin.RM stat.AP stat.ME
GraphPrints: Towards a Graph Analytic Method for Network Anomaly Detection
本文介绍了一种新的图分析方法，用于检测网络流数据中的异常称为GraphPrints。基于基础网络挖掘技术，我们的方法将流量的时间片表示为一个图，然后计算小图-描述局部拓扑结构的小诱导子图。通过对graphlet计数的序列执行离群值检测，识别流量的异常间隔，并且此外，挑选出经历异常行为的个体IP。GraphPrints的初始测试是在具有植入异常的真实网络数据上执行的。评价显示假阳性率在时间间隔水平为2.84%，在IP水平为0.05%，两个水平的真阳性率均为100%。
2016-02-02 cs.CR stat.ML
Robust Federated Learning in a Heterogeneous Environment
UC Berkeley（加州大学伯克利分校）
我们研究了最近提出的大规模分布式学习范式，即联邦学习，其中的工人机器是最终用户自己的设备。统计和计算挑战出现在联邦学习中，特别是在存在异构数据分布的情况下（即，不同设备上的数据点属于表示不同集群的不同分布）和拜占庭机器（即，可能表现异常，甚至表现出任意和潜在敌对行为的机器）。为了解决上述挑战，首先，我们提出了一个通用的统计模型，考虑到集群结构的用户和拜占庭机器。然后，利用统计模型，我们解决了强大的异构联邦学习问题\emph{optimally}，特别是我们的算法匹配的估计误差的下限在维度和数据点的数量。此外，作为一个副产品，我们证明了一个离群的强大的聚类算法，这可以被认为是劳埃德算法与强大的估计统计保证。最后，我们通过合成以及真实数据实验表明，我们提出的算法获得的估计误差是显着优于非拜占庭鲁棒算法，特别是，我们至少获得了53%和33%的合成和真实数据实验，分别在典型的设置。
2019-10-09 cs.LG stat.ML
Fixing Bias in Reconstruction-based Anomaly Detection with Lipschitz Discriminators
Yale University（耶鲁大学）；Mila -- Quebec AI Institute（米拉——魁北克人工智能研究所）
异常检测在需要识别和校正异常的领域（例如，医学和金融）。用于此任务的深度学习方法通常依赖于自动编码器重建误差，有时还与其他误差结合使用。我们表明，这种方法表现出内在的偏见，导致不良的结果。基于重建的方法对训练数据异常值和简单重建点敏感。相反，我们引入了一个新的无监督的Lipschitz异常，不受这些偏见。我们的异常检测器被训练，类似于GANs中使用的异常检测器，以检测训练数据和训练数据的损坏之间的差异。我们表明，这个过程成功地检测到看不见的异常，保证那些有一定的Wasserstein距离的数据或损坏的训练集。这些增加使我们能够在MNIST、CIFAR10和健康记录数据上显示改进的性能。
2020-07-26 cs.AI cs.CV cs.LG
Semi-supervised anomaly detection algorithm based on KL divergence (SAD-KL)
Jeju National University（济州大学）
在半监督学习的异常数据检测中，通常将未标记数据假设为正常数据。然而，当未标记数据的分布不同于标记正态数据集的分布时，这种假设会导致不可避免的检测错误。针对标记数据和未标记数据之间的分布差距所带来的问题，提出了一种基于KL散度的半监督异常检测算法（SAD-KL）。该方法由两个步骤组成：（1）估计已标记正态数据和未标记数据的局部离群因子的概率密度函数的KL散度;（2）利用KL散度估计未标记数据中正态数据的检测概率和检测阈值。我们表明，PDF的LOFs遵循伯尔分布，并使用它们进行检测。一旦计算出阈值，SAD-KL就迭代地运行，直到标记变化率低于预定义阈值。实验结果表明，SAD-KL算法在学习时间较短的情况下，仍具有较好的检测概率。
2022-03-28 cs.CV cs.LG
User-Based Sequential Modeling with Transformer Encoders for Insider Threat Detection
George Washington University（乔治·华盛顿大学）
提出基于用户的序列化方法结合Transformer编码器，将CERT数据转为时间序列并利用重构误差进行无监督异常检测，在内部威胁检测中实现了高达96.61%准确率等最先进性能。
2025-07-10 cs.LG
Toward Reasoning on the Boundary: A Mixup-based Approach for Graph Anomaly Detection
ANOMIX通过混合生成硬负样本提升图异常检测的推理能力，有效识别边界异常。
2026-02-28 cs.AI cs.LG
MADGAN: unsupervised Medical Anomaly Detection GAN using multiple adjacent brain MRI slice reconstruction
LPIXEL Inc.（LPIXEL公司）；University of Cambridge（剑桥大学）；National Institute of Informatics（国立信息学研究所）；National Center for Global Health and Medicine（国立国际医疗研究中心）；Juntendo University（顺天堂大学）；ELTE Eötvös Loránd University（厄特沃什·罗兰大学）；The University of Tokyo（东京大学）
无监督学习可以依靠健康受试者的大规模无注释医学图像发现各种看不见的异常。为此，无监督方法重建2D/3D单个医学图像，以检测学习的特征空间中的异常值或来自高重建损失的异常值。然而，在不考虑多个相邻切片之间的连续性的情况下，它们不能直接区分由细微解剖异常的积累组成的疾病，例如阿尔茨海默病（AD）。此外，没有研究表明无监督的异常检测如何与疾病阶段、各种（即，超过两种类型的）疾病，或多序列磁共振成像（MRI）扫描。因此，我们提出了无监督医学异常检测生成对抗网络（MADGAN），这是一种新的两步法，使用基于GAN的多个相邻脑MRI切片重建来检测多序列结构MRI上不同阶段的脑异常：（重建）Wasserstein损失与梯度惩罚+ 100 L1损失-在3个健康脑轴向MRI切片上训练以重建下3个切片-重建看不见的健康/异常扫描;（诊断）每次扫描的平均L2丢失可以区分它们，比较地面真实/重建切片。为了进行训练，我们使用了两个不同的数据集，分别由1，133个健康的T1加权（T1）和135个健康的对比增强T1（T1 c）脑MRI扫描组成，用于检测AD和脑转移/各种疾病。我们的Self-Attention MADGAN可以在非常早期的T1扫描中检测出AD，轻度认知障碍（MCI），曲线下面积（AUC）为0.727，晚期AD为AUC 0.894，同时在T1 c扫描中检测出脑转移，AUC为0.921。
2020-10-12 cs.CV cs.LG eess.IV
Regularizing Attention Networks for Anomaly Detection in Visual Question Answering
POSTECH（浦项科技大学）；Kakao Brain
为了真实世界应用的稳定性和可靠性，DNN在单峰任务中的鲁棒性已经被评估。然而，很少有研究认为异常情况下，一个视觉问答（VQA）模型可能会遇到在测试时部署在现实世界中。在这项研究中，我们评估了最先进的VQA模型对五种不同异常的鲁棒性，包括最坏情况下，最常见的情况下，VQA模型的当前限制。与单峰任务的结果不同，VQA模型中答案的最大置信度不能检测异常输入，并且输出的后训练，如离群值暴露，对VQA模型无效。因此，我们提出了一种基于注意力的方法，它使用输入图像和问题之间的推理的信心，并显示出更有前途的结果比以前的方法在单峰任务。此外，我们表明，注意力网络的最大熵正则化可以显着提高基于注意力的异常检测的VQA模型。由于简单性，基于注意力的异常检测和正则化是模型不可知的方法，可以用于最先进的VQA模型中的各种跨模态注意力。结果表明，跨模态注意在VQA是重要的，不仅提高VQA的准确性，但也对各种异常的鲁棒性。
2022-04-11 cs.CV cs.LG
DiffGAD: A Diffusion-based Unsupervised Graph Anomaly Detector
University of Science and Technology of China（中国科学技术大学）；New York University（纽约大学）；China Academy of Electronics and Information Technology（中国电子科技集团公司电子科学研究院）
DiffGAD提出基于扩散的潜在空间学习范式，注入判别性内容并引入内容保留机制，在六个大规模数据集上显著提升无监督图异常检测性能。
2025-02-25 cs.AI cs.LG cs.SI
Deep Variational Semi-Supervised Novelty Detection
Technion（以色列理工学院）；UC Berkeley（加州大学伯克利分校）
在异常检测（AD）中，人们试图在给定正常样本的数据集的情况下识别测试样本是否异常。最近一种有前途的AD方法依赖于深度生成模型，例如变分自编码器（VAE），用于正态数据分布的无监督学习。在半监督AD（SSAD）中，数据还包括标记异常的小样本。在这项工作中，我们提出了两个变分方法训练VAE SSAD。这两种方法的直观想法都是训练编码器以“分离”正常数据和异常数据的潜在向量。我们表明，这个想法可以来自原则的概率公式的问题，并提出简单而有效的算法。我们的方法可以应用于各种数据类型，因为我们在SSAD数据集上展示了从自然图像到天文学和医学，可以与任何VAE模型架构相结合，并且自然地与集成兼容。当比较国家的最先进的SSAD方法，不特定于特定的数据类型，我们得到显着的改善，在离群值检测。
2021-11-04 cs.CV cs.LG cs.RO
Normalizing flows for novelty detection in industrial time series data
Ascent Robotics Inc.（Ascent机器人公司）
基于流的深度生成模型通过一组可逆变换将简单的基本分布转换为复杂分布来学习数据分布。由于可逆性，这些模型可以通过计算它们在学习分布下的确切可能性来对看不见的数据样本进行评分。这使得基于流的模型成为新颖性检测的完美工具，这是一种异常检测技术，通过对正常数据的学习模型进行评分，将看不见的数据样本分类为正常或异常。我们表明，归一化流可以用作时间序列中的新奇检测器。两个基于流的模型，掩蔽自回归流和自由形式的雅可比矩阵的可逆动力学约束的自回归MADE网络，测试的合成数据和电机电流数据从工业机械，并取得了良好的效果，优于传统的新颖性检测方法，局部异常因子。
2019-06-17 cs.LG stat.ML
