Weakly-supervised Video Anomaly Detection with Robust Temporal Feature Magnitude Learning
Australian Institute for Machine Learning, University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）；Faculty of Health and Medical Sciences, University of Adelaide（阿德莱德大学健康与医学科学学院）；South Australian Health and Medical Research Institute（南澳大利亚健康与医学研究所）
具有弱监督视频级标签的异常检测通常被公式化为多实例学习（MIL）问题，其中我们的目标是识别包含异常事件的片段，每个视频表示为一袋视频片段。虽然目前的方法显示出有效的检测性能，但它们对阳性实例的识别，即，异常视频中的罕见异常片段在很大程度上受到显性负面实例的偏见，尤其是当异常事件是与正常事件相比仅表现出小差异的细微异常时。这个问题在忽略重要视频时间依赖性的许多方法中加剧。为了解决这个问题，我们引入了一种新颖的理论上合理的方法，称为鲁棒时间特征幅度学习（RTFM），它训练特征幅度学习函数来有效地识别正面实例，大大提高了MIL方法对异常视频中负面实例的鲁棒性。RTFM还采用扩张卷积和自我注意力机制来捕获长距离和短距离的时间依赖性，以更忠实地学习特征幅度。大量的实验表明，RTFM启用的MIL模型（i）在四个基准数据集（上海理工大学，UCF-Crime，XD-Violence和UCSD-Peds）上的性能大大优于几种最先进的方法;（ii）实现了显着提高的细微异常区分能力和样本效率。代码可在https://github.com/tianyu0207/RTFM上获得。
2021-08-06 cs.CV
Real-world Anomaly Detection in Surveillance Videos
Information Technology University（信息技术大学）；University of Central Florida（中佛罗里达大学）
监控录像能够捕捉到各种真实的异常情况。在本文中，我们建议通过利用正常和异常视频来学习异常。为了避免注释训练视频中的异常片段或剪辑，这是非常耗时的，我们建议通过利用弱标记的训练视频，即训练标签（异常或正常）处于视频级别而不是剪辑级别，通过深度多实例排名框架来学习异常。在我们的方法中，我们将正常和异常视频视为包，将视频片段视为多实例学习（MIL）中的实例，并自动学习深度异常排名模型，该模型预测异常视频片段的高异常分数。此外，我们在排名损失函数中引入稀疏性和时间平滑性约束，以更好地在训练期间定位异常。我们还介绍了一个新的大规模的128小时视频数据集。它由1900个长而未经修剪的真实世界监控视频组成，除了正常活动外，还有打斗、交通事故、入室盗窃、抢劫等13种现实异常。该数据集可用于两个任务。首先，考虑一组中的所有异常和另一组中的所有正常活动的一般异常检测。第二，识别13种异常活动。我们的实验结果表明，我们的MIL异常检测方法实现了显着改善异常检测性能相比，国家的最先进的方法。我们提供了最近几个关于异常活动识别的深度学习基线的结果。这些基线的低识别性能表明，我们的数据集非常具有挑战性，并为未来的工作提供了更多的机会。该数据集可在以下网址获得：https://webpages.uncc.edu/cchen62/dataset.html
2019-02-14 cs.CV
Odd-One-Out: Anomaly Detection by Comparing with Neighbors
University of Edinburgh（爱丁堡大学）
本研究提出一种基于场景内对象对比的新型异常检测任务，通过多视图构建3D对象中心模型并结合部件感知表示，经跨实例对比检测场景特有异常，同时发布两个新基准并完成全面验证。
2025-03-22 cs.CV
ProDisc-VAD: An Efficient System for Weakly-Supervised Anomaly Detection in Video Surveillance Applications
Jiangxi University of Finance and Economics（江西财经大学）；Jiangxi Science and Technology Normal University（江西科技师范大学）
针对弱监督视频异常检测的标签模糊问题，提出ProDisc-VAD框架，通过原型交互层和伪实例判别增强损失实现高效判别特征学习，以极少的0.4M参数在ShanghaiTech和UCF-Crime上取得强AUC性能。
2025-07-17 cs.CV
Towards Open Set Video Anomaly Detection
Rochester Institute of Technology（罗切斯特理工学院）
开放集视频异常检测（OpenVAD）的目的是从视频数据中识别异常事件，其中已知的异常和新的测试中存在的异常。仅从正常视频学习的无监督模型适用于任何测试异常，但具有较高的误报率。相比之下，弱监督方法在检测已知异常方面是有效的，但在开放世界中可能会失败。通过将证据深度学习（EDL）和规范化流（NF）集成到多实例学习（MIL）框架中，我们为OpenVAD问题开发了一种新的弱监督方法。具体来说，我们建议使用图神经网络和三重损失学习判别特征训练的EDL分类器，其中的EDL是能够识别未知的异常通过量化的不确定性。此外，我们开发了一个不确定性感知的选择策略，以获得干净的异常实例和NF模块生成的伪异常。我们的方法是优于现有的方法，继承了无监督NF和弱监督MIL框架的优点。在多个真实视频数据集上的实验结果表明了该方法的有效性。
2022-08-23 cs.CV
The Eyecandies Dataset for Unsupervised Multimodal Anomaly Detection and Localization
我们提出了Eyecandies，一种用于无监督异常检测和定位的新型合成数据集。程序生成的糖果的照片般逼真的图像在多个闪电条件下在受控环境中呈现，还在工业输送机场景中提供深度和法线图。我们为模型训练和验证提供了无异常的样本，而具有精确地面实况注释的异常实例仅在测试集中提供。该数据集包括10类糖果，每类都显示出不同的挑战，例如复杂的纹理，自遮挡和镜面反射。此外，我们通过随机绘制程序渲染管道的关键参数来实现大的类内变化，这使得可以创建任意数量的具有照片般逼真外观的实例。同样，异常被注入到渲染图中，并自动生成逐像素的注释，克服了人为偏见和可能的不一致。我们相信这个数据集可以鼓励探索解决异常检测任务的原始方法，例如通过组合颜色，深度和法线映射，因为它们不是由大多数现有数据集提供的。事实上，为了证明利用附加信息实际上如何提高检测性能，我们展示了通过训练深度卷积自动编码器来重建不同输入组合所获得的结果。
2022-10-10 cs.CV
Adaptive Deviation Learning for Visual Anomaly Detection with Data Contamination
Umeå University（于默奥大学）；Singapore Management University（新加坡管理大学）
针对数据污染影响视觉异常检测性能的问题，提出基于偏差学习的自适应方法，通过约束优化更新实例权重并端到端计算异常分数，在 MVTec 和 VisA 数据集上展现出优越性能与鲁棒性。
2024-11-14 cs.CV cs.LG
Multi-Cue Anomaly Detection and Localization under Data Contamination
Department of Computing Science（计算机科学系）；Umeå University（乌梅学院）
本文提出了一种结合有限异常监督的鲁棒异常检测框架，通过复合评分机制提升检测和定位性能，同时增强模型在数据污染下的鲁棒性。
2026-02-04 cs.CV
Bayesian Nonparametric Submodular Video Partition for Robust Anomaly Detection
Rochester Institute of Technology（罗切斯特理工学院）
多实例学习（MIL）提供了一种有效的方法来解决视频异常检测问题，通过将其建模为弱监督问题，因为标签通常仅在视频级别可用，而由于昂贵的标签成本而丢失帧。我们建议进行新的贝叶斯非参数子模块视频划分（BN-SVP），以显着改善MIL模型训练，可以提供一个高度可靠的解决方案，在实际设置中，包括离群片段或多种类型的异常事件的鲁棒异常检测。BN-SVP本质上执行动态非参数层次聚类，具有增强的自转换，将视频中的片段分组为可以自然地解释为场景的时间一致和语义一致的隐藏状态。假设每个片段是通过非参数混合过程生成的，该过程允许相同场景内的片段的变化以适应许多真实世界监控视频的动态和噪声性质。BN-SVP的场景和混合成分分配也引起段之间的成对相似性，从而导致子模集函数的非参数构造。将此函数与MIL损失集成，可以有效地将模型暴露给各种潜在的积极实例，以改进其训练。提出了一种贪心算法来优化子模函数，并支持有效的模型训练。我们的理论分析确保了所提出的算法的性能保证。在多个真实世界的异常视频数据集上证明了所提出的方法的有效性，具有鲁棒的检测性能。
2022-03-24 cs.CV
Self-supervised Feature Adaptation for 3D Industrial Anomaly Detection
YouTu Lab, Tencent（腾讯优图实验室）；Zhejiang University（浙江大学）；Shanghai Jiao Tong University（上海交通大学）
本文针对三维工业异常检测中预训练模型领域差异问题，提出局部到全局的自监督特征适配方法LSFA，通过模态内适配与跨模态对齐提升特征表示质量，在MVTec-3D AD和Eyecandies数据集上显著超越现有方法。
2024-01-17 cs.CV
Weakly-Supervised Anomaly Detection in Surveillance Videos Based on Two-Stream I3D Convolution Network
The University of Western Ontario（西安大略大学）
本文提出基于双流 I3D 卷积网络和多示例学习（MIL）的弱监督异常检测框架，通过排序机制处理视频片段，显著提升监控视频中异常检测的准确性与效率，减少对人工标注的依赖。
2024-11-13 cs.CV cs.LG
Why is the Mahalanobis Distance Effective for Anomaly Detection?
The University of Tokyo（东京大学）；Keio University（庆应义塾大学）
基于Mahalanobis距离的置信度得分是最近提出的用于预训练神经分类器的异常检测方法，在分布外（OoD）和对抗性示例检测方面都达到了最先进的性能。这项工作分析了为什么这种方法在实际环境中表现出如此强大的性能，同时施加了一个难以置信的假设;即，预训练特征的条件分布类具有关联协方差。虽然Mahalanobis距离为基础的方法被认为是由分类预测的信心，我们发现，其优越的性能源于信息对分类没有用。这表明Mahalanobis置信度评分如此有效的原因是错误的，并且使用了来自ODIN的不同信息，ODIN是另一种基于预测置信度的流行OoD检测方法。这一观点促使我们将这两种方法结合起来，组合检测器表现出更好的性能和鲁棒性。这些发现提供了对神经分类器响应异常输入的行为的洞察。
2020-04-30 cs.CV cs.LG stat.ML
Cross-Modal Learning for Anomaly Detection in Complex Industrial Process: Methodology and Benchmark
State Key Laboratory of Synthetical Automation for Process Industries, Northeastern University, Shenyang 110819, P. R. China（合成过程工业系统自动化国家重点实验室，东北大学，沈阳110819，中华人民共和国）；School of Software and Electrical Engineering, Swinburne University of Technology, Melbourne, VIC 3122, Australia（软件与电子工程学院，斯威本科技大学，墨尔本，VIC 3122，澳大利亚）
针对复杂工业过程异常检测忽视跨模态关联的问题，提出FmFormer跨模态Transformer，融合视频与电流数据，实现像素级异常检测与定位，并在超220万样本基准上达到最先进性能。
2024-11-02 cs.CV
Semi-supervised Anomaly Detection using AutoEncoders
University of Waterloo（滑铁卢大学）
异常检测是指从正常数据中发现异常情况的任务。在一些应用中，与正常情况相比，这些异常值或异常情况更受关注。特别是在工业光学检测和基础设施资产管理的情况下，发现这些缺陷（异常区域）是极其重要的。传统上，甚至在今天，这个过程都是手动进行的。人类依赖于与正常纹理相比的缺陷的显著性来检测缺陷。然而，人工检查是缓慢的，繁琐的，主观的，容易受到人为偏见。因此，期望缺陷检测的自动化。但是对于缺陷检测，缺乏大量异常实例和标记数据的可用性是一个问题。在本文中，我们提出了一种用于异常检测的卷积自动编码器架构，该架构仅在无缺陷（正常）实例上进行训练。对于测试图像，通过从自动编码器输出减去原始图像而获得的残余掩模被阈值化以获得缺陷分割掩模。该方法在两个数据集上进行了测试，并取得了令人印象深刻的平均F1分数0.885。即使在训练过程中没有使用缺陷图像，网络也学会了检测缺陷的实际形状。
2020-01-06 cs.CV cs.LG eess.IV
Learning to Tell Apart: Weakly Supervised Video Anomaly Detection via Disentangled Semantic Alignment
针对弱监督视频异常检测易忽略正常模式挖掘、细粒度分类易混淆的问题，提出DSANet从粗细粒度解耦对齐语义，在两个基准上取得了优于现有SOTA的性能。
2025-11-13 cs.CV
Anomaly Detection in Images
University of Waterloo（滑铁卢大学）
视觉缺陷评估是异常检测的一种形式。这对于在路面和汽车零件等各种表面检测任务中发现裂缝和标记等故障非常重要。该任务涉及检测异常样本与正常样本的偏差/发散。监督异常检测中的两个主要挑战是缺乏标记的训练数据和异常实例的低可用性。半监督方法学习正态样本的潜在分布，然后测量与估计模型的偏差/发散作为异常分数，其检测异常的总体能力有限。本文提出了使用卷积神经网络（CNN）进行基于网络的深度迁移学习的应用，用于异常检测任务。单类SVM在过去已经取得了一些成功，但是我们假设用于单类分类的更深的网络应该表现得更好。在已建立的异常检测基准以及真实世界数据集上获得的结果表明，所提出的方法明显优于现有的最先进的方法，通过针对测试数据集实现0.99的接收器操作特征曲线值下的惊人平均面积，这是CIFAR 10的41%的平均改进，MNIST数据集为20%，骨水泥裂缝数据集为16%。
2019-05-09 cs.CV
A Semantically Disentangled Unified Model for Multi-category 3D Anomaly Detection
Kyung Hee University（庆熙大学）
本文提出一种语义解耦的统一模型，通过解耦语义表示提升多类3D异常检测的可靠性与性能，实验表明其在统一模型和类别特定模型上均取得SOTA结果。
2026-03-26 cs.CV
Anomaly detection in surveillance videos using transformer based attention model
Indian Institute of Information Technology Allahabad（阿拉哈巴德印度信息技术学院）；ITER, Shiksha ‘O’ Anusandhan（希克沙·奥·阿努桑丹大学ITER学院）
监控录像可以捕捉到各种各样的异常情况。这项研究建议使用弱监督策略来避免在训练视频中注释异常片段，这是耗时的。在该方法中，仅使用视频级标签来获得帧级异常分数。弱监督视频异常检测（WSVAD）在训练过程中会出现对异常和正常实例的错误识别。因此，重要的是从可用的视频中提取更好的质量特征。基于这种动机，本文使用质量更好的基于变换的特征，称为Videoswin特征，然后是基于膨胀卷积和自注意的注意层，以捕获时域中的长范围和短范围依赖性。这使我们更好地了解可用的视频。该框架在真实数据集上进行了验证，即上海理工大学校园数据集，其结果比当前最先进的方法具有竞争力的性能。该模型和代码可在https://github.com/kapildeshpande/Anomaly-Detection-in-Surveillance-Videos上获得
2022-06-06 cs.CV
Human-Scene Network: A Novel Baseline with Self-rectifying Loss for Weakly supervised Video Anomaly Detection
INRIA（法国国家信息与自动化研究所）；Woven Planet Holdings；Toyota Motor Europe（丰田汽车欧洲公司）
在只有视频级标签（即弱监督）的监控系统中，视频异常检测是具有挑战性的。这是由于：（i）基于人类和场景的异常的复杂整合，包括真实世界场景中的微妙和尖锐的时空线索，（ii）在弱监督下正常和异常实例之间的非最优优化。在本文中，我们提出了一个人类场景网络学习歧视性的表示，通过捕捉微妙和强烈的线索，在解离的方式。此外，还提出了一种自校正损失，从视频级标签中动态计算伪时间注释，以有效地优化人-场景网络。在三个公开可用的数据集上验证了所提出的具有自校正损失优化的人类场景网络，即UCF-Crime，ShanghaiTech和IITB-Corridor，在所考虑的六个场景中的五个场景中，表现优于最近报道的最先进的方法。
2023-01-19 cs.CV
Learning Where and When: Patch-Based Spatiotemporal Localization in Weakly Supervised Video Anomaly Detection
University of South Florida（佛罗里达州立大学）
提出基于补丁的时空框架，在弱监督下联合定位异常的时间和空间位置，通过邻近感知Top-k选择策略生成细粒度空间异常图，显著提升时空定位精度。
2026-06-28 cs.CV
Locality-aware Attention Network with Discriminative Dynamics Learning for Weakly Supervised Anomaly Detection
Communication University of China（中国传媒大学）
视频异常检测是一个弱监督下的多实例学习任务，每个视频被看作是一个片段包来判断是否包含异常。以前的努力主要集中在对片段本身的区分上，而没有对相邻片段的变化进行时间动态建模。因此，我们提出了一种具有两个目标函数的判别动力学学习（Discriminative Dynamics Learning，缩写为DNC）方法，即，动态排序损失和动态对准损失。前者旨在扩大积极和消极袋之间的分数动态差距，而后者执行袋内的特征动态和分数动态的时间对齐。此外，构建了一个局部感知注意力网络（LA-Net）来捕获全局相关性，并重新校准片段之间的位置偏好，然后使用具有因果卷积的多层感知器来获得异常分数。实验结果表明，我们的方法在两个具有挑战性的基准测试上取得了显着的改进，即，UCF-犯罪和XD-暴力
2022-08-11 cs.CV
Every Error has Its Magnitude: Asymmetric Mistake Severity Training for Multiclass Multiple Instance Learning
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Seegene Medical Foundation（Seegene医疗基金会）
本文提出一种考虑错误严重性的训练策略，通过层次结构优化和概率对齐提升多类多实例学习的诊断准确性，减少临床关键错误。
2026-03-14 cs.CV
MIST: Multiple Instance Spatial Transformer Network
University of Victoria（维多利亚大学）；University of British Columbia（不列颠哥伦比亚大学）；Google Research（谷歌研究院）
我们提出了一个深度网络，可以训练它来解决图像重建和分类问题，这些问题涉及到多个对象实例的检测，而无需对其下落进行任何监督。网络学习提取最重要的前K个补丁，并将这些补丁馈送到特定任务的网络-例如，自动编码器或分类器-解决特定领域的问题。训练这样一个网络的挑战是不可微的top-K选择过程。为了解决这个问题，我们通过将前K选择的结果视为松弛变量来解决训练优化问题，从而实现简单而有效的多阶段训练。我们的方法能够通过学习重建图像来学习检测训练数据集中的复发结构。它也可以学习本地化结构时，只提供知识的对象的出现，并在这样做，它优于国家的最先进的。
2020-12-04 cs.CV
Vision Foundation Model Embedding-Based Semantic Anomaly Detection
SETLabs Research GmbH；Graz University of Technology（格拉茨技术大学）；Stanford University（斯坦福大学）；Virtual Vehicle Research GmbH；NVIDIA（英伟达）
本文提出利用视觉基础模型嵌入，将运行时局部图像表示与安全标称场景库比对，并结合实例分割与误报过滤，实现可精确定位且性能媲美 GPT-4o 的自主系统语义异常检测。
2025-05-12 cs.CV cs.LG
LEA-Net: Layer-wise External Attention Network for Efficient Color Anomaly Detection
Kyushu Institute of Technology（九州工业大学）
利用异常的先验知识是异常检测的一个重要问题。最近，视觉注意力机制已经成为一种很有前途的方法来提高CNN的性能，用于一些计算机视觉任务。在本文中，我们提出了一种新的模型称为分层外部注意力网络（LEA-Net）的有效的图像异常检测。其核心思想依赖于通过视觉注意力机制集成无监督和监督异常检测器。我们的战略如下：（i）关于异常的先验知识被表示为通过正常实例的无监督学习生成的异常图，（ii）异常图被外部网络转换为注意力图，（iii）注意力图然后被并入异常检测网络的中间层。值得注意的是，这种逐层的外部注意力可以以端到端的训练方式应用于任何CNN模型。对于试点研究，我们验证LEA-Net的颜色异常检测任务。通过对PlantVillage，MVTec AD和Cloud数据集的广泛实验，我们证明了所提出的逐层视觉注意力机制始终提高了现有CNN模型的异常检测性能，即使在不平衡的数据集上也是如此。此外，我们表明，我们的注意力机制成功地提高了几个CNN模型的性能。
2021-09-12 cs.CV cs.LG
Motion-Aware Feature for Improved Video Anomaly Detection
University of California, Merced（加州大学默塞德分校）
出于我们的观察，运动信息是视频中良好的异常检测性能的关键，我们提出了一个时间增强网络来学习运动感知功能。仅此功能就可以实现与以前最先进的方法竞争的性能，并且当与它们结合时，可以实现显着的性能改进。此外，我们将时间上下文的多实例学习（MIL）的排名模型，通过使用一个注意力块。学习的注意力权重可以帮助更好地区分异常和正常视频片段。通过提出的运动感知功能和时间MIL排名模型，我们在UCF Crime数据集中的异常检测和异常动作识别任务上都大大优于以前的方法。
2019-07-24 cs.CV cs.LG eess.IV
TAU-Bench: From Anomaly Instance Tracking to Fine-Grained Video Anomaly Understanding
该研究引入TAU-Bench这一以跟踪为核心的基准，用于联合评估异常实例跟踪与细粒度视频异常理解，发现现有视觉-语言模型存在语义推理与视觉接地的差距，为构建更可靠的视频异常理解系统提供了关键评估方向。
2026-08-07 cs.CV
Video Anomaly Detection via Spatio-Temporal Pseudo-Anomaly Generation : A Unified Approach
Insight SFI Centre for Data Analytics（Insight SFI数据分析中心）；Dublin City University（都柏林城市大学）；Tobii Corporation（Tobii公司）
本文提出一种统一视频异常检测方法，利用潜在扩散模型修复和光流mixup生成通用时空伪异常，并通过重建质量、时间不规则性和语义不一致性三类指标在单类分类设置下检测异常，在多个基准数据集上取得与现有方法相当的性能。
2024-04-07 cs.AI cs.CV cs.LG
UniFormaly: Towards Task-Agnostic Unified Framework for Visual Anomaly Detection
Yonsei University（延世大学）
UniFormaly提出任务无关的统一视觉异常检测框架，通过Back Patch Masking和top k-ratio特征匹配，实现跨任务的高效检测并降低资源消耗。
2023-11-14 cs.AI cs.CV
GAInS: Gradient Anomaly-aware Biomedical Instance Segmentation
The Hong Kong University of Science and Technology（香港科技大学）；Tencent AI Lab（腾讯AI实验室）；Imsight AI Research Lab（依图AI研究院）；Xiamen University（厦门大学）；HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（香港科技大学深圳－香港产学研协同创新研究院）
针对生物医学实例分割中接触、重叠或交叉问题，提出梯度异常感知方法GAInS，通过梯度异常映射模块和自适应局部细化模块建模实例间空间关系并优化局部分割，性能优于现有SOTA方法。
2024-09-21 cs.CV
Weakly-Supervised Spatiotemporal Anomaly Detection
University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of Central Florida（佛罗里达中央大学）
本文提出一种弱监督方法用于异常检测，通过视频级标签训练模型，利用多实例排序损失实现时空区域的异常评分。
2026-05-13 cs.AI cs.CV
Elsa: Energy-based learning for semi-supervised anomaly detection
Data Science Group, IBS（基础科学研究院数据科学组）；School of Computing, KAIST（韩国科学技术院计算学院）
异常检测的目的是从正常的数据分布中识别出异常的实例。该领域已经取得了许多进展，包括无监督对比学习的创新使用。然而，现有的方法通常假设干净的训练数据，并且在数据包含未知异常时受到限制。本文提出了Elsa，一种新的半监督异常检测方法，统一的概念，基于能量的模型与无监督对比学习。Elsa通过基于新能量函数的精心设计的微调步骤，强制将正常数据划分为原型类，从而对任何数据污染注入鲁棒性。多污染场景的实验表明，该模型达到SOTA性能。广泛的分析也验证了所提出的模型中的每个组件的贡献。除了实验，我们还提供了一个理论解释，为什么对比学习单独不能检测异常下数据污染。
2022-01-03 cs.CV cs.LG
Unsupervised Anomaly Detection for X-Ray Images
Ludwig-Maximilians-Universität München（慕尼黑大学）；Lehrstuhl für Datenbanksysteme und Data Mining（数据库系统与数据挖掘研究所）
获取医学（图像）数据的标签需要稀缺且昂贵的专家。此外，由于模糊的症状，单个图像很少足以正确诊断医疗状况。相反，它通常需要考虑额外的背景信息，如患者的病史或测试结果。因此，我们不是专注于无法解释的黑箱系统，而是以端到端的方式提供不确定的最终诊断，而是研究如何使用无异常图像训练的无监督方法来帮助医生评估手部X射线图像。我们的方法提高了诊断效率，降低了遗漏重要区域的风险。因此，我们采用最先进的无监督学习方法来检测异常，并展示如何解释这些方法的输出。为了减少噪声的影响，这通常会被误认为是异常，我们引入了一个强大的预处理管道。我们提供了一个广泛的评估不同的方法和经验表明，即使没有标签，它是可能的，以实现令人满意的结果在现实世界的数据集的X射线图像的手。我们还评估了预处理的重要性，我们的主要发现之一是，如果没有它，我们的大多数方法的性能并不比随机好。为了促进可重复性和加速研究，我们在https://github.com/Valentyn1997/xray上公开了我们的代码
2020-11-04 cs.CV cs.LG eess.IV
DMAD: Dual Memory Bank for Real-World Anomaly Detection
School of Informatics, Xiamen University（厦门大学信息学院）；Youtu Lab, Tencent（腾讯优图实验室）
针对真实世界异常检测中多类别统一模型忽视少量标注异常的问题，提出双记忆库增强表示学习框架DMAD，利用特征距离与注意力融合正常与异常知识，在MVTec-AD和VisA数据集上超越现有方法。
2024-03-19 cs.CV cs.LG
Anomaly Detection in Unstructured Environments using Bayesian Nonparametric Scene Modeling
Woods Hole Oceanographic Institution（伍兹霍尔海洋研究所）；Point Loma Nazarene University（波因特洛马拿撒勒大学）；NOAA（美国国家海洋和大气管理局）
本文探讨了使用贝叶斯非参数主题建模技术的视频数据中的异常检测的目的。我们提出了两个实验的结果。第一个实验表明，所提出的技术是自动能够表征底层地形，并检测异常菌群的图像数据收集的水下机器人。第二个实验表明，相同的技术可以用于从静态相机在动态非结构化环境中的图像。在第二个数据集，包括从静态海底摄像机捕捉图像的繁忙的珊瑚礁的视频数据，所提出的技术能够检测所有三个实例的水下航行器通过前面的相机，在许多其他观察鱼类，碎片，照明变化由于表面波，底栖植物。
2016-02-16 cs.CV cs.RO
UGainS: Uncertainty Guided Anomaly Instance Segmentation
RWTH Aachen University（亚琛工业大学）；Ford Motor Company（福特汽车公司）
针对异常分割中像素分组限制评估单个异常物体的问题，提出UGainS方法，利用不确定性区域引导通用分割模型生成精确异常实例掩码，提升了逐像素分割性能并在多个验证集上取得优异AP。
2023-08-03 cs.CV
Variational Template Matching with Statistical Fusion for Anomaly Detection in Patterned Structures
针对小数据场景下结构化图像异常检测，提出变分模板匹配与统计融合方法，结合变换空间归一化互相关和核密度估计，在免训练下达到与ResNet-50相当的性能。
2026-09-15 cs.AI cs.CV cs.LG
SiM3D: Single-instance Multiview Multimodal and Multisetup 3D Anomaly Detection Benchmark
CVLab, University of Bologna, Italy（博洛尼亚大学计算机视觉实验室）；SACMI Imola, Italy（意大利SACMI公司）
SiM3D是首个集成多视图与多模态信息的3D异常检测基准，针对单实例训练场景，支持从合成数据泛化到真实测试，并提供新数据集与基线评估方法。
2025-08-01 cs.CV
OoDIS: Anomaly Instance Segmentation and Detection Benchmark
RWTH Aachen University（亚琛工业大学）；IZMD, University of Wuppertal（伍珀塔尔大学IZMD）；Beijing Institute of Technology（北京理工大学）
本文针对自动驾驶场景中未知物体实例级感知基准缺失的问题，将常用异常分割基准扩展至实例分割与目标检测任务，并评估表明这两项挑战仍未解决。
2025-04-10 cs.CV
Pixel-wise Anomaly Detection in Complex Driving Scenes
ETH Zurich（苏黎世联邦理工学院）
最先进的语义分割方法无法检测异常实例，这阻碍了它们在安全关键和复杂应用中的部署，例如自动驾驶。最近的方法集中在利用分割不确定性来识别异常区域或从语义标签图重新合成图像以找到与输入图像的不同之处。在这项工作中，我们证明了这两种方法包含互补的信息，可以结合起来，产生强大的预测异常分割。我们提出了一个像素级异常检测框架，该框架使用不确定性图来改进现有的重新合成方法，以找到输入图像和生成图像之间的差异。我们的方法可以作为一个通用框架，围绕已经训练好的分割网络，确保在不影响分割准确性的情况下进行异常检测，同时显著优于所有类似的方法。在一系列不同的异常数据集上的前2名性能显示了我们处理不同异常实例的方法的鲁棒性。
2021-03-09 cs.CV
Point Cloud Diffusion with Global and Local Reconstruction for Instance-Level 3D Anomaly Detection
School of Computer Science, Wuhan University（武汉大学计算机学院）；Department of Automation, Tsinghua University（清华大学自动化系）；Guangdong Artificial Intelligence and Digital Economy Laboratory (SZ)（广东人工智能与数字经济实验室（深圳））
提出PCDiff框架，通过实例级多模态条件生成弱缺陷异常，并采用联合局部-全局重建算法恢复前景缺陷同时保持背景正常结构，在3D异常检测中显著优于现有方法。
2026-06-25 cs.AI cs.CV
IQE-CLIP: Instance-aware Query Embedding for Zero-/Few-shot Anomaly Detection in Medical Domain
Westlake University（西湖大学）；Simon Fraser University（西蒙·弗雷泽大学）；University of Notre Dame（诺特难大学）；Shandong University（山东大学）；Tencent Jarvis Lab（腾讯Jarvis实验室）
针对医学领域零样本/少样本异常检测，提出IQE-CLIP框架，通过实例感知查询模块融合文本与视觉信息生成查询嵌入，在六个医学数据集上达到最先进性能。
2025-06-20 cs.CV
Temporal Divide-and-Conquer Anomaly Actions Localization in Semi-Supervised Videos with Hierarchical Transformer
University of Padova（帕多瓦大学）；Alexandria University（亚历山大大学）
提出分层Transformer模型，通过时序分治策略学习视频内时间关系以定位半监督视频中的异常事件，在UCF-crime和ShanghaiTech数据集上优于片段级多实例学习方法。
2024-08-24 cs.CV
Instance-Aware Observer Network for Out-of-Distribution Object Segmentation
Valeo（法雷奥）；Ecole des Ponts（巴黎路桥学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CY Université（CY大学）；ENSEA（国立高等电子及应用学院）
最近的预测不确定性估计的工作已经显示出有前途的结果外的分布（OOD）检测语义分割。然而，这些方法难以精确定位图像中的感兴趣点，即异常。这种限制是由于在像素级进行细粒度预测的困难。为了解决这个问题，我们建立在最近的ObsNet的方法，提供对象实例知识的观察员。我们通过利用实例掩码预测来扩展ObsNet。我们使用一个额外的，类不可知的，对象检测器来过滤和聚合观察者的预测。最后，我们为图像中的每个实例预测一个唯一的异常分数。我们表明，我们提出的方法准确地解开分布对象从OOD对象在三个数据集。
2022-08-29 cs.CV
Plug-and-Play DISep: Separating Dense Instances for Scene-to-Pixel Weakly-Supervised Change Detection in High-Resolution Remote Sensing Images
State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University（武汉大学测绘遥感信息工程国家重点实验室）；Institute of Artificial Intelligence, Wuhan University（武汉大学人工智能研究院）；School of Computer Science, Wuhan University（武汉大学计算机学院）；Graduate School of Frontier Sciences, University of Tokyo（东京大学前沿科学研究生院）；Institute of Geodesy and Photogrammetry, ETH Zürich（苏黎世联邦理工学院大地测量与摄影测量研究所）
针对弱监督变化检测中密集变化实例粘连问题，提出即插即用的DISep三步迭代训练方法，以极小训练成本增强多种WSCD及全监督方法并达到SOTA。
2025-01-10 cs.CV
Anomaly-aware multiple instance learning for rare anemia disorder classification
Helmholtz Munich – German Research Center for Environmental Health（亥姆霍兹慕尼黑中心——德国环境健康研究中心）；Technical University of Munich（慕尼黑工业大学）；University of Zurich（苏黎世大学）；University Hospital Bonn（波恩大学医院）
基于深度学习的罕见贫血疾病分类受到缺乏训练数据和实例级注释的挑战。多实例学习（MIL）已被证明是一种有效的解决方案，但它的准确性低，可解释性有限。虽然包含注意力机制已经解决了这些问题，但它们的有效性高度依赖于训练样本中细胞的数量和多样性。因此，对来自血液样本的罕见贫血病症分类的不良机器学习性能仍然没有得到解决。在本文中，我们提出了一个可解释的MIL池方法来解决这些限制。通过受益于负包的实例级信息（即，来自健康个体的同质良性细胞），我们的方法增加了异常实例的贡献。我们表明，我们的策略优于标准的MIL分类算法，并提供了一个有意义的解释背后的决定。此外，它还可以表示在训练阶段看不到的罕见血液疾病的异常情况。
2022-07-04 cs.AI cs.CV cs.LG
A Modular and Unified Framework for Detecting and Localizing Video Anomalies
University of South Florida（南佛罗里达大学）
视频中的异常检测已经吸引了越来越多的关注。尽管最近的方法在基准数据集上具有竞争力的性能，但它们通常缺乏理想的功能，如模块化，跨域自适应性，可解释性和实时异常事件检测。此外，目前的国家的最先进的方法进行评估，使用标准的基于实例的检测度量，通过考虑视频帧作为独立的实例，这是不理想的视频异常检测。出于这些研究的差距，我们提出了一个模块化的和统一的方法来在线视频异常检测和定位问题，称为MOVAD，它包括一个新的基于迁移学习的即插即用架构，顺序异常检测器，用于选择检测阈值的数学框架，和视频中的实时异常事件检测的合适的性能指标。在基准数据集上的广泛性能评估表明，所提出的框架显着优于当前最先进的方法。
2021-03-21 cs.CV
The Unreasonable Effectiveness of VLMs for Zero-shot Procedural Mistake Detection
University of Bonn（波恩大学）；Toyota Motor Europe（丰田欧洲公司）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习和人工智能研究所）
提出ZeProM框架，利用单个预训练VLM同时解决零样本程序性错误检测和时间动作分割，在EgoPER和CaptainCook4D基准上接近或超越全监督方法。
2026-06-23 cs.AI cs.CV
Weakly Supervised Temporal Anomaly Segmentation with Dynamic Time Warping
University of Illinois at Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）；Pohang University of Science and Technology (POSTECH)（浦项科技大学）
最近关于检测和定位时态异常的研究主要采用深度神经网络以无监督的方式学习时态数据的正常模式。与它们不同的是，我们的工作目标是充分利用实例级（或弱）异常标签，这些标签仅指示在每个时态数据实例中是否发生了任何异常事件。在本文中，我们提出了WETAS，一个新的框架，有效地识别异常的时间段（即，连续的时间点）。WETAS从实例级标签中学习判别特征，以便推断每个实例中正常和异常段的顺序，这可以用作粗略的分割掩码。WETAS通过对输入实例与其分割模板进行动态时间规整（DTW）对齐，得到时间分割结果，同时利用模板作为额外的监督，进一步增强了WETAS。我们的实验表明，WETAS在时间异常的定位方面大大优于其他基线，并且它提供了比点级检测方法更丰富的结果。
2021-08-15 cs.AI cs.CV cs.LG
Detection of Fights in Videos: A Comparison Study of Anomaly Detection and Action Recognition
Jovision-Deepcam Research Institute（中维世纪-深眸研究院）
打斗检测是视频监控中的一个重要应用。大多数现有的方法使用监督的二进制动作识别。由于帧级注释很难得到异常检测，使用多实例学习的弱监督学习被广泛使用。本文探讨了视频中的战斗检测作为一种特殊类型的异常检测和二元动作识别。我们使用UBI-Fight和NTU-CCTV-Fight数据集进行大部分研究，因为它们具有帧级注释。我们发现，异常检测有类似的，甚至更好的性能比动作识别。此外，我们研究使用异常检测作为一个工具箱，以迭代的方式产生的异常检测的性能条件下的动作识别的训练数据集。实验结果表明，我们在三个战斗检测数据集上实现了最先进的性能。
2022-05-23 cs.CV
Multiple Instance Ensembling For Paranasal Anomaly Classification In The Maxillary Sinus
University Medical Center Hamburg-Eppendorf（汉堡-埃彭多夫大学医学中心）；Technische Universitaet Hamburg（汉堡工业大学）；University Heart and Vascular Center（大学心血管中心）
本研究提出基于3D CNN的多实例集成与采样策略，用于上颌窦息肉或囊肿异常分类，有效解决数据集有限和定位困难问题，将F1分数从0.70提升至0.85。
2023-03-31 cs.CV eess.IV
Post-Training VLMs for Video Mistake Detection
University of Bonn（波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）；Toyota Motor Europe Belgium（丰田汽车欧洲比利时公司）
针对视频错误检测的闭集方法泛化性差的问题，提出首个VLM后训练技术，采用定制奖励函数，在EP-VQA上较最佳基线提升11.6%，实现更好的泛化。
2026-08-31 cs.CV cs.LG
Exploring Large Vision-Language Models for Robust and Efficient Industrial Anomaly Detection
Shangqiu University（商丘大学）
针对工业异常检测问题，提出基于对比跨模态训练的视觉语言异常检测方法CLAD，利用大型视觉语言模型对齐多模态特征，在两个基准数据集上超越现有方法，兼具高性能与可解释性。
2024-12-01 cs.CV
Contrastive Transformer-based Multiple Instance Learning for Weakly Supervised Polyp Frame Detection
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；University of Adelaide（阿德莱德大学）；South Australian Health and Medical Research Institute（南澳大利亚健康与医学研究所）；Singapore Management University（新加坡管理大学）
目前来自结肠镜检查视频的息肉检测方法仅使用正常（即，健康的）训练图像，其i）忽略连续视频帧中的时间信息的重要性，以及ii）缺乏关于息肉的知识。因此，它们通常具有高检测误差，特别是在具有挑战性的息肉病例（例如，小的、扁平的或部分可见的息肉）。在这项工作中，我们制定息肉检测作为一个弱监督的异常检测任务，使用视频级标记的训练数据来检测帧级息肉。特别是，我们提出了一种新的基于卷积变换的多实例学习方法，旨在识别异常帧（即，具有息肉的帧）来自异常视频（即，包含至少一个具有息肉的帧的视频）。在我们的方法中，本地和全局时间依赖性被无缝捕获，同时我们优化视频和片段级异常分数。还提出了一种对比片段挖掘方法，以实现具有挑战性的息肉病例的有效建模。由此产生的方法实现了检测精度，大大优于目前最先进的方法在这项工作中引入的新的大规模结肠镜检查视频数据集。
2022-05-18 cs.CV
