VarAD: Lightweight High-Resolution Image Anomaly Detection via Visual Autoregressive Modeling
Huazhong University of Science and Technology（华中科技大学）；Tsinghua University（清华大学）
本文提出VarAD，将高分辨率图像异常检测转化为视觉token预测，利用多层次多方向序列与Mamba自回归建模实现轻量且高性能的异常定位。
2024-12-23 cs.CV
2nd Place Winning Solution for the CVPR2023 Visual Anomaly and Novelty Detection Challenge: Multimodal Prompting for Data-centric Anomaly Detection
Huazhong University of Science and Technology（华中科技大学）
针对 CVPR2023 VAND 挑战赛，提出 SAA$+$ 框架，利用多模态提示正则化基础模型，实现零样本异常分割，在 VisA 和 MVTec-AD 基准上达到最先进性能。
2023-09-05 cs.CV
VMAD: Visual-enhanced Multimodal Large Language Model for Zero-Shot Anomaly Detection
University of Science and Technology of China（中国科学技术大学）；Northeastern University（东北大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
VMAD通过结合视觉信息与多模态大语言模型，提升零样本异常检测的精度与分析能力，提出缺陷敏感结构学习和局部增强令牌压缩等方法，结合RIAD数据集验证了其有效性。
2026-04-01 cs.CV
Audio-Visual Dataset and Method for Anomaly Detection in Traffic Videos
Aarhus University（奥胡斯大学）；Greenroads Ltd.（绿道有限公司）；University of Malta（马耳他大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
针对交通异常检测，研究提出首个真实场景视听数据集MAVAD，并设计了通过交叉注意力融合视听特征的AVACA方法，证实音频提升性能达5.2%且图像匿名化影响轻微。
2023-05-24 cs.CV
AVadCLIP: Audio-Visual Collaboration for Robust Video Anomaly Detection
School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机科学学院）；School of Computing and Information Systems, Singapore Management University（新加坡管理学院计算与信息系统学院）；School of Artifical Intelligence, Xidian University（西安电子科技大学人工智能学院）
针对传统视觉方法信息不足与高误报率问题，提出弱监督框架AVadCLIP，通过音视觉融合与提示及不确定性蒸馏模块，显著提升视频异常检测的鲁棒性与准确率。
2025-05-31 cs.CV
Component-aware anomaly detection framework for adjustable and logical industrial visual inspection
State Key Laboratory for Manufacturing System Engineering, Xi’an Jiaotong University,No.99 Yanxiang Road, Yanta District, 710054, Xi’an, Shaanxi, China；International Joint Research Laboratory for Micro/Nano Manufacturing；Measurement Technologies, Xi’an Jiaotong University,No.99 Yanxiang Road, Yanta District, 710054, Xi’an, Shaanxi, China
提出组件感知异常检测框架ComAD，通过无监督分割与计量特征建模，实现可调且逻辑的工业视觉异常检测，性能达最优。
2023-05-15 cs.CV
PatchEAD: Unifying Industrial Visual Prompting Frameworks for Patch-Exclusive Anomaly Detection
Inventec Corporation（Inventec公司）；University at Albany, State University of New York（纽约州立大学阿尔巴尼分校）
PatchEAD提出统一的补丁聚焦框架，实现无需训练的工业异常检测，兼容多种基础模型并提升补丁相似性鲁棒性。
2026-01-22 cs.CV
VT-3DAD: Cross-Category 3D Anomaly Detection via Visual-Text Normal Space Alignment
Niigata University（Niigata大学）；University of Toyama（Toyama大学）；Iwate University（Iwate大学）
提出VT-3DAD无训练框架，通过冻结CLIP编码器提取多视图视觉特征和文本正常锚点，融合视觉与语义偏差实现跨类别3D异常检测，在ShapeNetPart上达到最优性能。
2026-06-03 cs.CV
TD-VAD: Breaking Visual Dependence in Video Anomaly Detection with Text-Driven Learning
School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院）；School of Artificial Intelligence Engineering, Hefei Institute of Technology（合肥工业大学人工智能工程学院）；China Mobile Zijin Innovation Institute（中国移动紫金创新研究院）；School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）
针对现有视频异常检测依赖视觉数据的问题，提出TD-VAD方法，利用LLM生成的文本描述训练模型，结合事件演化因果注意力模块与CLIP编码器，在XD-Violence和UCF-Crime上性能大幅优于现有方法。
2026-08-13 cs.CV
Incremental dimension reduction for efficient and accurate visual anomaly detection
Information R&D Technology Center（信息研发技术中心）
本文提出一种增量维度降低算法，用于高效且准确地进行视觉异常检测，通过批次处理降低特征维度以提升训练效率。
2026-02-27 cs.CV
AnomalyMoE: Towards a Language-free Generalist Model for Unified Visual Anomaly Detection
Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences, Beijing, China（中国科学院自动化研究所基础模型研究中心）；School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China（中国科学院大学人工智能学院）；Objecteye Inc., Beijing, China（Objecteye公司）
提出AnomalyMoE，基于混合专家架构将异常检测分解为局部、组件和全局三个语义层级，通过专用专家网络及EIR和ESB模块，在8个数据集上超越专门方法，实现统一视觉异常检测。
2025-08-08 cs.CV
AF-CLIP: Zero-Shot Anomaly Detection via Anomaly-Focused CLIP Adaptation
School of Computer Science and Engineering（计算机科学与工程学院）；Sun Yat-sen University（中山大学）；Guangdong Key Laboratory of Big Data Analysis and Processing（大数据分析与处理广东省重点实验室）
针对现有零样本异常检测方法未聚焦局部异常的问题，提出AF-CLIP，通过轻量适配器、多尺度空间聚合及可学习文本提示优化CLIP，在工业与医学数据集上实现了更优的零样本及可扩展少样本异常检测效果。
2025-07-26 cs.CV
Anomaly Detection in Video Data Based on Probabilistic Latent Space Models
University of Genova（热那亚大学）；University Carlos III de Madrid（马德里卡洛斯三世大学）
提出了一种视频数据异常检测方法。变分自编码器（VAE）用于降低视频帧的维度，生成与低维传感数据（例如，定位、转向角度），使得为自动驾驶车辆开发一致的多模式架构成为可能。一个自适应马尔可夫跳粒子滤波定义的离散和连续的推理水平被用来预测后续帧和检测新的视频序列中的异常。我们的方法在不同的视频场景中进行评估，其中半自动驾驶车辆在封闭环境中执行一组任务。
2020-03-17 cs.CV cs.LG
Self-Supervised Representation Learning for Visual Anomaly Detection
KAIST（韩国科学技术院）
自监督学习允许更好地利用未标记的数据。通过自监督获得的特征表示可以用于下游任务，例如分类、目标检测、分割和异常检测。虽然分类，目标检测和分割已经研究了自监督学习，异常检测需要更多的关注。研究了图像和视频中的异常检测问题，提出了一种新的视频视觉异常检测技术。许多开创性的和国家的最先进的自我监督的方法进行评估，对各种图像数据集的异常检测。最好的基于图像的自我监督表示学习方法，然后用于视频异常检测，看到视频中的视觉异常检测的空间特征的重要性。我们还提出了一个简单的自我监督的方法来学习跨视频帧的时间相干性，而不使用任何光流信息。在其核心，我们的方法确定的混乱的视频序列的帧索引，使其能够学习的时空特征的视频。与UCF 101和ILSVRC 2015视频数据集上的图像和视频的许多方法相比，这种直观的方法显示了视觉异常检测的优越性能。
2020-06-17 cs.CV cs.LG eess.IV
UniFormaly: Towards Task-Agnostic Unified Framework for Visual Anomaly Detection
Yonsei University（延世大学）
UniFormaly提出任务无关的统一视觉异常检测框架，通过Back Patch Masking和top k-ratio特征匹配，实现跨任务的高效检测并降低资源消耗。
2023-11-14 cs.AI cs.CV
Leveraging Unsupervised Learning for Cost-Effective Visual Anomaly Detection
Department of Engineering, University of Cambridge（剑桥大学工程系）
本研究提出一种低成本视觉异常检测系统，通过预训练模型和低成本硬件，利用少量数据实现高准确率的异常检测，适用于中小型企业。
2026-05-17 cs.AI cs.CV
Explainable Visual Anomaly Detection via Concept Bottleneck Models
本文提出通过扩展概念瓶颈模型来解决视觉异常检测中解释不足的问题，引入概念框架、评估不同监督方式并提出双分支架构，提升解释性和系统可信度。
2026-10-14 cs.AI cs.CV
Evaluating Modern Visual Anomaly Detection Approaches in Semiconductor Manufacturing: A Comparative Study
University of Padova（帕多瓦大学）
针对半导体制造中监督检测依赖异常标注样本的问题，本文基于 MIIC 数据集构建 VAD 基准，比较验证现代无监督视觉异常检测方法的有效性。
2025-05-12 cs.AI cs.CV
Augmenting Visual Anomaly Detection with Automated Interpretability
Politecnico di Milano（米兰理工大学）；Thales Alenia Space（泰雷兹阿莱尼亚宇航公司）
本研究利用稀疏自编码器和多模态大语言模型自动分解并干预异常检测信号，抑制干扰、放大异常特征，显著提升PatchCore在多个基准上的检测性能。
2026-09-29 cs.AI cs.CV
mmAnomaly: Leveraging Visual Context for Robust Anomaly Detection in the Non-Visual World with mmWave Radar
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
mmAnomaly结合毫米波雷达与RGBD输入，通过语义线索和生成模型实现鲁棒的异常检测，应用于隐蔽武器、穿墙入侵和穿墙跌倒检测，达到94%的F1分数和亚米定位精度。
2026-04-01 cs.CV eess.SP
Visualization for Multivariate Gaussian Anomaly Detection in Images
Centre for Mathematical Morphology (CMM)（数学形态学中心）；Mines Paris - PSL University（巴黎国立高等矿业学校-巴黎文理研究大学）
本文提出一种基于 PaDiM 的简化异常检测方法，通过对 CNN 特征拟合单个多元高斯分布并引入白化变换生成可解释热图，在 MVTec-AD 上验证了可视化模型验证的重要性。
2023-07-12 cs.AI cs.CV
VisionGPT: LLM-Assisted Real-Time Anomaly Detection for Safe Visual Navigation
School of Computing（计算机学院）；Clemson University（克莱姆森大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）；Stevens Institute of Technology（史蒂文斯理工学院）；School of Cultural and Social Studies（文化与社会研究学院）；Tokai University（东海大学）
本文提出VisionGPT框架，结合LLM和Yolo-World实现零样本实时异常检测，通过音频描述异常并支持动态场景切换，以提升复杂环境下的安全视觉导航能力。
2024-03-19 cs.CV cs.HC
A Survey on Visual Anomaly Detection: Challenge, Approach, and Prospect
Huazhong University of Science and Technology（华中科技大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Youtu Lab, Tencent（腾讯优图实验室）；Singapore Management University（新加坡管理大学）
本综述针对视觉异常检测（VAD）领域，梳理其研究背景与概念，指出训练数据稀缺、视觉模态多样、层级异常复杂三大挑战，从多维度分类阐述最新进展，并总结未来发展方向与核心贡献。
2024-01-29 cs.AI cs.CV
Towards Scalable IoT Deployment for Visual Anomaly Detection via Efficient Compression
University of Padova（帕多瓦大学）
本研究通过高效压缩技术，在受限的物联网环境中实现视觉异常检测的可扩展部署，显著减少推理时间的同时保持检测性能。
2025-07-28 cs.AI cs.CV
An Outlier Exposure Approach to Improve Visual Anomaly Detection Performance for Mobile Robots
Dalle Molle Institute for Artificial Intelligence (IDSIA), USI-SUPSI（达尔·莫莱人工智能研究所（IDSIA），提契诺大学-瑞士南部应用科学与艺术大学）
我们考虑的问题，建立视觉异常检测系统的移动机器人。标准异常检测模型使用仅由非异常数据组成的大型数据集进行训练。然而，在机器人应用中，通常情况下（可能很少）异常的例子是可用的。我们解决的问题，利用这些数据，以提高一个真正的NVP异常检测模型的性能，通过最大限度地减少，连同真正的NVP损失，辅助离群暴露利润损失。我们进行定量实验的一种新的数据集（我们出版的补充材料），设计用于异常检测在室内巡逻的情况下。在一个不相交的测试集上，我们的方法优于替代方案，并表明即使暴露少量的异常帧也会产生显着的性能改善。
2022-09-20 cs.AI cs.CV cs.RO
Adaptive Deviation Learning for Visual Anomaly Detection with Data Contamination
Umeå University（于默奥大学）；Singapore Management University（新加坡管理大学）
针对数据污染影响视觉异常检测性能的问题，提出基于偏差学习的自适应方法，通过约束优化更新实例权重并端到端计算异常分数，在 MVTec 和 VisA 数据集上展现出优越性能与鲁棒性。
2024-11-14 cs.CV cs.LG
Customizing Visual-Language Foundation Models for Multi-modal Anomaly Detection and Reasoning
University of Michigan-Ann Arbor（密歇根大学安娜堡分校）；Huazhong University of Science and Technology（华中科技大学）
针对现有异常检测技术泛化性不足的问题，研究通过多模态提示策略与输入统一化定制视觉-语言基础模型，实现跨多模态的通用异常检测与推理，提升了检测性能。
2025-05-20 cs.CL cs.CV
Visual Prompting Meets Feature Reconstruction-Based Anomaly Detection with Dual-Teacher Supervision
IBM Research Europe Zurich（IBM欧洲研究院苏黎世分院）
针对异常检测在真实场景中因物体尺度、视角等变化失效的问题，提出视觉提示管道、解冻教师模型和扩散生成数据增强，在AeBAD数据集上提升3.5个百分点。
2026-06-08 cs.AI cs.CV
Towards Visual Discrimination and Reasoning of Real-World Physical Dynamics: Physics-Grounded Anomaly Detection
ShanghaiTech University（上海科技大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Monash University（莫纳什大学）
针对现有工业异常检测缺乏物理推理的问题，提出物理接地异常检测数据集Phys-AD及PAEval指标，以推动真实世界动态场景下的异常检测与解释。
2025-03-26 cs.AI cs.CV
Towards Generic Anomaly Detection and Understanding: Large-scale Visual-linguistic Model (GPT-4V) Takes the Lead
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Huazhong University of Science and Technology（华中科技大学）；University of Toronto（多伦多大学）
本研究探索GPT-4V在图像、视频、点云和时间序列等多模态多领域异常检测中的通用能力，通过融入类别信息、人类知识和参考图像提示，实现零样本/单样本异常检测与解释，展现出高效性和准确性，开辟了异常检测新途径。
2023-11-16 cs.AI cs.CV
Patch-wise Auto-Encoder for Visual Anomaly Detection
Unicom Digital Technology, China Unicom（中国联通联通数字科技有限公司）
针对无监督视觉异常检测中传统自编码器失效的问题，提出逐块自编码器框架，通过逐块重构增强异常敏感性，在Mvtec AD基准上取得SOTA性能，具备工业应用潜力。
2024-08-14 cs.AI cs.CV
Challenges in Visual Anomaly Detection for Mobile Robots
Dalle Molle Institute for Artificial Intelligence (IDSIA), USI-SUPSI（达莱·莫勒人工智能研究所（IDSIA），提契诺大学-南方应用科学与艺术大学）
我们认为自主移动机器人的视觉检测异常的任务。我们对相关类型的视觉异常进行分类，并讨论如何通过无监督的深度学习方法检测它们。我们提出了一个专门为此任务构建的新数据集，在此基础上我们测试了一种最先进的方法;我们最后讨论了在真实场景中的部署。
2022-09-22 cs.CV cs.RO stat.ML
Manifolds for Unsupervised Visual Anomaly Detection
Augustus Intelligence（奥古斯都智能公司）
根据定义，异常是罕见的，因此标记的示例非常有限或不存在，并且可能不包括不可预见的场景。无监督学习方法在训练中不一定会遇到异常，这将是非常有用的。生成视觉模型在这方面可能是有用的，但不足以表示正常和异常的数据分布。为此，我们提出了常曲率流形嵌入数据分布在无监督的视觉异常检测。通过理论和经验探索的流形形状，我们开发了一种新的超球面变分自动编码器（VAE）通过赤平投影与gyroplane层-一个完全等效的庞加莱VAE。这种具有流形投影的方法在模型泛化方面是有益的，并且可以产生更多可解释的表示。我们展示了精密制造和检测中视觉异常基准的最新结果，展示了工业人工智能场景中的现实效用。我们进一步展示了组织病理学这一具有挑战性问题的方法：我们的无监督方法有效地从嘈杂的全切片图像中检测出癌性脑组织，学习组织类型的平滑、潜在组织，为医疗专业人员提供了一个可解释的决策工具。
2020-06-19 cs.CV cs.LG stat.ML
SoftPatch: Unsupervised Anomaly Detection with Noisy Data
Southern University of Science and Technology（南方科技大学）；Tencent（腾讯）；Youtu Lab（腾讯云优图实验室）
本文提出基于记忆的无监督异常检测方法SoftPatch，通过patch级去噪和软化检测边界解决含噪数据训练问题，在MVTecAD和BTAD基准上优于现有方法且在无噪声时表现相当。
2024-03-21 cs.AI cs.CV cs.LG
Sense it with your eyes: Sensation Generation and Understanding for Advertisements
University of Pittsburgh（匹兹堡大学）
研究广告视觉唤起感官问题，引入感官广告数据集和分类任务，提出SenseScore评估指标，介绍感官广告生成任务及SAGA多智能体框架，为感官感知视觉说服奠定基础。
2026-07-29 cs.CV
Reproducing sensory induced hallucinations via neural fields
本文提出了一种理论框架，用于再现由几何视觉幻觉样刺激驱动的初级视觉皮层模式，从而复现如MacKay效应和Billock-Tsou体验等新的心理物理结果。
2022-07-08 cs.CV math.AP q-bio.NC
Uncertainty of visual measurement and efficient allocation of sensory resources
The Salk Institute for Biological Studies（索尔克生物研究所）；Leicester University（莱斯特大学）
我们审查的推理基础的两种方法相结合的感官不确定性。第一种方法是不明确的，对不确定性或刺激参数的属性不做任何假设。然后，我们解释这种方法和一个常用的建模“更高层次”的感觉系统，如在视觉线索整合，假设刺激的属性之间的关系。这两种方法遵循类似的逻辑，除了在一种情况下最大的不确定性被最小化，而在另一种情况下最小的确定性被最大化。然后，我们展示了如何找到最优解的不确定性下的资源分配问题。
2014-05-03 cs.CV cs.IT math.IT
A Novel mapping for visual to auditory sensory substitution
Amirkabir University of Technology（阿米尔卡比尔理工大学）；Alzahra University（阿尔扎赫拉大学）
视觉信息可通过感官替代装置转换成音频流，以使视觉受损的人有机会在执行日常任务的同时容易地感知其周围环境。在这项研究中，视觉环境的功能，即坐标，类型的对象和它们的大小被分配到音频功能相关的音乐音调，如频率，持续时间和音符排列。实验结果表明，该方法比我们以前的方法VBTones（应用正弦音调）具有更高的训练时间效率。对真实物体的盲识别结果平均达到88.05。
2021-06-14 cs.AI cs.CV cs.SD
Hybrid Neural Autoencoders for Stimulus Encoding in Visual and Other Sensory Neuroprostheses
University of California, Santa Barbara（加州大学圣巴巴拉分校）
感觉神经假体是一种很有前途的技术，可以恢复失去的感觉功能或增强人类的能力。然而，由当前设备引起的感觉常常看起来是人为的和扭曲的。虽然目前的模型可以预测对电刺激的神经或感知反应，但最佳刺激策略解决了相反的问题：产生期望反应所需的刺激是什么？在这里，我们将其视为端到端优化问题，其中训练深度神经网络刺激编码器以反转近似底层生物系统的已知和固定的前向模型。作为概念证明，我们证明了这种混合神经自动编码器（HNA）在视觉神经假体中的有效性。我们发现，HNA产生高保真度的患者特定刺激，代表手写数字和日常物品的分割图像，并显着优于所有模拟患者的传统编码策略。总的来说，这是朝着为患有不可治愈的失明的人恢复高质量视力这一长期挑战迈出的重要一步，并可能成为各种神经假体技术的一个有前途的解决方案。
2022-10-18 cs.CV cs.LG
Jointly Discovering Visual Objects and Spoken Words from Raw Sensory Input
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们探讨神经网络模型，学习相关联的语音字幕段与语义相关的自然图像，他们所指的部分。我们证明，这些视听关联定位出现从网络内部表示学习作为一个副产品的训练，以执行图像-音频检索任务。我们的模型直接对图像像素和语音波形进行操作，并且在训练期间不依赖于任何传统的标签，分割或模态之间对齐形式的监督。我们使用Places 205和ADE 20 k数据集进行分析，证明我们的模型隐式地学习语义耦合的对象和单词检测器。
2018-04-04 cs.CL cs.CV cs.SD
Bridging Ears and Eyes: Analyzing Audio and Visual Large Language Models to Humans in Visible Sound Recognition and Reducing Their Sensory Gap via Cross-Modal Distillation
Columbia University（哥伦比亚大学）；University of Washington（华盛顿大学）
该研究对比音频、视觉与视听LLM及人类在可见声音识别中的表现，发现对应人耳与人眼差异的模态性能差距，并通过双向跨模态蒸馏显著提升挑战性类别识别能力。
2025-05-11 cs.CL cs.CV cs.MM
PatchProto Networks for Few-shot Visual Anomaly Classification
Zhejiang University（浙江大学）
针对工业异常分类中异常样本稀缺的少样本学习问题，提出仅提取缺陷区域CNN特征作为原型的PatchProto网络，在MVTec-AD数据集上较基础分类器显著提升分类准确率。
2023-10-07 cs.CV
Intrinsically Motivated Learning of Visual Motion Perception and Smooth Pursuit
Hong Kong University of Science and Technology（香港科技大学）；Frankfurt Institute for Advanced Studies（法兰克福高等研究院）
我们扩展的框架，有效的编码，这已被用来模拟孤立的感官处理的发展，建模的感知/动作周期的发展。我们的扩展结合了稀疏编码和强化学习，使感官处理和行为共同发展，以优化共享的内在动机信号：在资源限制下感官输入的神经编码的保真度。应用这个框架的模型系统组成的一个活跃的眼睛在随时间变化的环境中的行为，我们发现，这种通用的原则导致同时发展的平滑的追求行为和模型神经元的属性是相似的初级视觉皮层神经元选择不同方向的视觉运动。我们认为，这一一般原则可能形成一个统一的和综合的解释，许多感知/动作回路的基础。
2014-02-25 cs.CV q-bio.NC
Unseen Visual Anomaly Generation
EPFL（瑞士联邦理工学院）；HUST（哈尔滨工业大学）；ETH Zurich（苏黎世联邦理工学院）
针对视觉异常检测中异常样本稀缺的问题，提出AnomalyAny框架，基于Stable Diffusion结合注意力引导优化与提示引导细化生成逼真未见异常，经实验验证可有效提升下游检测性能。
2025-06-11 cs.CV
CAD 100K: A Comprehensive Multi-Task Dataset for Car Related Visual Anomaly Detection
Beijing Institute of Technology（北京理工大学）；Tsinghua University（清华大学）；China Agricultural University（中国农业大学）；Beijing Jiaotong University（北京交通大学）；The Hong Kong Polytechnic University（香港理工大学）；Li Auto（理想汽车）
本文提出CAD 100K数据集，用于汽车相关多任务视觉异常检测，包含100万张图像，涵盖7个车辆领域和3个任务，通过合成数据增强实现少样本异常检测，验证了多任务学习在任务交互和知识迁移中的优势。
2026-04-10 cs.CV
By My Eyes: Grounding Multimodal Large Language Models with Sensor Data via Visual Prompting
KAIST（韩国科学技术院）；UNIST（蔚山科学技术院）
本文提出By My Eyes视觉提示方法，通过自动生成传感器数据可视化并结合多模态大语言模型，在九个感知任务上实现平均准确率提升10%、token成本降低15.8倍。
2024-09-29 cs.AI cs.CL cs.CV
Adapting Visual-Language Models for Generalizable Anomaly Detection in Medical Images
Shanghai Jiao Tong University（上海交通大学）；National University of Singapore（新加坡国立大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
提出一种轻量级多层次适应框架，通过残差适配器和像素级视觉-语言对齐损失，将CLIP模型适配到医学图像异常检测，在零样本和少样本设置下显著提升分类与分割性能。
2024-03-19 cs.CV
A VLM-based Method for Visual Anomaly Detection in Robotic Scientific Laboratories
Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；School of Physics and Electronic Information, Yantai University（烟台大学物理与电子信息学院）；School of Computer and Big Data, Fuzhou University（福州大学计算机与大数据学院）；Department of Automation, Shanghai Jiao Tong University（上海交通大学自动化系）
本文提出基于VLM的视觉推理方法，通过四个逐步信息提示配置实现多级监督，构建了专用视觉基准以评估其在科学流程异常检测中的有效性，实验表明提供更多上下文信息可提升检测准确率。
2025-06-04 cs.CV
Active Vision Reinforcement Learning under Limited Visual Observability
Stony Brook University（石溪大学）
针对部分可观测环境下主动视觉强化学习的双策略协调难题，提出SUGARL框架，以可学习的内在感觉运动奖励联合训练运动与感知策略，在多可观测性条件下有效且适配现有RL算法。
2023-11-06 cs.CV cs.LG cs.RO
Autoencoding sensory substitution
School of Science（理学院）
数千万人失明，而且人数还在不断增加。视觉到听觉的感觉替代（SS）包括一系列廉价的通用解决方案，通过声音传递视觉信息来帮助视力受损者。所需的党卫军培训是漫长的：需要几个月的努力才能达到实际的适应水平。训练过程繁琐的原因有两个：拉长的替代音频信号和忽视人类听觉系统的压缩特性。为了克服这些障碍，我们开发了一类新的SS方法，通过训练深度递归自编码器进行图像到声音的转换。我们成功地在不同的数据集上训练了深度学习模型，以执行视觉到听觉刺激的转换。通过限制视觉空间，我们证明了缩短的替代音频信号的可行性，同时提出了一些机制，如计算听力模型的整合，以最佳方式传达替代刺激中的视觉特征作为感知可辨别的听觉成分。我们在两个不同的案例中测试了我们的方法。在第一个实验中，作者被蒙住眼睛5天，同时进行手姿势辨别的SS训练。第二个实验评估了向桌子上的物体移动的准确性。在这两个测试案例中，经过几个小时的训练后，都达到了高于偶然水平的准确性。我们新颖的SS架构拓宽了为视障人士设计的康复方法的视野。对所提出的模型的进一步改进将加速盲人的康复，并因此更广泛地适应SS设备。
2019-07-14 cs.CV cs.LG cs.SD
A Framework for Multisensory Foresight for Embodied Agents
Tufts University（塔夫茨大学）
预测未来的感觉状态对于机器人、无人机和自动驾驶汽车等学习代理至关重要。在本文中，我们耦合多感官形式与探索性的行动，并提出了一个预测神经网络架构来解决这个问题。大多数现有的方法依赖于大型的、手动注释的数据集，或者仅使用视觉数据作为单一模态。相比之下，这里提出的无监督方法使用多模态感知来预测未来的视觉帧。因此，该模型是更全面，可以更好地捕捉时空动态的环境，导致更准确的视觉帧预测。我们框架的另一个新颖之处是使用子网络来预测未来的触觉，音频和触觉信号。该框架进行了测试和验证的数据集包含4个感官模态（视觉，触觉，听觉和触觉）的人形机器人上执行9个行为多次对一个大的一组对象。虽然视觉信息是主要的模态，但利用额外的非视觉模态可以提高预测的准确性。
2021-09-15 cs.CV cs.RO
Siamese Transition Masked Autoencoders as Uniform Unsupervised Visual Anomaly Detector
Tsinghua University（清华大学）；Huazhong University of Science and Technology（华中科技大学）
无监督视觉异常检测在许多场景中具有实际意义，并且由于异常的无限定义而成为一项具有挑战性的任务。此外，大多数先前的方法是特定于应用的，并且建立跨应用场景的异常的统一模型仍然没有解决。本文提出了一种新的混合框架，称为连体过渡掩码自编码器（ST-MAE）处理各种视觉异常检测任务，通过深度特征过渡统一。具体地说，该方法首先从预训练的深度卷积神经网络中提取层次语义特征，然后开发一种特征解耦策略，将深度特征分成两个不相交的特征补丁子集。利用解耦的特征，ST-MAE是使用Siamese编码器开发的，该编码器对特征补丁的每个子集进行操作并执行两个子集的潜在表示转换，以及一个轻量级解码器，该解码器从转换后的潜在表示重建原始特征。最后，利用语义深度特征残差检测异常属性。我们的深度特征转换方案产生了一个非平凡的语义自我监督任务，以提取原型正常模式，这允许学习统一的模型，以及推广不同的视觉异常检测任务。实验结果表明，ST-MAE方法在多个应用场景下具有较好的推理性能，有望成为无监督视觉异常检测的统一模型.
2022-11-01 cs.CV
DriftAD: Visually-Guided Text Drift for Few-Shot Industrial Anomaly Detection
Nanyang Technological University（南洋理工大学）；Huazhong University of Science and Technology（华中科技大学）
针对现有小样本工业异常检测方法无法捕捉缺陷局部性与尺度依赖性的问题，提出含ASA、VGTD、DGSG模块及对应损失的DriftAD框架，在MVTec-AD和VisA数据集的1/2/4次设置下取得最优性能。
2026-08-26 cs.CV
PromptMAD: Cross-Modal Prompting for Multi-Class Visual Anomaly Localization
Holcombe Department of Electrical and Computer Engineering（电气与计算机工程系）；Computer Engineering Clemson University（计算机工程学系 哥伦比亚大学）
PromptMAD通过跨模态提示和Focal损失函数，在多类视觉异常检测中实现高精度像素级定位与高效性能。
2026-01-30 cs.CV
