Peri-midFormer: Periodic Pyramid Transformer for Time Series Analysis
School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）；Xidian University（西安电子科技大学）
针对时间序列分析中多周期变化建模难题，提出周期金字塔Transformer，通过解耦周期分量并引入自注意力，在五个主流任务上取得卓越性能。
2024-11-07 cs.LG
Anomaly Detection in Video Sequence with Appearance-Motion Correspondence
University of Montreal（蒙特利尔大学）
由于可能事件的多样性，监控视频中的异常检测目前是一个挑战。我们提出了一种深度卷积神经网络（CNN），通过学习常见对象外观（例如行人，背景，树等）之间的对应关系来解决这个问题。以及它们的相关运动。我们的模型被设计为共享相同编码器的重建网络和图像翻译模型的组合。前一个子网络确定视频帧中出现的最重要的结构，后一个子网络试图将运动模板与这些结构相关联。训练阶段仅使用正常事件的视频进行，然后模型能够估计未知输入的帧级分数。在6个基准数据集上的实验证明了该方法相对于现有方法的竞争性能。
2019-08-17 cs.CV cs.LG cs.NE
Learning Global-Local Correspondence with Semantic Bottleneck for Logical Anomaly Detection
Tsinghua University（清华大学）；Huazhong University of Science and Technology（华中科技大学）
本文提出了一种新的框架，命名为全局-局部对应框架（GLCF），视觉异常检测与逻辑约束。视觉异常检测在工业异常检测、医疗疾病诊断等实际应用中已成为一个活跃的研究领域。然而，大多数现有的方法集中在识别局部结构退化异常，往往无法检测到高层次的功能异常，涉及逻辑约束。为了解决这个问题，我们提出了一个两个分支的方法，包括一个本地分支检测结构异常和一个全球分支检测逻辑异常。为了促进局部-全局特征的对应，我们引入了一个新的语义瓶颈，使视觉Transformer。此外，我们分别为每个分支开发特征估计网络来检测异常。我们提出的框架使用各种基准进行验证，包括工业数据集，Mvtec AD，Mvtec Loco AD和Retinal-OCT医疗数据集。实验结果表明，我们的方法优于现有的方法，特别是在检测逻辑异常。
2023-03-29 cs.CV
Multi-level Memory-augmented Appearance-Motion Correspondence Framework for Video Anomaly Detection
Xiamen University（厦门大学）；PKU-Wuhan Institute for Artificial Intelligence（北京大学-武汉人工智能研究院）
基于AutoEncoder的帧预测在无监督视频异常检测中起着重要的作用。理想情况下，在正常数据上训练的模型可以产生更大的异常预测误差。然而，外观和运动信息之间的相关性没有得到充分利用，这使得模型缺乏对正常模式的理解。此外，由于深度AutoEncoder的不可控制的泛化性，这些模型不能很好地工作。为了解决这些问题，我们提出了一个多层次的记忆增强的外观运动对应框架。通过外观-运动语义对齐和语义替换训练，探索外观和运动之间的潜在对应关系。此外，我们还引入了一个记忆引导抑制模块，利用与正常原型特征的差异来抑制跳连接造成的重构能力，实现正常数据的良好重构和异常数据的不良重构之间的折衷。实验结果表明，该框架在UCSD Ped 2、CUHK Avenue和ShanghaiTech数据集上的AUC分别为99.6%、93.8%和76.3%，优于现有的方法.
2023-03-09 cs.CV
DAMS:Dual-Branch Adaptive Multiscale Spatiotemporal Framework for Video Anomaly Detection
School of Cyberspace Security,Gansu University of Political Science and Law（网络安全学院、政治学科学校）
本文提出DAMS双分支框架，融合AMTPN与CBAM的多尺度时空建模及CLIP跨模态语义引导，在UCF-Crime和XD-Violence上验证了视频异常检测性能。
2025-07-28 cs.CV
Reconstructed Student-Teacher and Discriminative Networks for Anomaly Detection
Meijo University（名城大学）
异常检测是计算机视觉中的一个重要问题，然而，异常样本的稀缺性使得这项任务变得困难。因此，最近的异常检测方法仅使用没有异常区域的正常图像进行训练。在这项工作中，一个强大的异常检测方法，提出了基于学生-教师特征金字塔匹配（STPM），其中包括一个学生和教师网络。生成模型是异常检测的另一种方法。它们从输入重建法线图像，并计算预测法线与输入之间的差异。不幸的是，STPM没有生成正常图像的能力。为了提高STPM的准确性，这项工作使用了学生网络，在生成模型，重建正常功能。这提高了准确性;然而，正常图像的异常图并不干净，因为STPM不使用异常图像进行训练，这降低了图像级异常检测的准确性。为了进一步提高准确性，在我们的方法中使用了一个判别网络，该网络由两对学生-教师网络和一个判别网络组成。该方法在MVTec异常检测数据集上显示出较高的准确性。
2022-10-14 cs.CV
Diversity-Measurable Anomaly Detection
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
基于重构的异常检测模型通过抑制异常的泛化能力来实现其目的。然而，不同的正常模式因此也不能很好地重建。虽然已经做出了一些努力来缓解这个问题，通过建模样本的多样性，他们遭受捷径学习由于不希望的异常信息的传输。在本文中，为了更好地处理权衡问题，我们提出了多样性可测量的异常检测（DMAD）框架，以提高重建多样性，同时避免不希望的泛化异常。为此，我们设计了金字塔变形模块（PDM），该模块通过估计从重建参考到原始输入的多尺度变形场来模拟不同的法线并测量异常的严重程度。结合信息压缩模块，PDM从本质上消除了原型嵌入的变形，使最终的异常评分更可靠。在监控视频和工业图像上的实验结果证明了该方法的有效性。此外，DMAD在污染数据和异常样正常样本面前同样有效。
2023-03-09 cs.AI cs.CV
GeoMAD: Geometry-Aware Multi-View Anomaly Detection via Deformable Fusion and Distributional Alignment
National Taiwan University（台湾大学）；National Taiwan Normal University（台湾师范大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究院）；Microsoft Taiwan Corporation（微软台湾公司）；VinUniversity；National Taiwan University of Science and Technology（台湾科技大学）
GeoMAD是一种多视图多类别异常检测框架，通过跨视图可变形融合模块与分布视图对齐，实现几何感知与分布一致的高效融合，在Real-IAD等数据集上表现出色。
2026-08-28 cs.CV
Unsupervised Anomaly Detection using Aggregated Normative Diffusion
University of Tübingen（图宾根大学）
本文提出无监督异常检测方法ANDi，通过在金字塔高斯噪声上训练的DDPM中聚合预测去噪步骤与真实反向转移的差异，在多个脑MRI数据集上显著提升了对多样化异常（尤其是MS病变）的检测性能。
2023-12-04 cs.CV cs.LG eess.IV
PaSTe: Improving the Efficiency of Visual Anomaly Detection at the Edge
University of Padova（帕多瓦大学）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
本研究针对边缘设备资源受限问题，提出轻量级算法PaSTe，通过优化师生网络结构显著降低推理与训练开销，在MVTec数据集上验证了边缘部署的可行性。
2024-10-15 cs.AI cs.CV cs.LG
Unsupervised Graph Modeling for Anomaly Detection in Accounting Subject Relationships
Columbia University（哥伦比亚大学）；Georgetown University（乔治城大学）；Pepperdine University（佩珀德雷大学）；Walsh College（沃什学院）；Brandeis University（布兰迪斯大学）
本文提出基于图神经网络的无监督判别框架，用于检测会计科目关联结构中的异常，通过构建科目关联图并分析结构偏差，实现局部和跨社区异常检测。
2026-04-29 cs.LG
Local Anomaly Detection in Videos using Object-Centric Adversarial Learning
Polytechnique Montréal（蒙特利尔高等理工学院）；Institute of Biomedical Engineering, Polytechnique Montréal（蒙特利尔高等理工学院生物医学工程研究所）
我们提出了一种新的无监督方法，基于两阶段的以对象为中心的对抗框架，只需要对象区域来检测视频中的帧级局部异常。第一阶段包括学习被认为正常的场景中对象的当前外观和过去梯度图像之间的对应关系，允许我们从当前外观生成过去梯度或相反。第二阶段提取具有正常对象行为的真实图像和生成图像（外观和过去梯度）之间的部分重建误差，并以对抗方式训练器。在推理模式下，我们使用训练的图像生成器和逆向学习的二元分类器来输出区域级异常检测分数。我们在四个公共基准测试中测试了我们的方法，UMN，UCSD，Avenue和ShanghaiTech，与最先进的方法相比，我们提出的以对象为中心的对抗方法产生了具有竞争力甚至更好的结果。
2020-11-13 cs.CV cs.LG
RAID: Retrieval-Augmented Anomaly Detection
State Key Laboratory of Synthetical Automation for Process Industries, Northeastern University（过程工业综合自动化 state key laboratory，东北大学）
RAID提出了一种基于检索的无监督异常检测框架，通过利用检索到的正常样本指导噪声抑制，实现鲁棒的异常检测和定位。
2026-02-23 cs.CV
PARN: Pyramidal Affine Regression Networks for Dense Semantic Correspondence
Yonsei University（延世大学）；Ewha Womans University（梨花女子大学）
本文提出了一种用于密集语义对应的深层架构，称为金字塔仿射回归网络（PARN），它可以估计图像中局部变化的仿射变换场。为了处理同一对象类别中不同实例之间通常存在的类内外观和形状变化，我们利用金字塔模型，其中仿射变换场以从粗到细的方式逐步估计，以便在深度网络中自然地施加平滑度约束。PARN估计每个级别的残余仿射变换，并将它们组合以估计最终仿射变换。此外，为了克服语义对应训练数据不足的局限性，我们提出了一种新的弱监督训练方案，通过利用图像对之间的对应一致性来生成渐进式监督。我们的方法是完全可学习的，在一个端到端的方式，不需要量化无限连续仿射变换领域。据我们所知，这是第一个尝试在深度网络中以粗到细的方式估计密集仿射变换场的工作。实验结果表明，PARN优于国家的最先进的方法密集的语义对应在各种基准。
2018-08-01 cs.CV
MambaADv2: Evolving Duality-enhanced State Space Model for Unsupervised Anomaly Detection
Zhejiang University（浙江大学）；School of Computing, National University of Singapore（新加坡国立大学计算机学院）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；Institute of Trustworthy Embodied AI, Fudan University（复旦大学可信具身人工智能研究所）
提出MambaADv2框架，通过集成对偶增强状态空间模块和混合状态空间块，结合线性递归与并行矩阵计算，实现高效全局依赖与局部表示建模，提升多类无监督异常检测性能。
2026-06-23 cs.CV
Proxy-bridged Image Reconstruction Network for Anomaly Detection in Medical Images
ShanghaiTech University（上海科技大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Jiao Tong University（上海交通大学）；Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局高性能计算研究所）；Institute for Infocomm Research, Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局资讯通信研究院）；Southern University of Science and Technology（南方科技大学）；Cixi Institute of Biomedical Engineering, Chinese Academy of Sciences（中国科学院慈溪生物医学工程研究所）
医学图像中的异常检测是指在训练集中仅使用正常图像来识别异常图像。大多数现有的方法解决这个问题的自我重建框架，这往往会学习一个身份映射，并降低异常的敏感性。为了缓解这个问题，在本文中，我们提出了一种新的代理桥接图像重建网络（ProxyAno）的异常检测医学图像。具体来说，我们使用一个中间代理来桥接输入图像和重建图像。我们研究了不同的代理类型，我们发现超像素图像（SI）是最好的一个。我们将每个超像素内的所有像素的强度设置为它们的平均强度，并将该图像表示为SI。提出的ProxyAno包括两个模块，代理提取模块和图像重建模块。在代理提取模块中，引入了一个存储器来存储正常图像与其对应的SI的特征对应关系，而存储的对应关系并不适用于异常图像，这导致了异常图像的信息丢失，便于异常检测。在图像重建模块中，我们将SI映射到其重建图像。此外，我们从图像中裁剪一个补丁并将其粘贴到正常SI上以模仿异常，并强制网络重建正常图像，即使是伪异常SI。通过这种方式，我们的网络扩大了异常的重建误差。在脑MR图像、视网膜OCT图像和视网膜眼底图像上的大量实验验证了该方法在图像级和像素级异常检测中的有效性。
2021-10-05 cs.CV cs.LG eess.IV
Looking 3D: Anomaly Detection with 2D-3D Alignment
University of Edinburgh（爱丁堡大学）
本文提出条件异常检测问题，构建了BrokenChairs-180K数据集，并设计了基于transformer的2D-3D特征对齐方法，通过定制注意力机制检测查询图像中的异常，为该领域提供了基准。
2024-06-27 cs.CV
Video Anomaly Detection By The Duality Of Normality-Granted Optical Flow
Fudan University（复旦大学）；China University of Petroleum（中国石油大学）
视频异常检测是一项具有挑战性的任务，因为各种各样的异常事件。对于这一任务，基于重构和预测的方法在最近的工作中被广泛使用，这是建立在正常数据上的学习的假设上的，异常不能像正常模式那样被重构或预测，即异常结果具有更多的错误。本文提出了一种利用正常光流的对偶性来区分正常帧和异常帧的方法，这种方法对正常帧的预测是有利的，但对异常帧的预测是不利的。从单个帧预测正常授予的光流，以保持运动知识集中在正常模式上。同时，我们将外观-运动对应方案从帧重建扩展到预测，不仅有助于学习对象外观和相关运动的知识，而且满足运动是外观之间的变换这一事实。我们还引入了一个利润损失，以加强学习的帧预测。标准基准数据集上的实验证明了我们的方法令人印象深刻的性能。
2021-05-10 cs.CV
Are Anomaly Scores Telling the Whole Story? A Benchmark for Multilevel Anomaly Detection
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）；University of Science（科学大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）
本文提出多层级异常检测（MAD）设定，使异常分数反映实际严重程度，并构建 MAD-Bench 基准，通过全面分析揭示现有模型在严重程度对齐上的不足，为改进异常检测模型提供关键见解。
2024-11-21 cs.AI cs.CV cs.LG
Attend, Distill, Detect: Attention-aware Entropy Distillation for Anomaly Detection
School of Computing and Electrical Eng., Indian Institute of Technology Mandi（印度理工大学曼迪分校计算与电气工程学院）；R&D Center, Hitachi India Pvt. Ltd.（日立印度私人有限公司研发中心）
针对多类异常检测中知识蒸馏性能下降和跨类干扰问题，提出仅训练时使用的 DCAM 注意力模块及多尺度匹配损失，在保持延迟的同时较基线提升 3.92%。
2024-05-10 cs.CV
SGANet: Semantic and Geometric Alignment for Multimodal Multi-view Anomaly Detection
Smart Manufacturing Thrust, The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）智能制造学域）；College of Mechanical and Vehicle Engineering, Hunan University（湖南大学机械与运载工程学院）；The Hong Kong University of Science and Technology（香港科技大学）
SGANet通过语义与几何对齐方法，提升多模态多视角异常检测的性能，实验表明其在SiM3D和Eyecandies数据集上达到最先进的效果。
2026-04-07 cs.CV
Bidirectional Adaptive Transformers for Multimodal Anomaly Detection
针对多模态异常检测中跨模态干扰与信息损失问题，提出双向自适应Transformer框架，通过双向特征对齐模块与参数高效适配架构，在MVTec 3D-AD等数据集上实现最优性能。
2026-10-14 cs.CV
Exploring Plain ViT Reconstruction for Multi-class Unsupervised Anomaly Detection
Youtu Lab, Tencent（腾讯优图实验室）；Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）；University of California, Merced（加州大学默塞德分校）
本文面向多类别无监督异常检测，提出仅用普通 ViT 特征的重建模型 ViTAD，在多个数据集上以更低训练成本取得最先进性能。
2024-08-11 cs.CV
Pyramid Attention Networks for Image Restoration
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Northeastern University（东北大学）；Google Brain（谷歌大脑）；ByteDance AI Lab（字节跳动人工智能实验室）；University of Oregon（俄勒冈大学）
自相似性是指在图像复原算法中广泛使用的图像先验，即在不同的位置和尺度上往往会出现小而相似的模式。然而，最近用于图像复原的基于高级深度卷积神经网络的方法没有通过依赖于仅处理相同尺度的信息的自注意神经模块来充分利用自相似性。为了解决这个问题，我们提出了一种新的金字塔注意力模块的图像复原，它捕获的多尺度特征金字塔的远程特征对应。受到诸如噪声或压缩伪影等损坏在较粗糙的图像尺度上急剧下降的事实的启发，我们的注意力模块被设计为能够从较粗糙的水平上的“干净”对应中借用干净的信号。所提出的金字塔注意力模块是一个通用的构建块，可以灵活地集成到各种神经架构中。通过对多个图像复原任务的大量实验，验证了其有效性：图像去噪，去马赛克，压缩伪影减少，和超分辨率。我们的PANet（具有简单网络主干的金字塔注意力模块）无需任何额外功能，即可产生具有卓越准确性和视觉质量的最先进结果。我们的代码将在https://github.com/SHI-Labs/Pyramid-Attention-Networks上提供
2020-06-03 cs.CV cs.LG eess.IV
Concept Drift and Anomaly Detection in Graph Streams
Università della Svizzera italiana（瑞士意大利语大学）；Politecnico di Milano（米兰理工大学）；University of Exeter（埃克塞特大学）
图形表示提供了强大而直观的方法来描述众多应用领域中的数据。在这里，我们认为随机过程生成的图形，并提出了一种方法来检测这种过程的平稳性的变化。该方法是通用的，并考虑了一个过程中产生的属性图与一个可变数量的顶点/边，而不需要假设一对一的对应关系，在不同的时间步长的顶点之间。该方法通过将流的每个图嵌入到向量域中来起作用，其中可以容易地应用传统的多变量变化检测过程。我们通过证明几个理论结果来证明我们的建议的合理性。此外，我们提供了一个具体的实施方法，并评估其有效性的几个检测问题，涉及属性图代表生物分子和图纸。实验结果与合适的基线方法进行了对比，证明了我们的方法的有效性。
2018-02-09 cs.LG stat.ML
Reconstruction Student with Attention for Student-Teacher Pyramid Matching
Meijo University（名城大学）
异常检测与定位是计算机视觉中的重要问题。最近，卷积神经网络（CNN）已经用于视觉检测。特别是，异常样本的稀缺性增加了这项任务的难度，基于无监督学习的方法正在引起人们的注意。我们专注于学生-教师特征金字塔匹配（STPM），它可以只从正常图像与少量的时期进行训练。在这里，我们提出了一个强大的方法，弥补了STPM的缺点。提出的方法由两个学生和两个教师组成，一对学生-教师网络是相同的STPM。另一个学生-教师网络具有重构正常产品特征的作用。通过从异常图像重建正常产品的特征，可以通过获取它们之间的差异来以更高的精度检测异常。新的学生-教师网络使用注意力模块和不同于原始STPM的教师网络。注意力机制用于成功地重建输入图像中的正常区域。不同的教师网络阻止查看与原始STPM相同的区域。使用从两个学生-教师网络获得的六个异常图来计算最终的异常图。与原始STPM相比，用于重建特征的学生-教师网络改善了像素级和图像级的AUC分数。
2022-03-09 cs.CV eess.IV
Scale-Space Autoencoders for Unsupervised Anomaly Segmentation in Brain MRI
TU Munich（慕尼黑工业大学）；Klinikum rechts der Isar（伊萨尔河右岸医院）；ETH Zurich（苏黎世联邦理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
脑病理在大小和形状上可以变化很大，范围从几个像素（即MS病变）到大的占位性肿瘤。最近提出的自动编码器为基础的方法，在脑MRI无监督异常分割表现出良好的性能，但面临的困难，在建模的分布与高保真度，这是至关重要的准确描绘特别小的病变。在这里，类似于这些以前的作品，我们对健康大脑MRI的分布进行建模，以定位错误重建的病理。然而，为了在更高分辨率下实现改进的重建保真度，我们学习使用拉普拉斯金字塔压缩和重建健康脑MRI的不同频段。在一系列的实验中，我们的方法与不同的国家的最先进的方法在三个不同的脑MR数据集与MS病变和肿瘤进行比较，我们显示出改进的异常分割性能和一般能力，以获得更清晰的重建输入数据在本地分辨率。拉普拉斯金字塔的建模进一步使得能够在多个尺度上描绘和聚集病变，这允许使用单个模型有效地应对不同的病理和病变尺寸。
2020-06-23 cs.CV cs.LG eess.IV
FPC-Net: Revisiting SuperPoint with Descriptor-Free Keypoint Detection via Feature Pyramids and Consistency-Based Implicit Matching
Department of Computers and Information Technology（计算机与信息科技系）；Politehnica University of Timişoara（蒂米什瓦拉理工大学）
本文提出FPC-Net，通过特征金字塔与一致性隐式匹配在检测阶段直接关联兴趣点，无需描述符即可完成匹配，虽精度略低但大幅降低定位系统内存占用。
2025-07-14 cs.CV
High-Fidelity Zero-Shot Texture Anomaly Localization Using Feature Correspondence Analysis
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
本文提出一种基于一维Wasserstein距离双射映射的零样本文理异常定位方法，通过局部特征对应分析聚合像素误差贡献，在MVTec AD上实现误差降低超40%。
2023-12-04 cs.CV
ARVo: Learning All-Range Volumetric Correspondence for Video Deblurring
DATA61-CSIRO（DATA61联邦科学与工业研究组织）；University of Turku（图尔库大学）
视频去模糊模型利用连续的帧来去除来自相机抖动和对象运动的模糊。为了利用相邻的清晰块，典型的方法主要依赖于单应性或光流来空间对准相邻的模糊帧。然而，这样的显式方法是不太有效的快速运动与大像素位移的存在。在这项工作中，我们提出了一种新的隐式方法来学习特征空间中模糊帧之间的空间对应关系。为了构建远距离像素对应关系，我们的模型在相邻帧之间的所有像素对之间建立了一个相关体积金字塔。为了增强参考帧的特征，我们设计了一个相关性聚合模块，该模块基于体积金字塔最大化像素对与其邻居的相关性。最后，我们将聚合的特征馈送到重建模块中以获得恢复的帧。我们设计了一个生成对抗范式来逐步优化模型。我们提出的方法被广泛采用的DVD数据集，以及一个新收集的高帧率（1000 fps）视频去模糊数据集（HFR-DVD）进行评估。定量和定性实验表明，我们的模型在这两个数据集上的表现优于以前的最先进的方法，证实了建模的视频去模糊的所有范围的空间对应的好处。
2021-03-07 cs.AI cs.CV
Multi-scale Feature Imitation for Unsupervised Anomaly Localization
Unicom (Shanghai) Industry Internet Co., Ltd.（联通（上海）产业互联网有限公司）
无监督异常定位任务面临缺失异常样本训练、检测多种类型异常、处理多种异常的面积比例等挑战。提出了一种分离的师生特征模仿网络结构和图像与特征金字塔相结合的多尺度处理策略。提出了一种基于梯度下降优化的网络模块重要性搜索方法，以简化网络结构。实验结果表明，该算法在同一时间段的真实工业产品检测数据集上的定位效果优于特征建模异常定位方法。与基准方法相比，多尺度策略可以有效地提高效果。
2022-12-13 cs.AI cs.CV
PyramidCLIP: Hierarchical Feature Alignment for Vision-language Model Pretraining
Tencent（腾讯）；Shanghai Jiaotong University（上海交通大学）；Xiamen University（厦门大学）；Zhejiang University（浙江大学）
大规模的视觉语言预训练在下游任务上取得了可喜的成果。现有的方法高度依赖于从互联网上抓取的图像-文本对是完全一一对应的假设。然而，在实际场景中，这种假设很难成立：通过抓取图像的附属元数据获得的文本描述往往存在语义不匹配和相互兼容的问题。为了解决这些问题，我们介绍了PyramidCLIP，它构建了一个输入金字塔与不同的语义层次的每一个模态，并对齐视觉元素和语言元素的层次结构的形式，通过同级语义对齐和跨级别的关系对齐。此外，我们软化了负样本（未配对样本）的丢失，以削弱预训练阶段的严格约束，从而减轻了迫使模型区分兼容负对的风险。五个下游任务的实验证明了所提出的PyramidCLIP的有效性。特别是，在相同数量的1500万个预训练图像-文本对的情况下，PyramidCLIP在基于ResNet 50/ViT-B32/ViT-B16的图像编码器的ImageNet zero-shot分类上的top-1准确率分别超过CLIP 10.6%/13.2%/10.0%。当扩展到更大的数据集时，PyramidCLIP在几个下游任务上实现了最先进的结果。特别是在ImageNet zero-shot分类任务上，PyramidCLIP-ResNet 50在143 M图文对上训练的结果超过了CLIP使用400 M数据的结果，显著提高了CLIP的数据效率。
2022-05-28 cs.AI cs.CV
PyMAF: 3D Human Pose and Shape Regression with Pyramidal Mesh Alignment Feedback Loop
The University of Sydney（悉尼大学）；Tsinghua University（清华大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Nanjing University（南京大学）
基于回归的方法最近在从单目图像重建人体网格方面表现出了很好的效果。通过直接将原始像素映射到模型参数，这些方法可以经由神经网络以前馈方式产生参数模型。然而，参数的微小偏差可能会导致估计的网格和图像证据之间的明显不对准。为了解决这个问题，我们提出了一个金字塔网格对齐反馈（PyMAF）循环来利用特征金字塔，并根据深度回归器中的网格图像对齐状态显式地纠正预测参数。在PyMAF中，给定当前预测的参数，网格对齐的证据将相应地从更高分辨率的特征中提取，并反馈给参数校正。为了减少噪声并提高这些证据的可靠性，在特征编码器上施加了辅助的逐像素监督，该特征编码器为我们的网络提供网格图像对应指导，以保留空间特征中最相关的信息。我们的方法的有效性在几个基准上进行了验证，包括Human3.6M，3DPW，LSP和COCO，实验结果表明，我们的方法始终提高了重建的网格图像对齐。包含代码和视频结果的项目页面可以在https://hongwenzhang.github.io/pymaf上找到。
2021-08-24 cs.CV
KTN: Knowledge Transfer Network for Learning Multi-person 2D-3D Correspondences
人体密集位姿估计的目的是在人体的二维像素和三维人体模板之间建立密集的对应关系，是使机器能够理解图像中的人的关键技术。它仍然提出了几个挑战，由于实际情况下，现实世界的场景是复杂的，只有部分注释是可用的，导致不完整或错误的估计。在这项工作中，我们提出了一个新的框架来检测图像中的多个人的densepose。所提出的方法，我们称为知识转移网络（KTN），解决了两个主要问题：1）如何细化图像表示以减轻不完整的估计，以及2）如何减少由低质量训练标签（即，有限的注释和类不平衡标签）。与现有的作品直接传播densepose估计区域的金字塔特征不同，KTN使用金字塔表示的改进，在那里它同时保持特征分辨率并抑制背景像素，这种策略导致准确性的大幅提高。此外，KTN增强了利用外部知识进行基于3D的身体解析的能力，其中它通过结构化身体知识图谱将从足够的注释训练的基于2D的身体解析器转换为基于3D的身体解析器。通过这种方式，它大大减少了由低质量注释引起的不利影响。KTN的有效性通过其在DensePose-COCO数据集上优于最先进方法的性能来证明。广泛的消融研究和代表性任务的实验结果（例如，人体分割、人体部位分割和关键点检测）和两种流行的密集姿态估计流水线（即，RCNN和全卷积框架），进一步表明了所提出的方法的通用性。
2022-06-21 cs.CV
Leveraging Inlier Correspondences Proportion for Point Cloud Registration
DeepGlint（深瞐科技）；Beihang University（北京航空航天大学）；Shandong University（山东大学）
在基于特征学习的点云配准中，正确的对应关系构造对于后续的变换估计至关重要。然而，它仍然是一个挑战，从点云提取区分特征，特别是当输入是部分和不可区分的表面（平面，光滑表面等）组成。因此，在两个未对齐的点云之间精确匹配点的内点对应的比例超出满意度。出于这一动机，我们设计了几种技术，以提高基于特征学习的点云配准性能，利用内点对应比例：金字塔层次解码器，以表征点特征在多个尺度，一致的投票策略，以保持一致的对应关系和几何引导的编码模块，以考虑几何特征。基于上述技术，我们构建了几何引导的一致性网络（GCNet），并通过室内、室外和以对象为中心的合成数据集对GCNet进行了挑战。综合实验表明，GCNet的性能优于现有的配准方法，并且GCNet中使用的技术与模型无关，可以很容易地移植到其他基于特征的深度学习或传统配准方法中，并显着提高性能。该代码可在https://github.com/zhulf0804/NgeNet上获得。
2022-11-21 cs.CV
Unsupervised Feature Learning for Dense Correspondences across Scenes
Beijing Institute of Technology（北京理工大学）；The University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）
我们提出了一种快速，准确的匹配方法，估计密集的像素对应场景。估计描绘相同对象类别的不同场景或实例的图像之间的密集像素对应关系是一个具有挑战性的问题。虽然大多数这样的匹配方法依赖于手工制作的特征，如SIFT，但我们使用无监督学习从大量未标记的图像块中学习特征。像素层特征是通过对字典进行编码来获得的，然后通过空间池化来获得补丁层特征。然后将学习到的特征无缝嵌入到多层匹配框架中。我们的实验表明，学习的功能，与我们的匹配模型，优于国家的最先进的方法，如SIFT流，一致性敏感哈希和最近的可变形空间金字塔匹配方法的准确性和计算效率。此外，我们评估了几种不同的字典学习和特征编码方法在建议的像素对应关系估计框架的性能，并分析了字典学习和特征编码对最终匹配性能的影响。
2015-04-23 cs.CV
Multi-scale Matching Networks for Semantic Correspondence
Fudan University（复旦大学）；Shanghai Key Lab of Intelligent Information Processing（上海市智能信息处理重点实验室）；The University of Hong Kong（香港大学）
在以前的各种工作中，深度特征已经被证明在构建精确的密集语义对应方面是强大的。然而，卷积神经网络的多尺度和金字塔层次尚未被很好地研究以学习用于语义对应的有区别的像素级特征。在本文中，我们提出了一个多尺度匹配网络，是敏感的相邻像素之间的微小语义差异。我们遵循从粗到精的匹配策略，构建了一个自上而下的特征和匹配增强方案，该方案与深度卷积神经网络的多尺度层次结构相结合。在特征增强过程中，尺度内增强通过局部自注意将来自多个层的相同分辨率特征图融合在一起，而跨尺度增强沿着自上而下的层次结构产生更高分辨率的特征图。此外，我们在不同的尺度上学习互补的匹配细节，从而使整体的匹配分数逐渐被不同语义层次的特征所细化。我们的多尺度匹配网络可以很容易地进行端到端训练，只需很少的额外可学习参数。实验结果表明，该方法实现了最先进的性能在三个流行的基准与高计算效率。
2021-08-27 cs.CV
FLASH: A "Generate Once, Synthesize Many" Framework for Synthetic Anomaly Generation in Industrial Anomaly Detection
Silicon University（硅谷大学）；Intel（英特尔）
FLASH提出“一次生成，多次合成”框架，解耦缺陷生成与异常合成，利用VLM和图像生成模型提取可复用缺陷补丁，结合OBS和MRSP高效合成多样异常，在MVTec AD 2上以78.1% F1接近真实异常性能，速度提升11.95倍。
2026-11-06 cs.CV
Deep Self-Convolutional Activations Descriptor for Dense Cross-Modal Correspondence
Yonsei University（延世大学）；Microsoft Research（微软研究院）
我们提出了一种新型描述符，称为深度自卷积激活（DeSCA），旨在在不同成像方式（例如不同光谱范围或照明条件）下拍摄的图像之间建立密集的对应关系。受基于局部自相似性（LSS）的描述符的启发，我们通过在深层架构中利用LSS来制定一种新的描述符，从而比最先进的跨模态描述符具有更好的区分能力和对非刚性图像变形的更强鲁棒性。DeSCA首先在随机采样补丁的局部支持窗口上计算自卷积，然后通过在深度卷积架构内的分层公式执行平均池化来构建自卷积激活。最后，通过圆形配置中的空间金字塔池化对自卷积激活的特征响应进行编码。与现有的基于卷积神经网络（CNN）的描述符相比，DeSCA是无训练的（即，随机采样的片被用作卷积核），对于交叉模态成像是鲁棒的，并且可以以显著减少计算冗余的有效方式密集地计算。通过大量的实验证明了DeSCA在交叉模态图像对的挑战性情况下的最先进性能。
2016-03-21 cs.CV
Robust Image Registration with Absent Correspondences in Pre-operative and Follow-up Brain MRI Scans of Diffuse Glioma Patients
The Hong Kong University of Science and Technology（香港科技大学）
由于肿瘤质量效应引起的组织外观变化较大以及肿瘤复发区域的对应性缺失，因此术前和随访脑部MRI扫描的配准具有挑战性。尽管最近基于深度学习的可变形配准方法在各种医学应用中取得了显着的成功，但它们中的大多数都不能将图像与病理配准。在本文中，我们提出了一种用于术前和随访脑部MRI扫描的3步配准流水线，包括1）多级仿射配准，2）具有前后一致性约束的条件深拉普拉斯金字塔图像配准网络（cLapIRN），以及3）非线性实例优化方法。我们将该方法应用于脑肿瘤序列配准（BraTS-Reg）挑战。我们的方法实现了脑部MRI扫描与病理的准确和鲁棒配准，在BraTS-Reg挑战的验证集中实现了1.64 mm的中位绝对误差和88%的成功配准率。我们的方法在2022年MICCAI BraTS-Reg挑战赛中排名第一。
2022-11-12 cs.CV eess.IV
Dual-Student Knowledge Distillation Networks for Unsupervised Anomaly Detection
University of Southern California（南加州大学）；Sichuan University（四川大学）
针对无监督异常检测中普通师生网络稳定性不足的问题，提出双学生知识蒸馏架构，采用双规模相同结构相反的学生网络结合金字塔匹配与特征嵌入交互策略，在小模型上实现了更优的异常检测性能。
2024-02-01 cs.AI cs.CV
Hierarchical Metric Learning and Matching for 2D and 3D Geometric Correspondences
NEC Laboratories America, Inc.（美国NEC实验室公司）；University of California, San Diego（加州大学圣迭戈分校）；Google Cloud AI（谷歌云人工智能）；Microsoft Hololens（微软HoloLens）
兴趣点描述符推动了计算机视觉中几乎所有问题的进展。深度神经网络的最新进展使得特定于任务的学习描述符在许多问题上优于手工制作的描述符。我们证明了常用的度量学习方法不能最佳地利用卷积神经网络（CNN）中学习的特征层次，特别是当应用于几何特征匹配任务时。虽然应用于CNN的最深层的度量损失通常被期望产生与任务无关的理想特征，但事实上，不断增长的感受野以及跨步效应导致较浅的特征在高精度匹配任务中更好。我们利用这种洞察力以及在特征层次结构的多个级别上的显式监督来更好地正则化，以在几何匹配任务的背景下学习更有效的描述符。此外，我们建议在CNN的不同层使用激活图，作为通常用于匹配任务的多分辨率图像金字塔的有效和原则性替代。我们提出了具体的CNN架构，采用这些想法，并评估他们在多个数据集的2D和3D几何匹配以及光流，展示了最先进的结果和泛化跨数据集。
2018-08-02 cs.CV
Geometry-Aligned Semantic Matching for Cross-Modal Planar Image Registration
提出CDPM，通过几何对齐语义表示与DINO中心特征金字塔，实现跨模态平面图像配准，显著提升精度并降低计算量。
2026-10-05 cs.CV
