DM$^3$Net: Dual-Camera Super-Resolution via Domain Modulation and Multi-scale Matching
Waseda University(早稻田大学);Zhejiang University(浙江大学)
提出 DM$^3$Net,通过域调制、多尺度匹配和 Key Pruning 实现双摄广角图像超分辨率,在三个真实数据集上性能优于现有方法。
2025-06-08 cs.CV
Coarse-to-Fine Embedded PatchMatch and Multi-Scale Dynamic Aggregation for Reference-based Super-Resolution
Tsinghua University(清华大学);University of Rochester(罗切斯特大学)
基于参考的超分辨率(RefSR)在使用外部参考(Ref)图像产生真实感纹理方面取得了重大进展。然而,现有的RefSR方法获得高质量的对应匹配消耗二次计算资源的输入大小,限制了其应用。此外,这些方法通常遭受低分辨率(LR)图像和Ref图像之间的尺度不对准。本文提出了一种用于基于参考的超分辨率的加速多尺度聚合网络(AMSA),包括粗到细嵌入式补丁匹配(CFE-PatchMatch)和多尺度动态聚合(MSDA)模块。为了提高匹配效率,我们设计了一种新的嵌入式PatchMacth方案与随机样本传播,其中包括端到端的训练与渐近线性计算成本的输入大小。为了进一步降低计算成本并加快收敛速度,我们在嵌入式PatchMacth上应用由粗到细的策略,构成CFE-PatchMatch。为了充分利用跨多个尺度的参考信息并增强对尺度不对齐的鲁棒性,我们开发了由动态聚合和多尺度聚合组成的MSDA模块。动态聚合通过动态聚合特征来纠正较小的尺度错位,而多尺度聚合通过融合多尺度信息来带来对大尺度错位的鲁棒性。实验结果表明,所提出的AMSA实现了优越的性能,在定量和定性评价的最先进的方法。
2022-03-10 cs.CV
EXTRACTER: Efficient Texture Matching with Attention and Gradient Enhancing for Large Scale Image Super Resolution
Centro de Investigacion en Matematicas A.C.(数学研究中心A.C.)
针对现有基于参考的图像超分辨率方法纹理搜索精度低、内存效率差且难处理大图像的问题,提出EXTRACTER方法,通过高效深度搜索减少图像块数实现精准纹理匹配,结合梯度密度增强取得有竞争力的超分效果。
2023-10-02 cs.AI cs.CV
Palmprint image registration using convolutional neural networks and Hough transform
基于细节特征的掌纹识别系统在过去的二十年里受到了广泛的关注。由于掌纹中的大量细节点(大约1000个细节点),匹配过程是耗时的,这使得其对于实时的应用是不实际的。解决这个问题的一种方法是将所有掌纹图像与参考图像对齐,并将它们带到相同的坐标系。将所有的掌纹图像带到同一个坐标系,在细节匹配过程中减少了计算量。本文利用卷积神经网络(CNN)和广义Hough变换(GHT),提出了一种新的掌纹图像精确配准方法。该方法找到掌纹和参考图像之间的对应旋转和位移(在x和y方向上)。准确的掌纹配准可以提高匹配过程的速度和精度。该方法能够自动区分左右掌纹,提高了匹配速度。此外,在配准阶段设计了CNN的结构,将掌纹图像从背景中分割出来,为细节点提取做了预处理。在THUPALMLAB数据库上对所提出的配准方法和细节柱码(MCC)匹配算法进行了评估,结果表明该算法优于大多数现有算法。
2019-04-03 cs.CV
Local Structure Matching Driven by Joint-Saliency-Structure Adaptive Kernel Regression
Shanghai Jiao Tong University(上海交通大学);University College London(伦敦大学学院);Shanghai Renji Hospital, School of Medicine, Shanghai Jiaotong University(上海交通大学医学院附属上海仁济医院);University of the West of England(西英格兰大学)
对于非刚性图像配准,匹配具有丢失的对应性和/或局部大变形的特定结构(或离群值)可能比匹配两个图像中具有小变形的共同结构更困难。现有的大多数工作严重依赖于离群分割,以消除配准中的离群效应。此外,这些作品没有同时处理丢失的对应和局部大变形。本文将非刚性图像配准定义为一种局部自适应核回归算法,它在多分辨率块匹配中从运动图像的稀疏变形向量中局部重构运动图像的稠密变形向量。核回归的核函数使其形状和方向适应参考图像的结构,以收集更多相同结构的变形向量样本用于迭代回归计算,从而运动图像的局部变形可以符合参考图像的局部结构。为了估计异常值周围的局部变形,我们使用联合显着图,突出显示两幅图像中相应的显着结构(称为联合显着结构,JSS),通过在核回归中强调这些JSS的稀疏变形向量来指导密集变形重建。实验结果表明,与其他5种非刚性配准算法相比,该方法采用局部JSS自适应核回归算法,在所有具有离群结构的图像对的配准中取得了几乎最好的性能.
2013-04-15 cs.CV
LMR: A Large-Scale Multi-Reference Dataset for Reference-based Super-Resolution
Baidu Inc.(百度公司);CASIA(中国科学院自动化研究所)
人们普遍认为,与单图像超分辨率(SISR)相比,基于参考的超分辨率(RefSR)通过参考类似的高质量图像来实现更优越的结果。直觉上,引用越多,性能越好。然而,以前的RefSR方法都集中在单参考图像训练上,而在测试或实际应用中通常可以使用多个参考图像。这种训练-测试不匹配的根本原因是缺乏公开可用的多参考SR训练数据集,这极大地阻碍了多参考超分辨率的研究工作。为此,我们构建了一个大规模,多参考超分辨率数据集,命名为LMR。它包含112,142组300 x300训练图像,是现有最大RefSR数据集的10倍。图像尺寸也大得多。更重要的是,每个组配备有5个具有不同相似度的参考图像。此外,我们提出了一种新的基线方法多参考超分辨率:MRefSR,包括一个多参考注意模块(MAM)的特征融合的任意数量的参考图像,和一个空间感知滤波模块(SAFM)的融合特征选择。拟议的MRefSR实现了显着的改进,国家的最先进的方法,定量和定性评价。我们的代码和数据将很快提供。
2023-03-09 cs.CV
Trust but Verify: Adaptive Conditioning for Reference-Based Diffusion Super-Resolution via Implicit Reference Correlation Modeling
VCIP, School of Computer Science, Nankai University(VCIP,计算机科学学院,南开大学);vivo Mobile Communication Co., Ltd.(vivo移动通信有限公司)
本文提出Ada-RefSR,通过自适应隐式相关性门控机制,在扩散模型中实现基于参考的超分辨率,提升图像恢复的准确性和鲁棒性。
2026-02-02 cs.CV
Ultra-High-Definition Reference-Based Landmark Image Super-Resolution with Generative Diffusion Prior
针对现有扩散模型对齐困难和数据集分辨率低的问题,提出TriFlowSR框架通过参考匹配策略实现低清与参考图像的模式匹配,并构建首个超高清地标数据集Landmark-4K,显著提升了真实退化场景下的图像恢复质量。
2025-08-14 cs.AI cs.CV
Compound Attention and Neighbor Matching Network for Multi-contrast MRI Super-resolution
Tsinghua University(清华大学)
针对多对比度MRI超分辨率中特征匹配不当及通道注意力缺失的问题,提出CANM-Net,通过复合自注意力和邻域特征匹配融合多对比度信息,在多个数据集上优于现有方法。
2023-09-16 cs.CV eess.IV
Transformer-empowered Multi-scale Contextual Matching and Aggregation for Multi-contrast MRI Super-resolution
Yantai University(烟台大学);University of Rochester(罗切斯特大学);The Chinese University of Hong Kong(香港中文大学);Fudan University(复旦大学);The Hong Kong Polytechnic University(香港理工大学)
磁共振成像(MRI)可以呈现相同解剖结构的多对比度图像,从而实现多对比度超分辨率(SR)技术。与使用单对比度的SR重建相比,多对比度SR重建通过利用嵌入在不同成像模态中的多样但互补的信息而有希望产生具有更高质量的SR图像。然而,现有的方法仍然存在两个缺点:(1)他们忽略了在不同尺度上的多对比度特征包含不同的解剖细节,因此缺乏有效的机制来匹配和融合这些特征以更好地重建;(2)他们仍然缺乏捕获长程依赖性,这对于具有复杂解剖结构的区域是必不可少的。我们提出了一种新的网络,通过开发一套创新的Transformer授权的多尺度上下文匹配和聚合技术来全面解决这些问题;我们称之为McMRSR。首先,我们驯服Transformers来模拟参考图像和目标图像中的长程依赖关系。然后,提出了一种新的多尺度上下文匹配方法,从不同尺度的参考特征中捕获相应的上下文。此外,我们引入了一个多尺度聚合机制,逐步和交互式聚合多尺度匹配的功能,重建目标SR MR图像。大量的实验表明,我们的网络优于国家的最先进的方法,并有很大的潜力,应用于临床实践。代码可在https://github.com/XAIMI-Lab/McMRSR上获得。
2022-03-26 cs.CV eess.IV
TP3M: Transformer-based Pseudo 3D Image Matching with Reference Image
AI Innovation Center, China Unicom(中国联通AI创新中心);Unicom Digital Technology, China Unicom(中国联通数字科技)
针对大视角、光照变化或低纹理场景下的图像匹配难题,提出基于Transformer的带参考图像的伪3D匹配方法TP3M,通过参考图像将源图2D特征升级为3D并经粗到细匹配,在多个相关任务上达SOTA。
2024-08-12 cs.CV
Attention-based Multi-Reference Learning for Image Super-Resolution
Centre for Vision, Speech and Signal Processing(视觉、语音与信号处理中心);University of Surrey(萨里大学)
本文提出了一种新的基于注意力的多参考超分辨率网络(AMRSR),该网络在给定低分辨率图像的情况下,学习自适应地将多个参考图像中最相似的纹理传输到超分辨率输出,同时保持空间相干性。使用多个参考图像与基于注意力的采样一起被证明在多个基准数据集上实现比最先进的参考超分辨率方法显著提高的性能。参考超分辨率方法最近被提出来通过从高分辨率参考图像提供附加信息来克服图像超分辨率的不适定问题。多参考超分辨率通过提供更多样化的图像特征池来扩展这种方法,以克服固有的信息不足,同时保持存储器效率。提出了一种新的基于注意力的分层采样方法,该方法基于感知损失来学习低分辨率图像特征与多个参考图像之间的相似性。消融演示了多参考和分层注意抽样的整体性能的贡献。感知和定量地面实况评估表明,即使参考图像偏离目标图像显着的性能显着改善。该项目的网站可以在https://marcopesavento.github.io/AMRSR/上找到
2021-08-31 cs.AI cs.CV cs.LG
Pixel-Level Bijective Matching for Video Object Segmentation
Yonsei University(延世大学)
半监督视频对象分割(VOS)的目标是在像素级跟踪出现在视频初始帧中的指定对象。为了充分利用物体的外观信息,像素级特征匹配被广泛应用于视觉操作系统中。传统的特征匹配以满射方式运行,即,仅考虑从查询帧到参考帧的最佳匹配。查询帧中的每个位置都引用参考帧中的最佳位置,而不管每个参考帧位置被引用的频率如何。这在大多数情况下工作良好,并且对于快速的外观变化是鲁棒的,但是当查询帧包含看起来类似于目标对象的背景干扰项时,可能导致要害差错。为了减轻这种担忧,我们引入了一个双射匹配机制,以找到最佳匹配的查询帧的参考帧,反之亦然。在找到查询帧像素的最佳匹配之前,首先考虑参考帧像素的最佳匹配,以防止每个参考帧像素被过度引用。由于该机制以严格的方式操作,即,当且仅当像素是彼此确定匹配的时,它可以有效地消除背景干扰。此外,我们提出了一个掩码嵌入模块,以改善现有的掩码传播方法。通过嵌入多个具有坐标信息的历史模板,可以有效地捕获目标对象的位置信息。
2021-11-12 cs.CV
Reference-Free Omnidirectional Stereo Matching via Multi-View Consistency Maximization
Nanjing University, Nanjing, China(南京大学);Nanyang Technological University, Singapore(南洋理工大学)
本文提出FreeOmniMVS框架,通过多视角一致性最大化实现无参考全景立体匹配,解决传统方法在几何关系和全局依赖性方面的不足,提升遮挡和基线变化下的鲁棒性。
2026-03-16 cs.CV
Pixel-Level Equalized Matching for Video Object Segmentation
Yonsei University(延世大学);Korea Institute of Science and Technology (KIST)(韩国科学技术研究院)
特征相似性匹配是半监督视频对象分割中的一个关键环节,它将参考帧的信息传递给查询帧。如果采用满射匹配,背景干扰很容易出现,降低性能。双射匹配机制试图通过限制传输到查询帧的信息量来防止这种情况,但有两个限制:1)满射匹配不能完全利用,因为它在测试时被转换为双射匹配;以及2)需要测试时手动调整以搜索最佳超参数。为了克服这些限制,同时确保可靠的信息传输,我们引入了均衡匹配机制。为了防止参考帧信息被过度引用,对查询帧的潜在贡献通过简单地应用softmax操作以及查询来均衡。在公共基准数据集上,我们提出的方法实现了与最先进方法相当的性能。
2023-02-01 cs.CV
2nd Place Solution to Facebook AI Image Similarity Challenge Matching Track
Samsung Electronics(三星电子)
本文介绍了Facebook AI图像相似性挑战的第二名解决方案:DrivenData上的匹配跟踪。该解决方案基于自监督学习和视觉Transformer(ViT)。主要的突破来自于将查询图像和参考图像连接起来形成一个图像,并要求ViT直接从图像中预测查询图像是否使用参考图像。该解决方案在私人排行榜上获得了0.8291微平均精度。
2021-11-15 cs.CV
Image Harmonization by Matching Regional References
Nankai University(南开大学)
为了实现合成图像的视觉一致性,最近的图像协调方法通常总结全局背景的外观模式,并将其应用于全局前景,而没有位置差异。然而,对于真实图像,不同区域的外观(照明、色温、饱和度、色调、纹理等)可能会有很大变化。因此,以前的方法,转移的外观全局,是不是最佳的。为了解决这个问题,我们首先匹配前景和背景之间的内容,然后根据其内容相关的背景区域的外观自适应地调整每个前景位置。此外,我们设计了一种残差重建策略,利用预测残差调整外观,利用合成前景保留图像细节。大量的实验证明了我们的方法的有效性。源代码将公开。
2022-04-10 cs.CV
RGFVR: Reference-Guided Face Video Restoration with Flow Matching
Chair of Media Technology, Munich Institute of Robotics and Machine Intelligence, School of Computation, Information, and Technology, Technical University of Munich(慕尼黑工业大学计算、信息与技术学院慕尼黑机器人与机器智能研究所媒体技术教席)
提出一种主体无关的参考引导框架,通过双模态感知-描述身份条件注入预训练流匹配文本到视频生成器,结合两阶段训练策略,在降采样、模糊、噪声和压缩伪影等退化下提升人脸视频修复的保真度、时间一致性和身份保持。
2026-06-16 cs.CV
On the Estimation of Image-matching Uncertainty in Visual Place Recognition
TU Delft(代尔夫特理工大学)
本文首次系统比较视觉地点识别中图像匹配不确定性估计方法,提出利用参考位姿的简单基线SUE,证明L2距离优于数据驱动方法,并可与几何验证互补。
2024-03-31 cs.CV
DreamMatcher: Appearance Matching Self-Attention for Semantically-Consistent Text-to-Image Personalization
Korea University(高丽大学);NAVER Cloud(NAVER 云)
提出DreamMatcher插件方法,通过语义匹配替换目标值并引入语义一致掩码策略,在保留预训练模型结构生成能力的同时实现准确的文本到图像个性化外观模仿。
2024-04-23 cs.CV
Image-to-GPS Verification Through A Bottom-Up Pattern Matching Network
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所)
图像到GPS验证问题询问给定图像是否在声称的GPS位置处拍摄。在本文中,我们把它作为一个图像验证问题-查询图像是否采取在同一地点作为参考图像检索在声称的GPS位置。我们做了三个主要贡献:1)我们提出了一种新的自定义自自底向上的【形】的模式匹配(BUPM)深度神经网络解决方案; 2)我们证明了可以通过交叉检查透视查询图像和全景参考图像来直接进行验证; 3)我们收集并清理了30 K对查询和参考的数据集。我们的实验结果表明,所提出的BUPM解决方案优于国家的最先进的解决方案,在验证和本地化。
2018-11-18 cs.CV
MaRINeR: Enhancing Novel Views by Matching Rendered Images with Nearby References
ETH Zurich(苏黎世联邦理工学院);Microsoft Mixed Reality & AI Lab(微软混合现实与人工智能实验室)
MaRINeR通过匹配渲染图像与邻近参考,利用深度特征和层次化细节转移改进新视角渲染质量,适用于显式和隐式场景表示及多项下游任务。
2024-07-18 cs.CV
One-Dimensional Vector based Pattern Matching
King Faisal University(费萨尔大学);Mansoura University(曼苏拉大学)
模板匹配是图像分析中提取有用信息的基本方法。本文提出了一种新的模式匹配方法。我们的方法将模板图像从二维的图像转换为一维矢量。参考图像中的所有子窗口(与模板大小相同)也将转换为一维向量。采用SAD、SSD和Euclidean三种相似性度量计算模板与参考图像中所有子窗口的相似度,以找到最佳匹配。实验结果表明,该方法优于传统的方法对各种不同尺寸的模板的性能。
2014-09-10 cs.CV
Human Re-identification by Matching Compositional Template with Cluster Sampling
Sun Yat-Sen University(中山大学);University of California, Los Angeles(加州大学洛杉矶分校)
本文针对视觉监控中一个新提出的任务:通过匹配人体信息来重新识别远距离的人,并给出了几个参考实例。大多数现有的工作解决了这个任务,通过匹配的参考模板与目标个人,但往往遭受大的人类外观的变化(例如,不同的姿势/视图,照明)和高误报匹配所造成的连接,闭塞或周围的混乱。针对这些问题,我们构建了一个简单而富有表现力的模板,从一些参考图像的某个人,它代表了身体作为一个关节组装的组成和替代部分,并提出了一个有效的匹配算法与聚类采样。该算法在候选图中设计,候选图的顶点是匹配的候选者(即,一对源和目标身体部位),并且在两个步骤中迭代以实现收敛。(i)它基于身体部位之间的兼容和竞争关系生成可能的部分匹配。(ii)它确认部分匹配,以产生一个新的匹配解决方案,这是接受的马尔可夫链蒙特卡罗(MCMC)机制。在实验中,我们证明了我们的方法在三个公共数据库相比,现有的方法的优越性能。
2015-02-01 cs.CV
Sparse-to-Dense Hypercolumn Matching for Long-Term Visual Localization
Université de Bordeaux(波尔多大学)
我们提出了一种新的方法,以特征点匹配,适用于长期场景下的鲁棒性和准确的户外视觉定位。给定一个查询图像,我们首先将其与注册的参考图像数据库进行匹配,使用最近的检索技术。这为我们提供了相机姿态的第一个估计。为了改进这个估计,像以前的方法一样,我们在查询图像和检索到的参考图像上匹配2D点。然而,这一步骤容易失败,因为在可能非常不同的条件下捕获的图像中检测和匹配稀疏特征点仍然非常困难。我们的主要贡献是表明我们只需要在检索到的参考图像中提取稀疏特征点:然后我们在查询图像中穷举地搜索相应的2D位置。这种搜索可以使用卷积操作有效地执行,并且通过使用超列描述符(即,为检索而计算的图像特征)来鲁棒地执行。我们将此方法称为稀疏到密集超列匹配。由于离线重建阶段,我们知道参考图像中稀疏特征点的3D位置,因此可以从这些匹配中准确估计相机姿态。我们的实验表明,这种方法使我们能够在几个具有挑战性的户外数据集上超越最先进的技术。
2019-08-21 cs.CV
Cross-View Image Matching for Geo-localization in Urban Environments
University of Central Florida(中佛罗里达大学)
在本文中,我们解决的问题,跨视图图像的地理定位。具体来说,我们的目标是通过在地理标记的鸟瞰图图像的参考数据库中找到匹配的图像来估计查询街景图像的GPS位置,反之亦然。为此,我们提出了一个新的框架,通过利用深度卷积神经网络(CNN)在图像分类和目标检测的巨大成功,跨视图图像地理定位。首先,我们使用Faster R-CNN来检测查询和参考图像中的建筑物。接下来,对于查询图像中的每个建筑物,我们使用在正匹配图像对和负匹配图像对上训练的Siamese网络从参考建筑物中检索$k$最近邻居。为了找到正确的NN为每个查询建设,我们开发了一个有效的多个最近邻匹配方法的基础上占主导地位的集。我们评估了一个新的数据集,包括对街景和鸟瞰图像的建议框架。实验结果表明,该方法实现了更好的地理定位精度比其他方法,并能够推广到图像在看不见的位置。
2017-03-22 cs.CV
TeleStyle V2: Beyond Content-Preserving Style Transfer with Self-Distillation and Distribution-Matching-Distillation
TeleAI
提出TeleStyle V2,通过自蒸馏数据合成和分布匹配蒸馏,支持四种内容-风格参考组合,解决内容一致性退化问题,性能与Qwen-Image-Edit和Gemini 3 Pro相当。
2026-06-23 cs.CV
LRF-Net: Learning Local Reference Frames for 3D Local Shape Description and Matching
Huazhong University of Science and Technology(华中科技大学);Northwestern Polytechnical University(西北工业大学)
局部参考系(LRF)在三维局部形状描述和匹配中起着关键作用。然而,大多数现有的LRF都是手工制作的,并且具有有限的可重复性和鲁棒性。本文提出了第一次尝试学习LRF通过暹罗网络,只需要弱监督。特别是,我们认为,在局部表面的每个相邻点给LRF建设和测量通过学习权重的贡献是独一无二的。针对不同应用场景的三个公共数据集的广泛分析和比较实验表明,LRF-Net比几种最先进的LRF方法更具可重复性和鲁棒性(LRF-Net仅在一个数据集上训练)。此外,LRF-Net在匹配3D点云时可以显着提高局部形状描述和6-DoF姿态估计性能。
2020-05-03 cs.CV cs.LG
DreOPD: Degraded-Reference Extrapolative On-Policy Distillation for Flow-matching Models
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Zhejiang University(浙江大学);Harbin Institute of Technology(哈尔滨工业大学)
本研究提出用于流匹配模型的DreOPD方法,将隐式奖励外推转为闭式速度回归并引入退化参考强化对比,在单/多教师设置下,其平均性能优于OPD及多任务RL基线,多数指标超专用教师。
2026-08-14 cs.CV cs.LG
EMScore: Evaluating Video Captioning via Coarse-Grained and Fine-Grained Embedding Matching
University of Science and Technology of China(中国科学技术大学);Southeast University(东南大学);Alibaba Group(阿里巴巴集团);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
当前用于视频描述的度量主要基于参考和候选字幕之间的文本级比较。然而,它们有一些无法克服的缺点,例如,它们不能处理没有参考的视频,并且由于视频到文本的一对多性质和忽视视觉相关性,它们可能导致有偏见的评价。从人类评估者的角度来看,高质量的字幕应该与所提供的视频一致,但不一定在文字或语义上与参考相似。受人类评价的启发,我们提出了EMScore(Embedding Matching-based score),这是一种新的无参考的视频描述指标,它直接测量视频和候选字幕之间的相似性。受益于大规模预训练模型的最新发展,我们利用一个良好的预训练视觉语言模型来提取视觉和语言嵌入以计算EMScore。具体来说,EMScore结合了粗粒度(视频和字幕)和细粒度(帧和文字)级别的匹配分数,考虑了视频的整体理解和详细特征。此外,考虑到潜在的信息增益,EMScore可以灵活地扩展到人类标记参考可用的条件。最后但并非最不重要的是,我们收集VATEX-EVAL和ActivityNet-FOIl数据集,以系统地评估现有指标。VATEX-EVAL实验表明,EMScore具有较高的人类相关性和较低的参考依赖性。ActivityNet-FOIL实验验证了EMScore能够有效识别“幻觉”字幕。将发布数据集,以促进视频描述指标的制定。该代码可从以下网址获取:https://github.com/ShiYaya/emscor…
2022-07-17 cs.CV
Fast Screening Algorithm for Rotation and Scale Invariant Template Matching
McMaster University(麦克马斯特大学);Shanghai Jiao Tong University(上海交通大学)
本文提出了一种通用的预处理器,加快传统的模板匹配技术。该算法不是通过穷举搜索将参考图像中的最佳匹配块定位到查询模板,而是以最小的计算量排除不可能匹配的区域。在处理简单的斑块特征时,如均值、方差和梯度,快速预筛选具有高度的区分性。通过采用一种新的八角星形模板和容斥原理提取和比较斑块特征,提高了算法的计算效率。此外,它可以处理任意旋转和缩放的参考图像有效。大量的实验表明,该算法大大减少了搜索空间,而从来没有错过最佳匹配。
2017-07-19 cs.CV
EDGE-Shield: Efficient Denoising-staGE Shield for Violative Content Filtering via Scalable Reference-Based Matching
SB intuitions
EDGE-Shield通过可扩展的基于参考的匹配在去噪过程中实现高效违规内容过滤,显著降低处理时间并保持过滤精度。
2026-04-13 cs.CV cs.MM
Best of Both Worlds: Multimodal Reasoning and Generation via Unified Discrete Flow Matching
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究);Sony Research, India(索尼印度研究);Indian Institute of Technology, Roorkee(印度理工学院罗尔基分校);University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出UniDFlow框架,通过任务特定低秩适配器解耦理解与生成,并利用基于参考的多模态偏好对齐优化忠实性与可控性,在多个基准上达到最先进性能。
2026-06-02 cs.CV
MarsFM: Shading-Regularized Flow Matching for Martian Relief Estimation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
MarsFM提出一种结合生成先验与立体几何及阴影约束的流匹配模型,用于从HiRISE图像估计火星地形,在低步推理下实现高精度。
2026-09-21 cs.CV
Double Down on Defense: Strengthening Deep Perceptual Hashes against Evasion Attacks without Retraining
针对深度感知哈希易受规避攻击的问题,提出无需重新训练的插件式防御机制DualShield,结合匹配时随机平滑与发布时加固,可大幅降低攻击成功率且保持低碰撞率。
2026-08-05 cs.CV
PRISM-Net: Patient-specific reference-guided inter-breast symmetry matching for three-class breast DCE-MRI classification
Nankai University(南开大学);Zhongguancun Academy(中关村学院);The First Medical Center of Chinese PLA General Hospital(中国人民解放军总医院第一医学中心);Beijing University of Posts and Telecommunications(北京邮电大学);The Six Medical Center of Chinese PLA General Hospital(中国人民解放军总医院第六医学中心);Tsinghua University(清华大学)
该研究针对乳腺DCE-MRI分类中患者特异性背景变异性问题,提出PRISM-Net无配准双侧框架,利用对侧乳腺特征建模跨乳腺对应,在多数据集上优于基线,提升了乳腺病灶分类性能。
2026-08-10 cs.CV
Image-to-Image Matching via Foundation Models: A New Perspective for Open-Vocabulary Semantic Segmentation
University of Science and Technology of China(中国科学技术大学);Deep Space Exploration Laboratory(深空探测实验室)
本文针对开放词汇语义分割中的错误匹配问题,提出基于视觉基础模型的关系感知模态内匹配框架RIM,通过图像模态参考特征构建与排序分布匹配实现稳健区域分类,在多个基准上显著超越现有方法。
2024-03-30 cs.CV
A Critical Analysis of Internal Reliability for Uncertainty Quantification of Dense Image Matching in Multi-view Stereo
The Ohio State University(俄亥俄州立大学)
针对无参考数据时摄影测量点云精度评估难题,本文在多视图立体框架下,结合航空倾斜摄影测量数据与LiDAR参考,分析了光线收敛、交会角等多种内部匹配指标对DIM点云后验可靠性的估计作用。
2023-10-13 cs.CV
MatchSeg: Towards Better Segmentation via Reference Image Matching
School of Science, The Hong Kong University of Science and Technology(香港科技大学理学院);Sydney Smart Technology College, Northeastern University(东北大学悉尼智能科技学院)
针对医学图像分割依赖大量标注数据的问题,提出MatchSeg框架,结合CLIP筛选相关参考样本与联合注意力模块强化特征交互,在四个公开数据集上实现更优分割性能与域泛化能力。
2024-08-17 cs.AI cs.CV
FlowCIR: Semantic Transport via Flow Matching for Zero-Shot Composed Image Retrieval
The Hong Kong University of Science and Technology, Hong Kong SAR(香港科技大学);The University of Hong Kong, Hong Kong SAR(香港大学)
提出FlowCIR,利用条件流匹配将参考图像与指令组合成目标对齐查询嵌入,避免文本反转的信息损失,训练效率高,并引入多负向引导策略提升对否定指令的鲁棒性。
2026-07-03 cs.CV
Fast Video Object Segmentation via Mask Transfer Network
National University of Singapore(新加坡国立大学);Shandong AI Institute(山东人工智能研究院)
准确性和处理速度是影响视频对象分割(VOS)在实际应用中使用的两个重要因素。随着深度神经网络等先进技术的发展,精度有了显著提高,但由于网络设计复杂,如第一帧微调步骤的要求,速度仍远低于实时性的要求。为了克服这个限制,我们提出了一种新的掩模传输网络(MTN),它可以大大提高VOS的处理速度,也达到了合理的精度。MTN的基本思想是通过有效的全局像素匹配策略将参考模板转移到目标帧。参考帧和目标帧之间的全局像素匹配是为了确保良好的匹配结果。为了提高匹配速度,我们在原始帧大小的1/32的下采样特征图上执行匹配。同时,为了在如此小的特征图中保留详细的掩码信息,掩码网络被设计为用512个通道对注释的掩码信息进行编码。最后,使用一种有效的特征扭曲方法将编码后的参考掩码转移到目标帧。基于这种设计,我们的方法避免了第一帧上的微调步骤,并且不依赖于时间线索和特定对象类别。因此,它运行速度非常快,可以方便地只使用图像进行训练,并且对看不见的对象具有鲁棒性。在DAVIS数据集上的实验表明,MTN可以达到37 fps的速度,并且与最先进的方法相比,也显示出具有竞争力的准确性。
2019-08-28 cs.CV
Bridge Feature Matching and Cross-Modal Alignment with Mutual-filtering for Zero-shot Anomaly Detection
Zhejiang University(浙江大学);YouTu Lab, Tencent(腾讯YouTu实验室);Huazhong University of Science and Technology(华中科技大学);Peking University(北京大学)
本文提出 FiSeCLIP,结合特征匹配与跨模态对齐,利用批次内图像互参考并通过文本滤波噪声特征,在零样本异常检测中实现优于 SOTA 的性能。
2025-07-15 cs.CV
RIM: A Retrieval-In-Matching Framework for Cross-Domain Global Visual Localization of UAVs
University of Chinese Academy of Sciences(中国科学院大学)
研究无人机跨域全局视觉定位问题,提出检索匹配框架RIM,通过采样参考视图、两阶段微调SALAD及冻结检索器蒸馏解码器等方法,在多数据集零样本评估中表现出色,建立了高效可部署的定位管道。
2026-09-17 cs.CV
Class-Agnostic Region-of-Interest Matching in Document Images
VCIP \& TMCC \& DISSec, College of Computer Science \& College of Cryptology;Cyber Science, Nankai University, China , Institute of Information Engineering, Chinese Academy of Science, China School of Cyber Security, University of Chinese Academy of Science, China Department of Computer Science;Technology, Tsinghua University, China
本文提出类别无关感兴趣区域匹配新任务及基准RoI-Matching-Bench,并构建了采用孪生网络和交叉注意力层对齐参考域与目标域语义的新框架RoI-Matcher,为灵活定制文档区域匹配提供了有效基线。
2025-06-26 cs.CV
FlowTool: Controlling Tool Parameter in Image Retouching via Flow Matching
Adobe Research(奥多比研究院);KAIST(韩国科学技术院)
FlowTool将基于工具的图像编辑视为流匹配问题,通过条件修正流直接建模工具参数分布,结合视觉-语言模型和扩散Transformer生成编辑计划,在多个基准上性能优异且推理延迟降低至少50倍。
2026-11-17 cs.CV
LiM-Loc: Visual Localization with Dense and Accurate 3D Reference Maps Directly Corresponding 2D Keypoints to 3D LiDAR Point Clouds
NTT Corporation(NTT公司)
本文提出LiM-Loc方法,通过直接将3D LiDAR点云分配给2D关键点生成密集准确的3D参考地图,避免特征匹配误差,有效提升了广域视觉定位的相机位姿估计精度。
2025-03-31 cs.CV
DFM: A Performance Baseline for Deep Feature Matching
Middle East Technical University(中东技术大学)
提出了一种新的图像匹配方法,该方法利用由现成的深度神经网络提取的学习特征来获得有前途的性能。所提出的方法使用预先训练的VGG架构作为特征提取器,并且不需要任何额外的训练来改善匹配。受心理学领域中的成熟概念(如心理旋转范式)的启发,作为初步几何变换估计的结果,执行初始扭曲。这些估计仅仅基于待匹配图像的VGG网络输出的终端层处的最近邻的密集匹配。在该初始对准之后,以分层方式在参考图像和对准图像之间再次重复相同的方法,以达到良好的定位和匹配性能。在Hpatches数据集上,我们的算法在1像素和2像素阈值的平均匹配精度(MMA)方面分别达到0.57和0.80的总得分,这表明比最先进的性能更好。
2021-06-14 cs.CV
SingRef6D: Monocular Novel Object Pose Estimation with a Single RGB Reference
College of Design and Engineering, National University of Singapore(新加坡国立大学设计与工程学院);SIMTech, Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局SIMTech)
SingRef6D提出仅用单张RGB参考图像实现单目新物体6D姿态估计,通过token-scaler微调Depth-Anything v2提升深度预测,并结合深度感知匹配增强LoFTR,在多个数据集上超越现有方法。
2025-09-26 cs.CV
SPVLoc: Semantic Panoramic Viewport Matching for 6D Camera Localization in Unseen Environments
Fraunhofer Heinrich Hertz Institute, HHI(弗劳恩霍夫海因里希·赫兹研究所);Humboldt University of Berlin(柏林洪堡大学)
提出 SPVLoc,通过将查询 RGB 图像与无纹理三维模型渲染的语义全景进行视口匹配,实现无需场景训练且可泛化到未知环境的高精度6D室内相机定位。
2024-07-22 cs.CV
Beyond Similarity Matching: Structured Reasoning for Open-Vocabulary Referring Segmentation in 3DGS
School of Computer Science, Henan Institute of Science and Technology(河南科技学院计算机学院)
针对现有3DGS指称分割方法依赖相似度匹配的缺陷,提出QAGaussian框架,经Mosaic3D-5.6M预训练后,在基准上实现性能提升,优于现有最强基线。
2026-08-18 cs.CV
Image Retrieval Methods in the Dissimilarity Space
Delhi Technological University(德里理工大学)
针对欧氏空间匹配的性能局限,该研究提出在相异空间中通过二分变换生成单嵌入、结合正则化最大间隔分类器与骨干网络端到端训练的图像检索方法,实验验证其准确率更优。
2024-12-11 cs.AI cs.CV
Hierarchical Image Matching for UAV Absolute Visual Localization via Semantic and Structural Constraints
Institute of Automation, Chinese Academy of Sciences(自动化研究所);Guangxi University(广西大学)
针对GNSS拒止场景下无人机跨源图像匹配定位难的问题,提出融合语义结构约束粗匹配与轻量化细匹配的分层方法,构建无相对定位依赖的视觉定位 pipeline,在公开及新数据集上实现更优精度与鲁棒性。
2025-06-11 cs.CV cs.RO
Intelligent Reference Curation for Visual Place Recognition via Bayesian Selective Fusion
University of Melbourne(墨尔本大学);Queensland University of Technology(昆士兰科技大学)
视觉位置识别(VPR)的一个关键挑战是识别位置,尽管由于一天中的时间,季节,天气或照明条件等因素而导致视觉外观发生剧烈变化。基于深度学习的图像描述符、序列匹配、域转换和概率定位的许多方法都成功地解决了这一挑战,但大多数方法都依赖于可能地点的精心策划的代表性参考图像的可用性。在本文中,我们提出了一种新的方法,称为贝叶斯选择性融合,积极选择和融合信息参考图像,以确定最佳的地方匹配给定的查询图像。我们的方法的选择性元素避免了每个参考图像的适得其反的融合,并能够在视觉条件不断变化的环境中动态选择信息参考图像(例如室内闪烁的灯光,在阳光下或在昼夜循环期间的室外)。我们的方法的概率元素提供了一种融合多个参考图像的方法,该方法通过一种新的VPR无训练似然函数来解释它们的不确定性。在两个基准数据集的困难查询图像上,我们证明了我们的方法匹配并超过了几种替代融合方法的性能,以及最先进的技术,这些技术提供了最佳参考图像的先验(不公平)知识。我们的方法非常适合于长期的机器人自主性,其中动态视觉环境是常见的,因为它是免费的,不可知的,并补充现有的技术,如序列匹配。
2021-01-03 cs.CV cs.RO
NubbleDrop: A Simple Way to Improve Matching Strategy for Prompted One-Shot Segmentation
College of Information Science and Technology(信息科学与技术学院);Jinan University(暨南大学);Department of Computer Science(计算机科学系)
针对单样本分割中原始特征匹配易受偏差和分布不均影响的问题,本文提出无需训练、零额外计算成本的NubbleDrop随机通道丢弃方法,显著提升匹配鲁棒性与分割性能。
2024-05-19 cs.AI cs.CV