Leveraging Contrastive Learning for a Similarity-Guided Tampered Document Data Generation Pipeline
本文提出利用对比学习生成高质量篡改文档图像,通过对比学习和辅助网络提升数据生成质量,有效解决数据稀缺问题。
2026-02-19 cs.CV
Adversarial Robustness in RGB-Skeleton Action Recognition: Leveraging Attention Modality Reweighter
Tianjin University(天津大学);Lappeenranta-Lahti University of Technology(拉彭兰塔-拉蒂理工大学);Great Bay University(大湾区大学)
本文研究RGB-骨架动作识别模型的对抗鲁棒性,提出即插即用的注意力模态重加权器(AMR),利用注意力层重新加权两种模态以学习更鲁棒特征,在NTU-RGB+D 60数据集上抵御PGD20攻击时性能提升43.77%。
2024-07-29 cs.CV
Leveraging Expert Models for Training Deep Neural Networks in Scarce Data Domains: Application to Offline Handwritten Signature Verification
University of Patras(帕特雷大学);Democritus University of Thrace(德谟克利特色雷斯大学);University of West Attica(西阿提卡大学)
本文提出一种基于特征知识蒸馏的学生-教师框架,仅用手写文本数据训练卷积神经网络,有效解决了离线手写签名验证中的数据稀缺问题,并在三个数据集上达到与教师模型相当或更优的性能。
2023-08-02 cs.CV
Leveraging Perturbation Robustness to Enhance Out-of-Distribution Detection
Purdue University(普渡大学)
本研究提出后处理方法PRO,利用分布外输入预测置信度对扰动更敏感的特性,通过梯度下降搜索局部最低评分提升分布内外样本可分性,在OpenOOD基准上刷新小模型softmax类OOD检测性能,CIFAR-10对抗训练模型上FPR@95降超10%。
2025-03-24 cs.CV
Enhancing Thermal MOT: A Novel Box Association Method Leveraging Thermal Identity and Motion Similarity
University of Ottawa(渥太华大学)
本文针对热红外多目标跟踪中视觉特征缺乏的问题,提出一种融合热身份与运动相似性的新型框关联方法,并发布大规模城市场景热红外与RGB数据集,实验证明其跟踪精度和鲁棒性显著优于现有方法。
2024-11-20 cs.AI cs.CV cs.LG
Leveraging Image-Text Similarity and Caption Modification for the DataComp Challenge: Filtering Track and BYOD Track
LINE Corporation(LINE公司);LY Corporation(LY公司)
本文提出针对 DataComp 挑战赛 filtering track 和 BYOD track 的解决方案,利用 CLIP 和 BLIP-2 过滤修改网络爬取数据并结合外部数据集与技巧提升质量,分别实现 6.6% 和 48.5% 的显著提升。
2023-10-23 cs.AI cs.CV
Annotations on a Budget: Leveraging Geo-Data Similarity to Balance Model Performance and Annotation Cost
University of Michigan(密歇根大学)
针对基础模型训练数据地理分布不均导致低代表性国家效果差、标注成本高的问题,提出通过识别视觉差异大的主题来源国及相似国补充训练的方法,平衡性能与成本,相关资源已开源。
2024-03-12 cs.AI cs.CL cs.CV
ExMap: Leveraging Explainability Heatmaps for Unsupervised Group Robustness to Spurious Correlations
UiT The Arctic University of Norway(挪威北极大学)
针对深度学习模型因伪相关产生偏差的问题,提出无监督两阶段机制ExMap,利用可解释性热力图聚类生成伪标签替代真实标签进行训练,有效提升群体鲁棒性并缓解多重捷径问题。
2024-03-20 cs.CV cs.LG
Domain Adaptive SAR Wake Detection: Leveraging Similarity Filtering and Memory Guidance
College of Computer Science and Technology, Qingdao University(青岛大学计算机科学与技术学院);Laboratory for Regional Oceanography and Numerical Modeling, Qingdao Marine Science and Technology Center(青岛海洋科学与技术中心区域海洋学与数值模拟实验室);School of Computer Science and Information Technology, The University of Nottingham(诺丁汉大学计算机科学与信息学院);State Key Laboratory of Physical Oceanography, Department of Marine Technology, Ocean University of China(中国海洋大学物理海洋学国家重点实验室,海洋技术系)
针对SAR与光学图像跨模态域自适应尾迹检测难题,提出SimMemDA框架,结合风格迁移、实例级相似性过滤、特征记忆库校准及区域混合训练,有效提升跨模态船尾迹检测的准确性与鲁棒性。
2025-09-14 cs.AI cs.CV
Object-based Probabilistic Similarity Evidence of Sparse Latent Features from Fully Convolutional Networks
本研究利用全卷积网络的稀疏潜在特征,通过两步法(特征提取与模糊推理)估计二维图像中对象的视觉相似性,并引入加权方案增强分析,为神经网络相似性分析提供见解。
2023-07-25 cs.CV
Smooth-Reduce: Leveraging Patches for Improved Certified Robustness
New York University(纽约大学);Bosch Center for AI(博世人工智能中心)
随机平滑(RS)已被证明是一种快速,可扩展的技术,用于证明深度神经网络分类器的鲁棒性。然而,基于RS的方法需要用大量的噪声来增强数据,这导致准确性显著下降。我们提出了一种无需训练的改进平滑方法Smooth-Reduce,该方法利用修补和聚合来提供改进的分类器证书。我们的算法对从输入图像中提取的重叠补丁进行分类,并聚合预测的logits以证明输入周围的更大半径。我们研究了两个聚合方案-最大值和平均值-并表明,这两种方法提供更好的证书认证的准确性,平均认证半径和precision率相比,并发的方法。我们还提供了这样的证书的理论保证,并在经验上显示出显着的改进,比其他随机平滑方法,需要昂贵的再培训。此外,我们将我们的方法扩展到视频,并为视频分类器提供有意义的证书。项目页面可以在https://nyu-dice-lab.github.io/SmoothReduce/上找到
2022-05-12 cs.CV cs.LG
Patch Craft: Video Denoising by Deep Modeling and Patch Matching
The Technion(以色列理工学院);Google Research(谷歌研究院)
自然图像的非局部自相似特性已被广泛地用于解决各种图像处理问题。当涉及到视频序列时,由于时间冗余,利用这种力量甚至更有益。在图像和视频去噪的背景下,许多面向经典的算法采用自相似性,将数据分成重叠的补丁,收集相似的数据组并以某种方式将它们处理在一起。随着卷积神经网络(CNN)的出现,基于补丁的框架已经被抛弃。大多数CNN去噪器对整个图像进行操作,仅通过使用大的接收场来隐式地利用非局部关系。这项工作提出了一种新的方法,用于在视频去噪的背景下利用自相似性,同时仍然依赖于常规的卷积架构。我们介绍了一个概念的补丁工艺帧-人工帧,是类似于真正的,建立平铺匹配补丁。我们的算法用补丁工艺帧来增强视频序列,并将它们馈送到CNN。我们证明了所提出的方法获得的去噪性能的大幅提升。
2021-10-30 cs.CV
Attacking Perceptual Similarity Metrics
Portland State University(波特兰州立大学)
本研究系统评估感知相似性度量对不可感知对抗扰动的鲁棒性,发现常见攻击可翻转其判断,并提出结合空间与PGD攻击的迁移方法,为度量鲁棒性研究提供基准。
2023-05-15 cs.CV eess.IV
Robustness of Similarity-based Positional Encoding Under Rotations: Theoretical Analysis and Experimental Validation
Computer Science Institute, DiSIT, University of Piemonte Orientale, Alessandria, Italy(皮埃蒙特东方大学计算机科学研究所,DiSIT,亚历山德里亚,意大利)
本文理论分析并实验验证了基于相似性的位置编码(simPE)在旋转扰动下的稳定性,证明其在Frobenius范数下具有有界扰动,并在多个数据集上优于标准位置编码。
2026-06-17 cs.AI cs.CV
CoLM-DSR: Leveraging Neural Codec Language Modeling for Multi-Modal Dysarthric Speech Reconstruction
The Chinese University of Hong Kong(香港中文大学);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Vocal Engineering Technologies Limited(声动科技有限公司)
针对构音障碍语音重构中说话人相似度低、韵律自然度差的问题,提出基于神经编解码语言建模的多模态CoLM-DSR模型,经UASpeech语料库验证,在相关指标上取得显著提升。
2024-06-24 cs.CV cs.SD eess.AS
Power Normalizing Second-order Similarity Network for Few-shot Learning
Australian National University(澳大利亚国立大学);Data61/CSIRO(Data61/联邦科学与工业研究组织)
数据点的二阶和高阶统计量在推进诸如细粒度图像和场景识别等计算机视觉问题的最新技术水平方面发挥了重要作用。但是,这些统计信息需要通过适当的池化方案来传递,以获得最佳性能。功率归一化是非线性激活单元,它具有概率启发的推导,可以应用于CNN。在本文中,我们提出了一个利用二阶信息和功率归一化的相似性学习网络。为此,我们提出了几个配方捕捉二阶统计量,并推导出一个sigmoid-like功率归一化函数,以证明其可解释性。我们的模型是端到端训练的,以学习支持集和查询图像之间的相似性,以解决一次性和少样本学习的问题。在Omniglot、miniImagenet和Open MIC数据集上的评估表明,该网络在几个少样本学习协议上获得了最先进的结果。
2018-11-10 cs.CV
SAM-IF: Leveraging SAM for Incremental Few-Shot Instance Segmentation
Shanghai Jiao Tong University(上海交通大学);Noematrix Co., Ltd.(诺码特里克斯有限公司)
SAM-IF利用SAM模型,通过多类分类器和余弦相似度分类器实现增量少样本实例分割,仅更新分类器权重支持增量学习,在有限标注数据下取得更合理结果。
2024-12-15 cs.CV
DFM-X: Augmentation by Leveraging Prior Knowledge of Shortcut Learning
University of Twente(特文特大学)
本文提出 DFM-X 数据增强方法,利用主导频率图中的频率捷径先验改造部分训练图像,促使模型学习更广泛的频率与深层语义,从而提升对常见损坏和对抗攻击的鲁棒性。
2023-08-12 cs.CV
TRUST: Leveraging Text Robustness for Unsupervised Domain Adaptation
提出TRUST方法,利用语言模态鲁棒性指导视觉模型的无监督域适应,通过基于描述生成伪标签并估计其不确定性来重新加权分类损失,同时引入多模态软对比学习损失对齐特征空间,在DomainNet和GeoNet上达到SOTA。
2025-08-08 cs.CV cs.LG
A Similarity Inference Metric for RGB-Infrared Cross-Modality Person Re-identification
Peking University(北京大学);Nanyang Technological University(南洋理工大学);Peng Cheng Laboratory(鹏城实验室)
RGB-红外(IR)跨模态人员重新识别(re-ID),其目的是在RGB图库中搜索IR图像或反之亦然,由于IR和RGB模态之间的大差异,是一项具有挑战性的任务。现有方法通常通过跨模态对齐特征分布或图像样式来解决这一挑战,而在很大程度上忽略了相同模态的图库样本之间非常有用的相似性(即模态内样本相似性)。本文提出了一种新的相似性推理度量(SIM),利用模态内样本的相似性,以规避跨模态的差异,目标是最佳的跨模态图像匹配。SIM通过连续相似图推理和相互最近邻推理,从两个不同的角度利用模态内样本的相似性来挖掘跨模态样本的相似性。在两个跨模态re-ID数据集(SYSU-MM 01和RegDB)上的大量实验表明,SIM实现了显着的准确性提高,但与最先进的相比,几乎没有额外的训练。
2020-07-03 cs.CV
Feature-Space Smoothing: Certified Robustness of Deep Representations
Rapid-Rich Object Search Lab, School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore(快速-丰富目标搜索实验室,电气电子工程学院,南洋理工大学,新加坡);Pengcheng Laboratory, Shenzhen, China(鹏城实验室,深圳,中国)
本文提出了一种特征空间平滑(FS)框架,通过在特征表示层面提供认证鲁棒性,以解决深度学习模型对恶意输入的脆弱性问题,核心方法是通过特征平滑保证清洁和对抗特征之间的余弦相似度下界,并引入高斯平滑增强器(GSB)提升编码器的高斯鲁棒性得分,从而提升模型的鲁棒性并保持下游任务性能。
2026-10-26 cs.CV cs.LG
A Topology-Aware Graph Convolutional Network for Human Pose Similarity and Action Quality Assessment
Shenzhen TSAF Tech. Co. Ltd.(深圳TSAF科技有限公司)
本文提出拓扑感知图卷积网络框架GCN-PSN,通过将人体骨架建模为图并结合连体架构与对比回归目标学习姿态嵌入,有效提升了人体姿态相似性与动作质量评估的性能。
2025-11-03 cs.AI cs.CV
Visual explanation of black-box model: Similarity Difference and Uniqueness (SIDU) method
Aalborg University(奥尔堡大学);Yodaway
近年来,可解释人工智能(XAI)已成为一个非常适合的框架,以生成人类可理解的解释“黑盒”模型。在本文中,一种新的XAI视觉解释算法被称为相似性差异和uniform(SIDU)的方法,可以有效地本地化负责预测的整个对象区域的全部细节。SIDU算法的鲁棒性和有效性进行了分析,通过各种计算和人体实验。特别是,SIDU算法使用三种不同类型的评估(应用程序,人类和功能接地)进行评估,以证明其优越的性能。为了更好地理解SIDU算法的性能,进一步研究了SIDU算法在对抗攻击下对“黑箱”模型的鲁棒性.我们的代码可在https://github.com/satyamahesh84/SIDU_XAI_CODE上获得。
2022-07-10 cs.AI cs.CV cs.HC
Leveraging Model Interpretability and Stability to increase Model Robustness
CentraleSupelec(中央理工-高等电力学院);Valeo(法雷奥)
最先进的深度神经网络(DNN)现在可以在图像分类任务上实现高于人类水平的准确性。然而,它们出色的性能伴随着复杂的推理机制,使它们成为难以解释的模型。为了理解DNN的潜在预测规则,Dhamdhere等人提出了一种可解释性方法,将DNN预测得分分解为其隐藏单元贡献的总和,以称为电导的度量的形式。通过分析DNN隐藏单元的电导,我们发现在推断错误和正确预测的方式上存在差异。我们确定可区分的模式隐藏单元激活错误和正确的预测。然后,我们在DNN之上使用二进制分类器形式的错误检测器,根据其隐藏单元激活自动区分DNN的错误和正确预测。检测到的错误预测被丢弃,增加了模型的鲁棒性。Wang等人提出了一种不同的方法来区分DNN的错误和正确预测,其方法基于这样的前提:导致DNN做出错误预测的输入样本对DNN权重变化的稳定性低于正确分类的输入样本。在我们的研究中,我们比较了这两种方法,并发现通过结合它们可以更好地检测错误的预测。
2019-11-05 cs.CV cs.LG stat.ML
Pixel-Based Similarities as an Alternative to Neural Data for Improving Convolutional Neural Network Adversarial Robustness
SEAS Harvard University Cambridge, MA, USA(哈佛大学塞弗研究所剑桥马萨诸塞州)
本文提出了一种基于像素相似性的方法,替代传统神经数据以提升CNN的对抗鲁棒性,无需专门数据即可实现鲁棒性改进。
2026-02-12 cs.AI cs.CV cs.LG
Leveraging Persistence Image to Enhance Robustness and Performance in Curvilinear Structure Segmentation
University of Science and Technology of China(中国科学技术大学)
本文提出PIs-Regressor和Topology SegNet,通过直接学习持续图像来增强曲率结构分割的鲁棒性和性能,实验表明拓扑特征能有效提升医学图像分割的准确性。
2026-01-25 cs.AI cs.CV
LayoutGMN: Neural Graph Matching for Structural Layout Similarity
Simon Fraser University(西蒙弗雷泽大学);Adobe Research(Adobe研究院)
我们提出了一个深度神经网络,利用图匹配网络(GMN)来预测2D布局之间的结构相似性。我们的网络称为LayoutGMN,通过神经图匹配学习布局度量,使用在三重网络设置下设计的基于注意力的GMN。为了训练我们的网络,我们利用通过逐像素的交集(IoUs)获得的弱标签来定义三重丢失。重要的是,LayoutGMN是用结构化的偏见构建的,可以有效地弥补IoU中结构意识的缺乏。我们在两种突出的布局形式上证明了这一点,即,平面图和UI设计,通过大规模数据集上的检索实验。特别是,与IoU和其他基线(包括基于图神经网络和图像卷积的最先进方法)相比,我们的网络的检索结果更好地匹配人类对结构布局相似性的判断。此外,LayoutGMN是第一个提供结构布局相似性度量学习和布局元素之间结构匹配的深度模型。
2021-04-06 cs.CV cs.IR
Divergence-Based Similarity Function for Multi-View Contrastive Learning
Department of Mathematics, Seoul National University(首尔国立大学数学系);Research Institute of Mathematics, Seoul National University(首尔国立大学数学研究所)
本文提出基于分歧的多视图对比学习相似度函数,通过分布分歧建模多视图联合结构,提升多种任务性能并提高效率。
2026-09-11 cs.CV cs.LG
Adversarial Contrastive Learning by Permuting Cluster Assignments
Virginia Tech(弗吉尼亚理工大学)
对比学习作为一种有效的自监督表示学习技术已经得到普及。几个研究方向改进了传统的对比方法,例如,原型对比方法更好地捕捉实例之间的语义相似性,并通过考虑聚类原型或聚类分配来减少计算负担,而对抗性实例对比方法提高了对各种攻击的鲁棒性。据我们所知,没有以前的工作联合考虑鲁棒性,聚类语义相似性和计算效率。在这项工作中,我们提出了SwARo,一个对抗性的对比框架,它结合了集群分配排列来生成代表性的对抗性样本。我们在多个基准数据集上评估了SwARo,并针对各种白盒和黑盒攻击进行了评估,在最先进的基线上获得了一致的改进。
2022-04-21 cs.AI cs.CV cs.LG
Reliable and Efficient Evaluation of Adversarial Robustness for Deep Hashing-Based Retrieval
The Hong Kong University of Science and Technology(香港科技大学);Tsinghua University(清华大学)
深度哈希算法以其高效性和有效性被广泛应用于海量图像检索。最近,一些对抗攻击被提出来揭示深度哈希模型在对抗性示例中的脆弱性。然而,现有的攻击方法由于未充分利用原始样本之间的语义关系或花费大量时间用深度神经网络学习这些关系而遭受性能下降或效率低下。在本文中,我们提出了一种新的灯塔引导攻击,称为PgA,以可靠有效地评估深度哈希网络的对抗鲁棒性。具体地说,我们设计了灯塔代码来表示良性图像的语义,它保留了语义相关样本的相似性和不相关样本的相异性。事实证明,我们可以通过一个简单的数学公式快速计算出灯塔代码。因此,PgA可以通过最大化对抗性示例的哈希码与法老码之间的相似性,直接对基于深度哈希的检索进行可靠且有效的攻击。在基准数据集上进行的大量实验验证了该算法在攻击强度和速度上都优于现有的最先进算法。
2023-03-22 cs.AI cs.CR cs.CV