Modality-Aware Triplet Hard Mining for Zero-shot Sketch-Based Image Retrieval
Huazhong University of Science and Technology（华中科技大学）；Baidu Research（百度研究院）
本文从跨模态度量学习的角度研究了基于零镜头草图的图像检索（Zero-Shot Sketch-Based Image Retrieval，简称SBIR）问题。该任务具有两个特征：1）zero-shot设置需要具有良好的类内紧凑性和类间差异的度量空间以用于识别新类;以及2）草图查询和照片库处于不同的模态。度量学习的观点从两个方面使BS-SBIR受益。首先，它通过深度度量学习（DML）的最新良好实践促进了改进。通过结合DML中的两种基本学习方法，例如，通过分类训练和成对训练，我们建立了一个强有力的基线，用于EST-SBIR。没有花里胡哨，这个基线达到了有竞争力的检索精度。其次，它提供了一个见解，适当地抑制模态差距是至关重要的。为此，我们设计了一种新的方法命名为模态感知三元组硬挖掘（MATHM）。MATHM通过三种类型的成对学习来增强基线，例如，跨模态样本对、模态内样本对以及它们的组合。\We还设计了一种自适应加权方法，在训练过程中动态地平衡这三个分量。实验结果证实，MATHM带来了另一轮的显着改善的基础上强大的基线，并建立了新的国家的最先进的性能。例如，在TU-Berlin数据集上，我们实现了47.88+ 2.94%mAP@all和58.28+ 2.34%Prec@100。代码将在https://github.com/huangzongheng/MATHM上公开。
2021-12-16 cs.CV
Beyond Triplet Loss: Person Re-identification with Fine-grained Difference-aware Pairwise Loss
Beihang University（北京航空航天大学）；University of Adelaide（阿德莱德大学）；Griffith University（格里菲斯大学）；National Institute of Informatics（国立情报学研究所）；University of Tokyo（东京大学）
人员重新识别（ReID）旨在从多个摄像机的不同视角重新识别人员。捕捉细粒度的外观差异通常是准确识别ReID的关键，因为只有在查看这些细粒度差异时才能区分许多身份。然而，大多数最先进的人ReID方法，通常由三重丢失驱动，无法有效地学习细粒度特征，因为它们更专注于区分大的外观差异。为了解决这个问题，我们引入了一种新的成对损失函数，使ReID模型能够通过自适应地对小差异的图像执行指数惩罚和对大差异的图像执行有界惩罚来学习细粒度特征。所提出的损失是通用的，可以用作插件来取代三重损失，以显着增强不同类型的国家的最先进的方法。在四个基准数据集上的实验结果表明，该损失函数的性能大大优于一些流行的损失函数，并且能够显著提高数据效率.
2020-09-22 cs.CV cs.IR
Beyond triplet loss: a deep quadruplet network for person re-identification
University of Chinese Academy of Sciences（中国科学院大学）；University of Dundee（邓迪大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
人员再识别（ReID）是广域视频监控中的一项重要任务，其重点是识别不同摄像机之间的人员。最近，具有三重丢失的深度学习网络成为人ReID的常见框架。然而，三重损失主要关注在训练集上获得正确的顺序。它仍然存在从训练集到测试集的泛化能力较弱的问题，从而导致性能较差。在本文中，我们设计了一个四重损失，它可以导致模型输出具有更大的类间变化和更小的类内变化相比，三重损失。因此，我们的模型具有更好的泛化能力，可以达到更高的测试集上的性能。特别地，基于人ReID的四元组损失，提出了使用基于边缘的在线硬否定挖掘的四元组深度网络。在广泛的实验中，所提出的网络在代表性数据集上的性能优于大多数最先进的算法，这清楚地证明了我们所提出的方法的有效性。
2017-04-06 cs.CV
Relation Preserving Triplet Mining for Stabilising the Triplet Loss in Re-identification Systems
Singapore Management University（新加坡管理大学）；University of Tübingen（蒂宾根大学）；University of New South Wales（新南威尔士大学）
对象外观随姿态变化而显著变化。这给嵌入方案带来了挑战，嵌入方案试图将具有相同对象ID的实例映射到尽可能接近的位置。这个问题在复杂的计算机视觉任务中变得非常突出，例如重新识别（reID）。在本文中，我们认为，这些戏剧性的外观变化表明，一个对象ID是由多个自然组，它是适得其反，强制映射实例从不同的组到一个共同的位置。这导致我们引入关系保持三元组挖掘（RPTM），特征匹配指导的三元组挖掘方案，确保三元组将尊重对象ID内的自然分组。我们使用这种三元组挖掘机制，建立一个姿势感知，良好的条件三元组损失隐式执行视图的一致性。这允许单个网络在数据集上使用固定参数进行训练，同时提供最先进的结果。代码可在https://github.com/adhirajghosh/RPTM_reid上获得。
2022-11-14 cs.CV
Task-Guided Multi-Annotation Triplet Learning for Remote Sensing Representations
University of Florida（佛罗里达大学）
本文提出任务引导的多注释三元组损失，通过互信息标准选择三元组以提升遥感表示的共享表征效果，实验显示在多任务场景下提升了分类和回归性能。
2026-04-04 cs.CV
Distribution Context Aware Loss for Person Re-identification
Shanghai Jiao Tong University（上海交通大学）；Alibaba Cloud（阿里云）；Video Technology Co. Limited（千视通科技有限公司）
为了在人员重新识别中学习探测图像和图库图像之间的最佳相似性函数，已经广泛探索了有效的深度度量学习方法以获得区分性特征嵌入。然而，现有的度量损失，如三重损失及其变种，往往强调成对的关系，但忽略了在特征空间中的分布上下文，导致不一致和次优。事实上，一个样本对的相似性不仅决定了这个样本对的匹配，而且对其他样本对也有潜在的影响。在本文中，我们提出了一种新的分布上下文感知（DCA）损失的基础上三元组损失相结合的特征空间中的数值相似性和关系相似性更好的聚类。在Market-1501、DukeMTMC-reID和MSMT 17三个基准上进行的大量实验证明了我们的方法与相应的基线和其他最先进的方法相比具有良好的性能。
2019-11-17 cs.CV
EditGarment: An Instruction-Based Garment Editing Dataset Constructed with Automated MLLM Synthesis and Semantic-Aware Evaluation
Xi'an Jiaotong-Liverpool University（西安交通大学利物浦大学）；NingboTech University（宁波科技学院）；Zhejiang University（浙江大学）
提出一种自动化流水线构建首个基于指令的服装编辑数据集EditGarment，通过定义六类编辑指令和引入语义感知评估指标Fashion Edit Score，从52,257个候选三元组中筛选出20,596个高质量数据，解决了高质量指令-图像对稀缺的问题。
2025-08-14 cs.CV
Breast Ultrasound Computer-Aided Diagnosis Using Structure-Aware Triplet Path Networks
College of Information Science and Technology, Northwest University（西北大学信息科学与技术学院）；University of Texas Southwestern Medical Center（德克萨斯大学西南医学中心）
乳腺超声是检测和诊断乳腺癌的有效影像学手段。乳腺病变的结构特征在计算机辅助诊断（CAD）中起着重要的作用。本文设计了一种新的结构感知三重路径网络（SATPN），将分类和两个图像重建任务集成在一起，实现了在小训练集下对超声图像的准确诊断。具体而言，我们通过使用距离变换耦合高斯滤波器将原始乳腺US图像转换为BIRADS导向的特征图（BFM）来增强临床批准的乳腺病变结构特征。然后，将转换后的BFM用作SATPN的输入，SATPN独立地执行病变分类任务和用于良性和恶性图像重建任务的两个无监督堆叠卷积自动编码器（SCAE）网络。我们通过平衡图像重建误差和分类标签预测误差，使用交替学习策略训练SATPN。在测试阶段，病变标记通过加权投票确定重建误差和标记预测误差。我们将SATPN与使用原始图像作为输入的TPN以及我们以前开发的使用BFM作为输入的半监督深度学习方法的性能进行了比较。在两个乳腺US数据集上的实验结果表明，SATPN在三个网络中排名最好，分类准确率约为93.5%。这些结果表明，SATPN是有效的乳腺超声病变CAD使用小数据集的前景。
2020-06-14 cs.CV eess.IV
Set Augmented Triplet Loss for Video Person Re-Identification
Australian National University（澳大利亚国立大学）；DATA61-CSIRO（联邦科学与工业研究组织DATA61）；OPPO US Research Center（OPPO美国研究中心）；Monash University（莫纳什大学）
现代视频人重新识别（re-ID）机器通常使用度量学习方法进行训练，由三重丢失监督。在视频重新识别中使用的三重丢失通常基于所谓的剪辑特征，每个剪辑特征从几个帧特征聚合。在本文中，我们建议将视频剪辑建模为一个集合，而不是研究相应的三重损失中集合之间的距离。与剪辑表示之间的距离相比，剪辑集之间的距离考虑每个元素的成对相似性（即，帧表示）之间的两个集合。这允许网络在帧级别直接优化特征表示。除了通常使用的设置距离度量（例如，普通距离和Hausdorff距离），我们进一步提出了一种混合距离度量，为集合感知的三重丢失量身定制。此外，我们提出了一个硬的积极集建设战略，使用学习类原型在一批。我们提出的方法在几个标准基准测试中取得了最先进的结果，证明了所提出的方法的优点。
2020-11-07 cs.CV
TripletTrack: 3D Object Tracking using Triplet Embeddings and LSTM
KU Leuven（鲁汶大学）；ETH Zurich（苏黎世联邦理工学院）；TRACE vzw（TRACE非营利组织）
3D物体跟踪是自动驾驶系统中的一项关键任务。它对于系统对周围环境的感知起着至关重要的作用。与此同时，人们对仅依赖廉价传感器（如摄像头）的自动驾驶汽车算法的兴趣越来越大。在本文中，我们研究使用三重嵌入结合运动表示的三维对象跟踪。我们从一个现成的3D对象检测器开始，并应用跟踪机制，在该机制中，对象通过在局部对象特征嵌入和运动描述符上计算的亲和力得分进行匹配。特征嵌入被训练为包括关于视觉外观和单眼3D对象特征的信息，而运动描述符提供对象轨迹的强有力的表示。我们将证明，我们的方法可以有效地重新识别对象，并且在遮挡、错过检测的情况下也能可靠而准确地表现出来，并且可以在不同的视场中检测到重新出现。实验评估表明，我们的方法优于国家的最先进的nuScenes的大幅度。我们还在KITTI上获得了竞争性结果。
2022-10-28 cs.CV
Ranking-aware Uncertainty for Text-guided Image Retrieval
School of Computer Science and Engineering, Sun Yat-Sen University（中山大学计算机科学与工程学院）
针对文本引导图像检索中三元组一一对应难以建模多对多语义关系的问题，提出排序感知不确定性方法，通过样本内、跨样本不确定性及分布正则化学习随机排序，并在两个公开数据集上显著优于现有方法。
2023-08-16 cs.AI cs.CV
Zero-Shot Scene Graph Generation via Triplet Calibration and Reduction
Beihang University（北京航空航天大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对场景图生成在未见三元组上泛化差的问题，提出T-CAR框架，通过三元组校准损失、未见空间约简损失和上下文编码器提升零样本场景图生成性能。
2023-09-07 cs.CV cs.MM
Adversarial Background-Aware Loss for Weakly-supervised Temporal Activity Localization
University of Michigan（密歇根大学）
近年来，对未修剪视频中的时间定位活动进行了广泛的研究。尽管最近的进展，现有的方法弱监督的时间活动本地化的斗争，以识别活动时，没有发生。为了解决这个问题，我们提出了一种新的方法命名为A2 CL-PT。在我们的方法中考虑了特征空间的两个三元组：一个三元组用于学习每个活动类的判别特征，另一个三元组用于区分每个视频的活动相关特征和没有活动发生的特征（即背景特征）。为了进一步提高性能，我们使用两个并行的分支来构建我们的网络，这两个分支以对抗的方式运行：第一个分支定位视频中最突出的活动，第二个分支从视频的非本地化部分中找到其他补充活动。在THUMOS 14和ActivityNet数据集上进行的大量实验表明，我们提出的方法是有效的。具体而言，THUMOS 14数据集上从0.1到0.9的IoU阈值的平均mAP从27.9%显著提高到30.0%。
2020-07-13 cs.CV
PCCT: Progressive Class-Center Triplet Loss for Imbalanced Medical Image Classification
Sun Yat-Sen University（中山大学）
不平衡的训练数据是医学图像分类的一个重大挑战。在这项研究中，我们提出了一种新的渐进式类中心三联体（PCCT）框架，以减轻类不平衡的问题，特别是对罕见病的诊断，主要是通过仔细设计的三联体抽样策略和三联体损失的形成。具体而言，预防和打击腐败框架包括两个连续的阶段。在第一阶段，PCCT通过类平衡的三重损失来训练诊断系统，以粗略地分离不同类的分布。在第二阶段中，PCCT框架通过涉及三重丢失的类中心进一步改进诊断系统，以使每个类的分布更紧凑。对于类平衡的三元组丢失，在每次训练迭代中对每个类的三元组进行相等采样，从而缓解不平衡的数据问题。对于涉及三元组丢失的类中心，每个三元组中的正样本和负样本被其对应的类中心替换，这强制执行更接近类中心的相同类的数据表示。此外，类中心涉及三重损失扩展到两两排序损失和四重损失，这表明所提出的框架的推广。大量的实验支持PCCT框架有效地用于具有不平衡训练图像的医学图像分类。在两个皮肤图像数据集和一个胸部X射线数据集上，所提出的方法在所有类别上分别获得平均F1分数86.2，65.2和90.66，在罕见类别上分别获得平均F1分数81.4，63.87和81.92，实现了最先进的性能，并且优于广泛使用的方法来解决类别不平衡问题。
2022-07-11 cs.CV
TABNet: A Triplet Augmentation Self-Recovery Framework with Boundary-Aware Pseudo-Labels for Medical Image Segmentation
School of Information Science and Technology, Northwest University（信息科学与技术学院，西北大学）；Institute of Biomedical Engineering, Department of Engineering Science, University of Oxford（生物医学工程研究所，工程科学系，牛津大学）
本文提出TAB Net弱监督医学图像分割框架，通过三元组增强自恢复模块和边界感知伪标签监督模块，在涂鸦标注下实现与全监督方法相当的分割性能。
2025-07-03 cs.CV cs.LG
AdaSample: Adaptive Sampling of Hard Positives for Descriptor Learning
Nankai University（南开大学）；A*STAR（新加坡科技研究局）；The University of Adelaide（阿德莱德大学）
三重态丢失已被广泛应用于广泛的计算机视觉任务中，包括局部描述符学习。三元组丢失的有效性在很大程度上依赖于三元组选择，其中常见的做法是首先从数据集中采样类内补丁（阳性）用于批量构建，然后挖掘批量阴性以形成三元组。对于高信息量的三联体集，研究者们大多集中在第二阶段的硬否定集的挖掘上，而对信息量批次的构建关注相对较少。为了缓解这个问题，我们提出了AdaSample，一个自适应的在线批量采样器，在本文中。具体地，基于其信息量对硬阳性进行采样。通过这种方式，我们在一个新的最大损失最小化训练协议中制定了一个硬度感知的积极挖掘管道。所提出的方法的有效性进行了评估，在几个标准的基准，它表现出显着的和一致的性能增益的顶部现有的强基线。
2019-11-27 cs.CV
Hard-Aware Point-to-Set Deep Metric for Person Re-identification
Huazhong University of Science and Technology（华中科技大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
由于人的姿态、视点、光照和遮挡变化很大，人的重新识别（re-ID）是一项极具挑战性的任务。深度度量学习通过在度量丢失的监督下训练深度网络来提供对人员重新识别的满意解决方案，例如，三重态损失然而，深度度量学习的性能受到传统采样方法的极大限制。为了解决这个问题，我们提出了一个硬感知点集（HAP 2S）损失与软硬挖掘计划。基于点到集的三重损失框架，HAP 2S损失自适应地将更大的权重分配给更硬的样本。当与其他现有技术的损失函数相比时，观察到几个有利的性质：1）准确性：HAP 2S损失在三个大规模基准数据集上一致地实现比其他替代方案更高的re-ID准确性; 2）鲁棒性：HAP 2S损失比其他损失对离群值更鲁棒; 3）灵活性：HAP 2S损失不依赖于特定的权重函数，即，HAP 2S损失的不同实例同样有效。4)一般性：除了人员重新识别之外，我们还将所提出的方法应用于通用的深度度量学习基准测试，包括CUB-200-2011和Cars 196，并取得了最先进的结果。
2018-07-30 cs.CV
INTENT: Invariance and Discrimination-aware Noise Mitigation for Robust Composed Image Retrieval
School of Software, Shandong University（山东大学软件学院）
本文提出INTENT网络，通过视觉不变组成和双目标判别学习处理复合图像检索中的两种噪声类型，提升检索鲁棒性。
2026-04-20 cs.CV
Why Deep Surgical Models Fail?: Revisiting Surgical Action Triplet Recognition through the Lens of Robustness
University of Cambridge（剑桥大学）；UCL（伦敦大学学院）
手术动作三联体识别提供了对手术场景的更好理解。该任务具有高度相关性，因为它为外科医生提供了情境感知支持和安全性。当前提高性能的策略是开发新的网络机制。然而，当前最先进技术的性能远低于其他手术任务。为什么会这样？这就是我们在这项工作中要解决的问题。我们提出了第一项研究，通过鲁棒性和可解释性来理解现有深度学习模型的失败。首先，我们通过对抗优化方案研究了弱和强$δ-$扰动下的现有模型。然后，我们通过基于特征的解释来分析故障模式。我们的研究表明，提高性能和增加可靠性的关键是在核心和虚假的属性。我们的工作为手术数据科学中更值得信赖和可靠的深度学习模型打开了大门。
2023-02-20 cs.CV
GenState-AI: State-Aware Dataset for Text-to-Video Retrieval on AI-Generated Videos
本文提出GenState-AI数据集，通过可控状态转换和显式端状态标注，解决文本到视频检索中时间推理和端状态定位不足的问题，评估两种基线模型并分析时间与语义混淆源。
2026-10-15 cs.CV cs.IR cs.MM
GNN-MoE: Context-Aware Patch Routing using GNNs for Parameter-Efficient Domain Generalization
本文提出GNN-MoE，将图神经网络路由与Kronecker适配器MoE框架结合，利用图像块间关系进行上下文感知路由，以高参数效率实现领域泛化。
2025-11-06 cs.CV
Better Pseudo-label: Joint Domain-aware Label and Dual-classifier for Semi-supervised Domain Generalization
Nanjing University（南京大学）；National Institute of Healthcare Data Science, Nanjing University（南京大学健康医疗大数据国家研究院）；Southeast University（东南大学）
领域泛化（DG）是一种新提出的学习范式，其目标是将训练好的模型直接推广到未知的领域。以往的DG模型在训练过程中通常需要足够数量的来自观测源域的注释样本。在本文中，我们放宽了这一要求，充分的注释和调查半监督领域泛化（SSDG），只有一个源域是完全注释与其他领域完全未标记的训练过程中。为了解决观察到的源域之间的域间隙和预测看不见的目标域的挑战，我们提出了一种新的深度框架，通过联合域感知标签和双分类器来产生高质量的伪标签。具体地说，为了预测准确的伪标签下域移位，域感知的伪标签模块的开发。此外，考虑到泛化和伪标记之间的目标不一致：前者防止过拟合所有源域，而后者可能过拟合未标记的源域以获得高精度，我们采用双分类器在训练过程中独立地执行伪标记和领域泛化。当为未标记的源域生成准确的伪标签时，应用域混合操作来在标记的域和未标记的域之间增加新的域，这有利于提高模型的泛化能力。在公开的DG基准数据集上的广泛结果表明了我们提出的SSDG方法的有效性。
2022-08-17 cs.CV
Improving Generalization in Visual Reinforcement Learning via Conflict-aware Gradient Agreement Augmentation
Academy for Engineering & Technology, Fudan University（复旦大学工程与技术学院）
本文针对视觉强化学习中数据增强导致的梯度冲突和方差问题，提出CG2A框架，通过梯度一致性求解器和软梯度手术策略自适应平衡梯度并缓解冲突，显著提升了算法的泛化性能与样本效率。
2023-08-02 cs.CV
Sharpness-Aware Gradient Matching for Domain Generalization
The Hong Kong Polytechnic University（香港理工大学）；Center for Artificial Intelligence and Robotics（人工智能与机器人中心）；HKISI CAS（中国科学院香港创新研究院）；State Key Laboratory of Multimodal Artificial Intelligence Systems（多模态人工智能系统全国重点实验室）；CASIA（中国科学院自动化研究所）
领域泛化（DG）的目标是增强从源领域学习到其他未知领域的模型的泛化能力。最近开发的锐度感知最小化（SAM）方法旨在通过最小化损失景观的锐度度量来实现这一目标。虽然SAM及其变体已经展示了令人印象深刻的DG性能，但它们可能并不总是收敛到具有小损耗值的期望平坦区域。本文提出了两个条件来保证模型能够以较小的损失收敛到一个平坦的最小值，并提出了一种算法SAGM（Sharpness-Aware Gradient Matching）来满足这两个条件以提高模型的泛化能力。具体地，SAGM的优化目标将同时最小化经验风险、扰动损失（即，参数空间中邻域内的最大损失）以及它们之间的间隙。通过隐式调整经验风险和扰动损失之间的梯度方向，SAGM在不增加计算成本的情况下提高了SAM及其变体的泛化能力。大量的实验结果表明，我们提出的SAGM方法始终优于国家的最先进的方法在五个DG基准，包括PACS，VLCS，THEREHome，TerraIncognita和DomainNet。代码可在https://github.com/Wang-pengfei/SAGM上获得。
2023-03-18 cs.CV
fine-CLIP: Enhancing Zero-Shot Fine-Grained Surgical Action Recognition with Vision-Language Models
University of Strasbourg（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）；INSERM（法国国家健康与医学研究院）；ICube（ICube实验室）；IHU Strasbourg（斯特拉斯堡大学医院研究所）；University Hospital of Strasbourg（斯特拉斯堡大学医院）
针对CLIP在零样本细粒度手术动作识别中忽视局部细节与层次结构的问题，提出fine-CLIP，通过层次提示、LoRA视觉适配和基于图的凝聚策略，在CholecT50上显著提升F1和mAP。
2025-03-25 cs.CV
Robust Atypical Mitosis Classification with DenseNet121: Stain-Aware Augmentation and Hybrid Loss for Domain Generalization
Mohamed Bin Zayed University of Artificial Intelligence（Mohamed Bin Zayed人工智能大学）
本文提出基于DenseNet-121的非典型有丝分裂分类框架，结合染色感知增强与混合损失，在MIDOG 2025测试集上实现85.0%平衡准确率，展现出强域泛化能力。
2025-11-01 cs.CV
Domain generalization Person Re-identification on Attention-aware multi-operation strategery
Hebei University of Technology（河北工业大学）
领域泛化人员再识别（DG Re-ID）旨在将在源域上训练的模型直接部署到未知的目标域，具有良好的泛化能力，这是一个具有挑战性的问题，在现实世界的部署中具有实用价值。在现有的DG Re-ID方法中，不变量操作在提取领域泛化特征方面是有效的，实例归一化（IN）或批量归一化（BN）用于减轻对未知领域的偏差。由于域特定的信息被用来捕捉个别源域的可辨别性，未见过的域的广义能力是不令人满意的。为了解决这个问题，一个注意力感知的多操作策略（AMS）的DG Re-ID提出了提取更广义的功能。我们研究了不变操作，并构建了一个基于IN和组白化（GW）的多操作模块来提取域不变的特征表示。此外，我们分析了不同的域不变特征，并将空间注意力应用于IN操作和信道注意力应用于GW操作，以增强域不变特征。所提出的AMS模块可以用作即插即用模块，以纳入现有的网络架构。大量的实验结果表明，AMS可以有效地提高模型的泛化能力，看不见的领域和显着提高DG Re-ID的识别性能在三个协议的10个数据集。
2022-10-19 cs.CV
In-Distribution Consistency Regularization Improves the Generalization of Quantization-Aware Training
Faculty of Information Technology, Beijing University of Technology（北京工业大学信息技术学院）；University of Chinese Academy of Sciences（中国科学院大学）
针对量化感知训练（QAT）性能下降的问题，提出利用分布内一致性正则化同时解决训练不稳定与测试泛化差的问题，经理论与实验验证可有效提升性能，在CIFAR-10上的ResNet18与MobileNet上均有显著提升，甚至优于全精度模型。
2025-01-12 cs.CV
Feature Stylization and Domain-aware Contrastive Learning for Domain Generalization
Yonsei University（延世大学）
领域泛化的目的是在不访问目标域的情况下增强模型对域移位的鲁棒性。由于可用于训练的源域有限，最近的方法集中于生成新域的样本。然而，它们要么在合成丰富域时与优化问题作斗争，要么导致类语义的扭曲。为此，我们提出了一个新的领域泛化框架，利用特征统计将原始特征风格化为具有新领域属性的特征。为了在风格化过程中保留类信息，我们首先将特征分解为高频和低频分量。之后，我们用从操纵统计量中采样的新域风格对低频分量进行风格化，同时保留高频分量中的形状线索。作为最后一步，我们重新合并两个组件，合成新的域功能。为了增强域鲁棒性，我们利用风格化的特征来保持模型在特征和输出方面的一致性。我们实现了与建议的域感知监督对比损失的特征一致性，这确保了域不变性，同时增加了类的可辨别性。实验结果表明，所提出的特征风格化和领域感知的对比度损失的有效性。通过定量比较，我们验证了我们的方法在两个基准，PACS和家庭的领先地位，现有的国家的最先进的方法。
2021-08-19 cs.CV
Frequency-Aware Vision-Language Multimodality Generalization Network for Remote Sensing Image Classification
针对遥感多模态泛化任务的数据异质性和缺乏专有语言先验问题，提出频率感知视觉-语言多模态泛化网络FVMGN，通过扩散增强、小波解纠缠等模块提升泛化能力，实验优于SOTA方法。
2025-11-13 cs.CV
Instance-Aware Domain Generalization for Face Anti-Spoofing
Shanghai Jiao Tong University（上海交通大学）；Youtu Lab, Tencent（腾讯优图实验室）；Deakin University（迪肯大学）
本文提出实例感知域泛化框架，通过非对称实例自适应白化、动态核生成器和类别风格组装在实例级别消除风格敏感特征，无需域标签即可提升人脸活体检测的跨场景泛化能力。
2023-04-12 cs.CV
Language-aware Domain Generalization Network for Cross-Scene Hyperspectral Image Classification
Beijing Institute of Technology（北京理工大学）；The University of Hong Kong（香港大学）
在高光谱图像分类（HSI）任务中，包含大量关于土地覆盖类别的先验知识的文本信息被忽略了。有必要探讨语言模式在HSI分类中的有效性。此外，大规模预训练图像-文本基础模型在各种下游应用中表现出了出色的性能，包括zero-shot传输。然而，大多数领域泛化方法都没有考虑挖掘语言模态知识来提高模型的泛化性能。为了弥补上述不足，提出了一种基于知识感知的领域泛化网络（LDGnet），从跨领域共享的先验知识中学习跨领域不变表示.该方法只在源域（SD）上训练，然后将模型转移到目标域（TD）。采用图像编码器和文本编码器组成的双流结构提取视觉和语言特征，设计了粗粒度和细粒度文本表示，分别提取两级语言特征。此外，语言特征作为跨领域共享语义空间，在语义空间中通过有监督的对比学习完成视觉-语言对齐。在三个数据集上进行的大量实验表明，与最先进的技术相比，所提出的方法具有优越性。
2022-09-06 cs.CV
FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization
University of Science and Technology of China（中国科学技术大学）
完全建立在多层感知器上的MLP模型最近被重新审视，表现出与变压器相当的性能。它是最有前途的架构之一，由于在大规模识别任务的网络能力和效率之间的良好权衡。然而，其对异构任务的泛化性能不如其他架构（例如，CNN和transformers），这是由于域信息的广泛保留。为了解决这个问题，我们提出了一种新的频率感知的MLP架构，在该架构中，特定于域的特征在变换后的频域中被过滤掉，增加了用于标签预测的不变描述符。具体来说，我们设计了一个自适应傅立叶滤波器层，其中一个可学习的频率滤波器是用来调整幅度分布，通过优化的实部和虚部。一个低秩增强模块被进一步提出，通过添加SVD分解的低频分量来校正滤波后的特征。最后，利用动量更新策略，通过加权历史状态的输出蒸馏，使优化对模型参数和输入的波动具有稳定性。据我们所知，我们是第一个提出一个MLP样的骨干领域泛化。在三个基准上进行的大量实验显示出显着的泛化性能，分别比最先进的方法高出3%，4%和9%。
2022-03-24 cs.CV
Enhancing Retinal Vessel Segmentation Generalization via Layout-Aware Generative Modelling
Faculty of Biomedical Engineering, Technion-IIT（以色列理工学院生物医学工程学院）；Faculty of Mathematics, Technion-IIT（以色列理工学院数学学院）；KU Leuven（鲁汶大学）；UZ Leuven（鲁汶大学医院）；São Paulo Federal University（圣保罗联邦大学）；Massachusetts Institute of Technology（麻省理工学院）；School of Electrical and Computer Engineering, Ben-Gurion University of the Negev（本-古里安大学内盖夫分校电气与计算机工程学院）
本文提出视网膜布局感知扩散模型 RLAD，通过以真实血管等布局成分为条件生成配对训练数据，将视网膜血管分割泛化能力提升最高 8.1%，并公开包含 586 张人工分割图像的 REYIA 数据集。
2025-04-05 cs.CV
SensitiveLoss: Improving Accuracy and Fairness of Face Representations with Discrimination-Aware Deep Learning
Universidad Autonoma de Madrid（马德里自治大学）；Max Planck Institute for Human Development（马克斯·普朗克人类发展研究所）
我们提出了一种区分感知的学习方法，以提高有偏见的人脸识别算法的准确性和公平性。最受欢迎的人脸识别基准假设受试者的分布，而不太注意他们的人口统计属性。在这项工作中，我们进行了一个全面的歧视意识的实验深度学习为基础的人脸识别。我们还提出了一个一般的配方的算法歧视与人脸生物识别的应用。这些实验包括三个流行的人脸识别模型和三个公共数据库，其中包括来自不同性别和种族的64，000个身份。我们的实验表明，基于最常用的人脸数据库的学习过程导致了流行的预训练深度人脸模型，这些模型具有很强的算法识别能力。最后，我们提出了一个歧视意识的学习方法，敏感的损失，流行的三重损失函数和敏感的三重生成器的基础上。我们的方法可以作为预训练网络的附加组件，用于提高其平均准确性和公平性。该方法显示的结果与最先进的去偏置网络，并代表了一个进步，以防止歧视性的自动系统的影响。
2020-12-02 cs.CV cs.CY
Hierarchical Clustering with Hard-batch Triplet Loss for Person Re-identification
National University of Defense Technology（国防科技大学）
对于大多数无监督的身份再识别，人们通常采用无监督的领域自适应（UDA）方法。UDA通常在标记的源数据集上进行训练，并在目标数据集上进行评估，这通常侧重于学习源数据集和目标数据集之间的差异，以提高模型的泛化能力。在此基础上，我们探索了如何利用样本的相似性来进行一种完全无监督的方法，该方法只在未标记的目标数据集上进行训练。具体而言，我们提出了一个层次聚类指导的重新ID（HCR）方法。我们使用层次聚类来生成伪标签，并使用这些伪标签作为监视器来进行训练。为了排除困难样本，促进模型的收敛，我们在每次迭代中使用PK采样，即从每个聚类中随机选择固定数量的样本进行训练。我们在Market-1501，DukeMTMC-reID和MSMT 17上评估我们的模型。结果表明，HCR达到了最先进的水平，在Market-1501上达到55.3%的mAP，在DukeMTMC-reID上达到46.8%的mAP。我们的代码将很快发布。
2020-04-22 cs.CV
ImbSAM: A Closer Look at Sharpness-Aware Minimization in Class-Imbalanced Recognition
University of Electronic Science and Technology of China（电子科技大学）；Peng Cheng Laboratory（鹏城实验室）
该研究针对SAM在类别不平衡识别中难以改善尾部类别泛化的问题，提出利用类别先验约束平滑性优化范围的ImbSAM，并在长尾分类与半监督异常检测中验证其显著提升。
2023-08-15 cs.CV
Generalization over Memorization: Generalization-Aware Diffusion Adaptation for Single-Image Multi-View Synthesis
Huazhong University of Science and Technology（华中科技大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本研究提出ACM MM 2026单图像多视图合成挑战赛的获奖方案GoM，通过场景不相交验证等技术，在40个训练场景下实现293支队伍中排名第一，揭示小数据生成建模中验证设计与训练轨迹控制的关键作用。
2026-09-01 cs.CV
CAT: Class Aware Adaptive Thresholding for Semi-Supervised Domain Generalization
Ahsanullah University of Science and Technology（阿萨努拉科技大学）；Hallym University（翰林大学）
针对半监督域泛化中固定阈值依赖、伪标签噪声敏感的问题，提出类别感知自适应阈值方法CAT，结合灵活阈值与噪声标签修正生成高质量伪标签，在多个基准上实现更优的域偏移鲁棒泛化。
2024-12-11 cs.CV
Mamba Learns in Context: Structure-Aware Domain Generalization for Multi-Task Point Cloud Understanding
Bournemouth University（伯恩茅斯大学）；Jilin University（吉林大学）；The University of Western Australia（西澳大学）；Hangzhou City University（杭州城市大学）；Northwest A&F University（西北农林科技大学）
本文提出SADG框架，通过结构感知序列化和层次领域感知建模提升多任务点云领域的结构一致性与性能。
2026-03-21 cs.CV
SiamReID: Confuser Aware Siamese Tracker with Re-identification Feature
Rochester Institute of Technology（罗切斯特理工学院）；Systems & Technology Research（系统与技术研究公司）；Air Force Research Labs（空军研究实验室）
近年来，由于其实时速度和最先进的性能，暹罗深度网络跟踪器受到了极大的关注。然而，暹罗跟踪器遭受类似的外观混淆，这在航空图像中很普遍，并且由于跟踪器对象在不同的姿势和照明下重新出现的长时间遮挡而造成具有挑战性的条件。我们的工作提出了SiamReID，一种新的重新识别框架，暹罗跟踪器，采用混淆拒绝在长期闭塞，非常适合空中跟踪。使用三重丢失和类平衡丢失来训练重新识别特征。我们的方法在无人机单目标跟踪基准测试中达到了最先进的性能。
2021-04-15 cs.CV
Flatness-Aware Minimization for Domain Generalization
Tsinghua University（清华大学）
针对域泛化任务中默认Adam优化器未必最优的问题，提出可同时优化零阶与一阶平坦度的FAD方法，经理论分析与多数据集实验验证，其泛化性能更优且能找到更平坦的最优解。
2023-07-20 cs.CV cs.LG
Pose-Aware Self-Supervised Learning with Viewpoint Trajectory Regularization
UC Berkeley（加州大学伯克利分校）；UC Davis（加州大学戴维斯分校）；University of Michigan（密歇根大学）
本文提出基于视角轨迹正则化的自监督学习方法，利用无标注图像三元组学习兼顾物体身份与姿态的视觉特征，在保持语义分类精度的同时实现全局姿态感知并提升对新物体的泛化能力。
2024-08-07 cs.CV cs.LG
Gradient Norm Aware Minimization Seeks First-Order Flatness and Improves Generalization
Tsinghua University（清华大学）
本文提出一阶平坦性度量与梯度范数感知最小化（GAM）方法，通过约束扰动半径内最大梯度范数寻求各方向曲率一致小的极小值，实验证明其能提升SGD和AdamW训练的模型泛化能力，并辅助SAM找到更平坦的极小值。
2023-07-04 cs.CV cs.LG
Discriminative Feature and Dictionary Learning with Part-aware Model for Vehicle Re-identification
Dalian Maritime University（大连海事大学）；Information Science and Technology College, Department of Computer Science and Technology（计算机科学与技术学院、信息科学与技术学院）
随着智慧城市的发展，城市监控视频分析将在智能交通系统中发挥更重要的作用。从非重叠相机中识别大数据集中的同一目标车辆应该受到重视，这已经成为推动智能交通系统的热门话题。然而，车辆重新识别（re-ID）技术是一项具有挑战性的任务，因为相同设计或制造商的车辆显示相似的外观。为了填补这些空白，我们通过提出基于三重中心损失的部分感知模型（TCPM）来解决这一挑战，该模型利用车辆部分细节中的判别特征来提高车辆重新识别的准确性。基于零件发现的TCPM是从水平和垂直两个方向对车辆进行划分，以加强车辆的细节，增强零件的内部一致性。此外，为了消除车辆局部区域的类内差异，我们提出了外部存储模块来强调每个部分的一致性，以学习区分特征，从而形成数据集中所有类别的全局字典。在TCPM中，引入三重中心损失，以确保车辆特征提取的每一部分具有类内一致性和类间可分性。实验结果表明，我们提出的TCPM有一个巨大的偏好比现有的国家的最先进的方法对基准数据集VehicleID和VeRi-776。
2020-03-16 cs.CV eess.IV
Object-Aware Domain Generalization for Object Detection
Korea Advanced Institute of Science and Technology（韩国科学技术院）
提出目标感知域泛化方法（OA-DG），通过OA-Mix数据增强和OA-Loss训练策略，解决单域泛化在目标检测中语义特征受损导致定位不精确和误分类的问题，在标准基准上超越现有方法。
2023-12-19 cs.CV cs.LG
TRIQA: Image Quality Assessment by Contrastive Pretraining on Ordered Distortion Triplets
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Sony Interactive Entertainment（索尼互动娱乐）
本文提出TRIQA方法，通过有限参考图像构建有序失真三元组数据集，并以对比学习训练融合内容与质量特征的无参考IQA模型，实现少样本高效训练和强泛化性能。
2025-07-16 cs.CV eess.IV
GeoLink: A 3D-aware Framework to Improve Generalization for Cross-view Geo-localization
CUHK(SZ)（香港中文大学（深圳））；XMU（厦门大学）；UESTC（电子科技大学）；Foshan University（佛山大学）；Tongji University（同济大学）
本文提出GeoLink框架，通过3D感知的语义一致方法提升跨视角地理定位的泛化能力，实验表明其在多个基准测试中优于现有方法，能适应未见领域和多变天气。
2026-08-25 cs.CV cs.MM
Domain Generalization in-the-Wild: Disentangling Classification from Domain-Aware Representations
University of California, Davis（加州大学戴维斯分校）
针对CLIP在野外领域泛化中性能下降的问题，提出CLIP-DCA方法，通过增强领域感知并解耦分类与领域特征，在33个数据集上显著提升OOD性能。
2025-10-09 cs.CV cs.LG
Correlation-aware Adversarial Domain Adaptation and Generalization
Queensland University of Technology（昆士兰科技大学）；University of Queensland（昆士兰大学）
领域自适应（DA）和领域泛化（DG）已经出现作为对源数据和目标数据的分布不同的领域移位问题的解决方案。DG的任务比DA更具挑战性，因为在DG场景的训练阶段，目标数据是完全不可见的。目前最先进的采用对抗技术，然而，这些很少被认为是DG问题。此外，这些方法不考虑相关对齐，这已被证明是非常有益的最小化域差异。在本文中，我们提出了一个相关性感知的对抗DA和DG框架，其中使用相关性对齐以及对抗学习来最小化源和目标数据的特征。将相关性对齐模块与对抗性学习一起使用有助于实现更加领域不可知的模型，因为改进了更有效地减少与未标记目标数据的领域差异的能力。在基准数据集上的实验证明，我们提出的方法可以提高最先进的性能。
2019-11-29 cs.CV cs.LG
Jointly Learning Multiple Measures of Similarities from Triplet Comparisons
University of Chicago（芝加哥大学）；UMass Amherst（马萨诸塞大学阿默斯特分校）；Toyota Technological Institue at Chicago（芝加哥丰田技术研究所）
对象之间的相似性是多方面的，当关注特定方面时，注释人员可以更容易地测量它。我们考虑将对象映射到特定于视图的嵌入中的问题，其中它们之间的距离与“从第t个视图来看，对象A与B比与C更相似”的形式的相似性比较是一致的。我们的框架联合学习视图特定的嵌入，利用视图之间的相关性。在多个数据集上的实验，包括鸟类图像的多视图众包比较，表明所提出的方法实现了较低的三元组泛化误差相比，学习嵌入独立为每个视图和所有视图汇集到一个视图。我们的方法还可以用于学习输入特征的多个相似性度量，同时考虑到类标签，并且与ISOLET数据集上的多任务度量学习的现有方法相比毫不逊色。
2015-10-06 cs.AI cs.CV cs.LG
Noise-Aware Generalization: Robustness to In-Domain Noise and Out-of-Domain Generalization
Department of Computer Science（计算机科学系）
本文提出DL4ND方法，通过领域标签检测噪声，提升对领域内噪声鲁棒性和领域外泛化能力，实验显示在多个数据集上性能提升显著。
2026-02-22 cs.CV cs.LG
GS-EMA: Integrating Gradient Surgery Exponential Moving Average with Boundary-Aware Contrastive Learning for Enhanced Domain Generalization in Aneurysm Segmentation
University of Leeds（利兹大学）；University of Manchester（曼彻斯特大学）
本文提出GS-EMA优化结合边界感知对比学习，通过学习领域不变特征提升3DRA脑动脉瘤分割在跨机构领域偏移下的鲁棒性与准确性。
2024-02-23 cs.CV cs.LG
LatentDR: Improving Model Generalization Through Sample-Aware Latent Degradation and Restoration
Georgia Institute of Technology（佐治亚理工学院）
针对深度学习模型跨领域泛化难、训练数据有限的问题，提出LatentDR样本感知潜在退化恢复增强方法，在多基准和医学影像等任务上优于现有方法，还可适配长尾识别。
2023-08-28 cs.CV cs.LG
