TrackNeRF: Bundle Adjusting NeRF from Sparse and Noisy Views via Feature Tracks
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；University of Oxford（牛津大学）；Snap Inc.（Snap公司）
TrackNeRF通过引入跨视角特征轨迹并强制重投影一致性，实现全局一致的几何重建和更精确的位姿优化，在稀疏和噪声视角下显著优于现有方法。
2024-08-20 cs.CV
Learning with Neighbor Consistency for Noisy Labels
Google Research（谷歌研究院）；University of Adelaide（阿德莱德大学）
深度学习的最新进展依赖于大型标记数据集来训练高容量模型。然而，以节省时间和成本的方式收集大型数据集通常会导致标签噪声。我们提出了一种从噪声标签中学习的方法，该方法利用特征空间中训练样本之间的相似性，鼓励每个样本的预测与其最近的邻居相似。与使用多个模型或不同阶段的训练算法相比，我们的方法采用了一个简单的额外正则化项的形式。它可以被解释为一个归纳版本的经典，转导标签传播算法。我们在评估合成（CIFAR-10，CIFAR-100）和现实（mini-WebVision，WebVision，Clothing 1 M，mini-ImageNet-Red）噪声的数据集上彻底评估了我们的方法，并在所有这些数据集上实现了具有竞争力或最先进的精度。
2022-07-06 cs.CV cs.LG
AutoCorrect: Deep Inductive Alignment of Noisy Geometric Annotations
University of Oxford（牛津大学）
我们提出了自动更正，一种方法来自动学习对象注释对齐从数据集的注释受几何噪声的影响。该方法是基于一致性损失，使深度神经网络被训练，只给出嘈杂的注释作为输入，以纠正注释。当一些无噪声注释可用时，我们表明一致性损失减少到更严格的自监督损失。我们还表明，该方法可以隐式地利用对象对称性，以减少在纠正嘈杂的注释所产生的歧义。当图像中存在多个对象-注释对时，我们引入了一个空间记忆映射，允许网络一次一个地顺序校正注释，同时考虑到图像中的所有其他注释和迄今为止执行的校正。通过消融，我们展示了这些贡献的好处，在地理空间图像上展示了出色的结果。具体来说，我们使用新的铁路轨道数据集以及公共INRIA建筑基准来显示结果，为后者实现了新的最先进的结果。
2019-08-14 cs.CV
Consistency Regularization Can Improve Robustness to Label Noise
KTH（瑞典皇家理工学院）
一致性正则化是半监督学习和自监督学习的常用技术。它是一个辅助目标函数，鼓励网络的预测在观察到的训练样本附近相似。Hendrycks等人（2020）最近表明，这种正则化自然会为损坏的数据带来测试时的鲁棒性，并有助于校准。本文实证研究了一致性正则化对噪声标签的训练时间鲁棒性的相关性。首先，我们对在噪声数据集上使用标准交叉熵损失训练的网络的一致性进行了两个有趣且有用的观察：（i）在噪声数据上训练的网络的一致性低于在干净数据上训练的网络，以及（ii）在噪声标记的训练数据点周围的一致性比正确标记的数据点降低得更明显。然后，我们证明了一个简单的损失函数，鼓励一致性提高了模型的鲁棒性，以标记噪声的合成（CIFAR-10，CIFAR-100）和现实世界（WebVision）的噪声，以及不同的噪声率和类型，并达到最先进的结果。
2021-10-04 cs.CV cs.LG stat.ML
One-Shot Medical Landmark Localization by Edge-Guided Transform and Noisy Landmark Refinement
Peking University（北京大学）；Deepwise AI Lab（深睿医疗人工智能实验室）；Microsoft Research Asia（微软亚洲研究院）；The University of Hong Kong（香港大学）
作为许多医学应用的重要上游任务，监督地标定位仍然需要不可忽略的注释成本来实现期望的性能。此外，由于收集过程繁琐，医学标志数据集的大小有限，影响了大规模自监督预训练方法的有效性。为了解决这些挑战，我们提出了一个两阶段的框架，一次性医疗标志定位，首先推断标志的无监督注册从标记的样本到无标记的目标，然后利用这些嘈杂的伪标签训练强大的检测器。为了处理显着的结构变化，我们学习了一个端到端的级联的全局对齐和局部变形，新的损失函数的指导下，将边缘信息。在第二阶段，我们探讨了选择可靠的伪标签和交叉一致性的半监督学习的自我一致性。我们的方法在不同身体部位的公共数据集上实现了最先进的性能，这证明了它的普遍适用性。
2022-07-31 cs.CV
ReCon: Enhancing True Correspondence Discrimination through Relation Consistency for Robust Noisy Correspondence Learning
Huaqiao University（华侨大学）；Hong Kong Baptist University（香港浸会大学）；University of Electronic Science and Technology of China（电子科技大学）；Xidian University（西安电子科技大学）
本文提出关系一致性学习框架ReCon，通过跨模态与模态内双重关系一致性约束，提升多模态数据中真实对应判别能力，从而在噪声对应学习场景下有效过滤不匹配数据对，并在三个基准数据集上验证了其优越性。
2025-03-12 cs.CV cs.IR
Jo-SRC: A Contrastive Approach for Combating Noisy Labels
Nanjing University of Science and Technology（南京理工大学）；University of Electronic Science and Technology of China（电子科技大学）；The University of Adelaide（阿德莱德大学）；University of Technology Sydney（悉尼科技大学）
由于深度神经网络（DNN）中的记忆效应，使用噪声标签进行训练通常会导致模型性能较差。现有的最先进的方法主要采用样本选择策略，其选择小损失样本用于后续训练。然而，现有文献倾向于在每个小批次内进行样本选择，忽略了不同小批次中噪声比的不平衡。此外，高损失样本中的宝贵知识被浪费了。为此，我们提出了一种抗噪声的方法Jo-SRC（Joint Sample Selection and Model Regularization based on Consistency）。具体来说，我们以对比学习的方式训练网络。从两个不同的角度对每个样本进行预测，以估计其干净或分布外的“可能性”。此外，我们提出了一个联合损失，以提高模型的推广性能，通过引入一致性正则化。大量的实验已经验证了我们的方法优于现有的国家的最先进的方法。
2021-03-24 cs.CV
ASCNet: Self-supervised Video Representation Learning with Appearance-Speed Consistency
South China University of Technology（华南理工大学）；Pazhou Laboratory（琶洲实验室）；Baidu Inc.（百度公司）
我们研究了自监督视频表示学习，这是一个具有挑战性的任务，由于1）缺乏显式监督的标签; 2）非结构化和嘈杂的视觉信息。现有的方法主要使用对比度损失与视频剪辑的实例和学习视觉表示，通过区分彼此的实例，但他们需要一个仔细的处理负对依赖于大批量大小，存储体，额外的模态或定制的挖掘策略，其中不可避免地包括噪声数据。在本文中，我们观察到正样本之间的一致性是学习鲁棒视频表示的关键。具体来说，我们提出了两个任务，分别学习外观和速度的一致性。外观一致性任务旨在最大化具有不同回放速度的相同视频的两个片段之间的相似性。速度一致性任务旨在最大化具有相同回放速度但不同外观信息的两个剪辑之间的相似性。我们表明，联合优化这两个任务一致地提高了下游任务的性能，例如，动作识别和视频检索。值得注意的是，对于UCF-101数据集上的动作识别，我们实现了90.8%的准确率，而无需使用任何额外的模态或负对进行无监督预训练，这优于ImageNet监督预训练模型。将提供代码和模型。
2021-08-17 cs.CV
HDC: Hierarchical Distillation for Multi-level Noisy Consistency in Semi-Supervised Fetal Ultrasound Segmentation
University of Information Technology（信息科技大学）；Ho Chi Minh University of Technology（胡志明市技术大学）；University of Science（科学大学）；Vietnam National University（越南国家大学）；Boston University（波士顿大学）；Taipei Medical University（台北医学大学）；Posts and Telecommunications Institute of Technology（邮电技术学院）；New Mexico State University（新墨西哥州立大学）
针对宫颈超声分割面临的标注数据少、师生框架缺陷问题，提出单教师架构的HDC半监督框架，通过分层蒸馏机制降低复杂度并提升泛化能力，在FUGC和PSFH数据集上实现低计算开销下的竞争性性能。
2025-04-17 cs.AI cs.CV
Consensual Collaborative Training And Knowledge Distillation Based Facial Expression Recognition Under Noisy Annotations
SSSIHL（斯里萨蒂亚赛高等教育学院）
大规模人脸表情数据集标签中噪声的存在是人脸表情识别面临的一个关键挑战。在早期学习阶段，深度网络适合干净的数据。然后，最终，由于它们的记忆能力，它们开始过度拟合噪声标签，这限制了FER性能。本文提出了一种有效的训练策略，在噪声标签的存在下，被称为协同训练（CCT）框架。CCT使用监督损失和一致性损失的凸组合联合训练三个网络，而不对噪声分布做任何假设。一个动态的过渡机制是用来从监督损失在早期学习的一致性损失的预测之间的共识在后期阶段。使用基于简单知识蒸馏方案的单个网络进行推理。所提出的框架的有效性证明合成以及真正的嘈杂FER数据集。此外，使用16个不同注释器的群体智慧从FEC数据集中注释了大约5K图像的大型测试子集，并推断出可靠的标签。在基准FER数据集RAFDB（90.84%）、FERPlus（89.99%）和AffectNet（66%）上报告了最先进的性能。我们的代码可在https://github.com/1980x/CCT上获得。
2021-07-10 cs.CV
Co-matching: Combating Noisy Labels by Augmentation Anchoring
Mcmaster University（麦克马斯特大学）
具有噪声标签的深度学习具有挑战性，因为深度神经网络具有记忆噪声标签的高容量。在本文中，我们提出了一个学习算法称为协同匹配，它平衡了两个网络之间的一致性和分歧的增强锚定。具体来说，我们让一个网络从它对弱增强图像的预测中生成锚定标签。同时，我们强制其对等网络，以同一图像的强增强版本作为输入，生成接近锚定标签的预测。然后，我们通过选择小损失实例来同时更新两个网络，以最小化两个无监督匹配损失（即，测量两个网络的一致性）和监督分类损失（即测量分类性能）。此外，无监督匹配损失使得我们的方法不严重依赖于噪声标签，这防止了噪声标签的记忆。在三个基准数据集上的实验表明，协同匹配达到了与最先进的方法相当的结果。
2021-03-23 cs.CV cs.LG
AffineTok: Semantic Affine Consistency for Diffusion-Friendly Visual Tokenizer
Fudan University（复旦大学）；Alibaba Group（阿里巴巴集团）
本文提出AffineTok，通过语义仿射一致性（SAC）引导视觉分词器训练，引入M_SAC作为代理指标，在ImageNet 256上实现了gFID的显著降低，达到无引导1.21、有引导1.10的SOTA性能。
2026-08-26 cs.CV
CT-Bound: Robust Boundary Detection From Noisy Images Via Hybrid Convolution and Transformer Neural Networks
Elmore Family School of Electrical and Computer Engineering Purdue University（普渡大学埃尔莫尔家族电气与计算机工程学院）
提出CT-Bound，一种混合卷积与Transformer的边界检测方法，通过局部检测与全局正则化提升极噪声图像边缘检测精度与速度，并支持实时应用。
2024-06-25 cs.CV
GrounDiT: Grounding Diffusion Transformers via Noisy Patch Transplantation
KAIST（韩国科学技术院）
本研究提出免训练空间接地技术GrounDiT，利用DiT的语义共享特性，通过独立去噪后移植各边界框对应噪声块，实现细粒度图像生成控制，在相关基准上取得SOTA性能。
2024-11-01 cs.CV
Learning Multi-level Region Consistency with Dense Multi-label Networks for Semantic Segmentation
The University of Adelaide（阿德莱德大学）
图像语义分割是图像理解中的一项基本任务。图像的每像素语义标记极大地受益于考虑局部和全局区域一致性的能力。然而，许多基于全卷积网络的方法并没有施加这种一致性，这可能会导致噪声和不可信的预测。我们通过提出一个密集的多标签网络模块来解决这个问题，该模块能够鼓励不同级别的区域一致性。这个简单但有效的模块可以很容易地集成到任何语义分割系统中。实验结果表明，密集多标签算法能够有效地去除不可信标签，消除混淆，从而提高语义分割系统的性能。
2017-01-25 cs.CV
Distribution-Consistency-Guided Multi-modal Hashing
Beijing Institute of Technology（北京理工大学）
针对多模态哈希中噪声标签损害检索性能的问题，提出分布一致性引导的多模态哈希方法（DCGMH），利用标签与哈希码相似度的分布一致性模式过滤并修正噪声标签，显著提升了多模态检索性能。
2024-12-19 cs.AI cs.CV cs.IR
Countering Noisy Labels By Learning From Auxiliary Clean Labels
Tsinghua University（清华大学）
我们考虑从噪声标签（NL）的学习问题，出现在许多现实世界的应用。除了NL文献中广泛研究的合成噪声之外，我们还将半监督学习（Semi-SL）中的伪标签视为NL的特殊情况。对于这两种类型的噪声，我们认为，现有方法的泛化性能是高度耦合的噪声标签的质量。因此，我们从一个新颖而统一的角度来解决这个问题：从辅助清洁标签中学习。具体来说，我们提出了旋转解耦一致性正则化（RDCR）框架，该框架将基于一致性的方法与自监督旋转任务相结合，以学习噪声容忍表示。实验结果表明，在小噪声条件下，RDCR方法的性能与现有方法相当或更优，而在大噪声条件下，RDCR方法的性能明显优于现有方法。
2019-09-12 cs.CV cs.LG stat.ML
Generalized Jensen-Shannon Divergence Loss for Learning with Noisy Labels
KTH（瑞典皇家理工学院）
先前的工作已经发现，将可证明的噪声鲁棒损失函数，具有标准分类损失函数的平均绝对误差（MAE），例如交叉熵（CE），以提高其可学习性。在这里，我们建议使用Jensen-Shannon分歧作为噪声鲁棒性损失函数，并表明它有趣地在CE和MAE之间插值，并具有可控的混合参数。此外，我们做了一个重要的观察，CE表现出较低的一致性周围的噪声数据点。基于这一观察结果，我们采用了广义版本的詹森-香农分歧的多个分布，以鼓励数据点周围的一致性。使用这个损失函数，我们展示了合成（CIFAR）和真实世界（例如，WebVision）噪声，具有不同的噪声率。
2021-10-29 cs.CV cs.LG stat.ML
Unaligned Image-to-Sequence Transformation with Loop Consistency
University of California San Diego（加州大学圣地亚哥分校）
我们处理建模顺序视觉现象的问题。给定可以划分为离散时间步的现象的例子，我们的目标是从任何这样的时间获取输入，并在序列中的所有其他时间步实现该输入。此外，我们的目标是在没有地面实况比对序列的情况下做到这一点-避免收集比对数据所需的困难。这将不成对的图像到图像问题从生成对推广到生成序列。我们扩展循环的一致性循环的一致性，并减轻学习的困难，在由此产生的长链的计算。我们显示竞争力的结果相比，现有的图像到图像的技术建模时，几个不同的数据集，包括地球的季节和老化的人脸。
2019-10-09 cs.CV
Improving Food Image Recognition with Noisy Vision Transformer
University of Alabama（阿拉巴马大学）
本研究提出利用带噪声视觉Transformer（NoisyViT）改进食物图像识别，在三个基准数据集上显著提升分类准确率，展示了其在饮食评估和营养监测中的潜力。
2025-03-24 cs.CV eess.IV
Superresolution of Noisy Remotely Sensed Images Through Directional Representations
University of Maryland（马里兰大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；US Census Bureau（美国人口普查局）
提出了一种基于离散剪切波变换的单图像遥感数据超分辨率算法。剪切波变换提取信号的方向特征，并且已知为广泛类别的图像提供接近最优的稀疏表示。与各向同性帧相比，这通常会导致边缘检测和图像表示方面的优异性能。我们证明使用剪切波数学，然后提出一个去噪单图像超分辨率算法，结合剪切波变换与稀疏混合估计（SME）。我们的算法进行了比较，与各种单图像超分辨率的方法，包括小波SME超分辨率。我们的数值结果表明，在PSNR和SSIM方面的竞争力的表现。
2018-09-04 cs.CV
Transformation Consistency Regularization- A Semi-Supervised Paradigm for Image-to-Image Translation
University of Cambridge（剑桥大学）
标记数据的稀缺性促使半监督学习方法的发展，该方法从大部分未标记数据以及少量标记样本中学习。一致性在不同输入扰动下模型预测之间的正则化，特别是已经证明可以在半监督框架中提供最先进的结果。然而，这些方法中的大多数已被限制在分类和分割应用。我们提出了变换一致性正则化，它深入研究了更具挑战性的图像到图像的翻译设置，这仍然是半监督算法尚未探索的。该方法引入了一组不同的几何变换，并强制模型对未标记数据的预测对这些变换保持不变。我们评估了我们的算法在三个不同的应用程序：图像着色，去噪和超分辨率的功效。我们的方法具有显著的数据效率，只需要大约10 - 20%的标记样本就可以实现与完全监督对应的图像重建。此外，我们展示了我们的方法在视频处理应用中的有效性，其中可以利用来自几帧的知识来提高电影其余部分的质量。
2020-07-15 cs.CV
Affect Expression Behaviour Analysis in the Wild using Consensual Collaborative Training
野外人脸表情识别（FER）对于构建可靠的人机交互系统至关重要。然而，FER中大规模数据集的注释一直是一个关键的挑战，因为这些数据集由于各种因素而受到噪声的影响，如众包，注释者的主观性，图像质量差，基于关键词搜索的自动标记等。在早期学习阶段，深度网络适合干净的数据。然后，最终，由于它们的记忆能力，它们开始过度拟合噪声标签，这限制了FER性能。本报告介绍了我们提交的情感行为分析（ABAW）2021年比赛的表情识别跟踪中使用的非正式协作训练（CCT）框架。CCT使用监督损失和一致性损失的凸组合联合训练三个网络，而不对噪声分布做任何假设。一个动态的过渡机制是用来从监督损失在早期学习的一致性损失的预测之间的共识在后期阶段。协同训练减少了整体误差，一致性损失防止了对噪声样本的过度拟合。在具有挑战性的Aff-Wild 2数据集上验证了模型的性能，用于分类表达分类。我们的代码可在https://github.com/1980x/ABAW2021DMACS上公开获取。
2021-07-24 cs.CV
Distributional Consistency Loss: Beyond Pointwise Data Terms in Inverse Problems
本文提出分布一致性损失，通过评估观测数据与噪声分布的一致性，避免过拟合噪声，提升图像去噪和医学图像重建性能。
2026-03-17 cs.CV cs.LG physics.med-ph
Multi-focus Noisy Image Fusion using Low-Rank Representation
Jiangnan University（江南大学）
多聚焦含噪图像融合是图像融合领域的一个重要课题，其目的是从多幅源图像中融合出一幅清晰的聚焦图像。在本文中，我们提出了一种新的多聚焦噪声图像融合方法的基础上，低秩表示（LRR）是一个强大的工具，表示学习。采用多尺度变换框架，将源图像分别分解为低频和高频系数。对于低频系数，融合后的低频系数由空间频率策略确定，而高频系数则由基于LRR的融合策略确定。最后利用融合系数进行多尺度逆变换重构融合图像。实验结果表明，该算法提供了最先进的性能，即使在源图像包含噪声。我们的融合方法的代码可在https://github.com/hli1221/imagefusion_noisy_lrr上获得
2022-01-29 cs.CV
Learning from Noisy Labels with Contrastive Co-Transformer
Australian National University（澳大利亚国立大学）；Monash University（莫纳什大学）；CSIRO（澳大利亚联邦科学与工业研究组织）
本文提出Contrastive Co-Transformer框架，结合对比损失与分类损失训练Transformer，有效缓解噪声标签导致的过拟合，在六个基准数据集上大幅超越现有方法。
2025-03-04 cs.CV cs.LG
Dual-Flow Transformation Network for Deformable Image Registration with Region Consistency Constraint
形变图像配准能够实现图像间快速、准确的配准，在医学图像研究中起着重要的作用。当前基于深度学习（DL）的图像配准方法通过利用卷积神经网络直接学习从一个图像到另一个图像的空间变换，需要地面真值或相似性度量。然而，这些方法仅使用全局相似性能量函数来评估一对图像的相似性，这忽略了图像内感兴趣区域（ROI）的相似性。而且，基于深度学习的方法往往直接估计图像的全局空间变换，而没有考虑图像中感兴趣区域的空间变换。在本文中，我们提出了一种新的双流变换网络与区域一致性约束，最大限度地提高了一对图像内的ROI的相似性，同时估计全球和区域的空间变换。在4个公开的3D MRI数据集上的实验结果表明，与现有的配准方法相比，该方法在准确性和泛化能力方面都具有最好的性能。
2022-06-05 cs.CV
Consistency Learning via Decoding Path Augmentation for Transformers in Human Object Interaction Detection
Korea University（高丽大学）；Kakao Brain
人机交互检测是一个整体的视觉识别任务，需要目标检测以及交互分类。HOI检测的先前工作已经通过子集预测的各种组合来解决，例如，图像-> HO -> I，图像-> HI -> O。最近，已经出现了用于HOI的基于Transformer的架构，其以端到端的方式直接预测HOI三元组（Image -> HOI）。受HOI检测的各种推理路径的启发，我们提出了交叉路径一致性学习（CPC），这是一种新的端到端学习策略，通过利用增强的解码路径来提高Transformers的HOI检测。CPC学习强制来自置换推理序列的所有可能的预测是一致的。这个简单的方案使模型学习一致的表示，从而在不增加模型容量的情况下提高泛化能力。我们的实验证明了我们的方法的有效性，我们取得了显着改善V-COCO和HICO-DET相比，基线模型。我们的代码可在https://github.com/mlvlab/CPChoi上获得。
2022-04-11 cs.CV
Unsupervised Deep Metric Learning with Transformed Attention Consistency and Contrastive Clustering Loss
University of Missouri（密苏里大学）；Beijing Jiaotong University（北京交通大学）
现有的无监督度量学习方法集中在探索输入图像本身的自我监督信息。我们观察到，在分析图像时，人眼通常会将图像相互比较，而不是单独检查图像。此外，他们经常关注某些关键点，图像区域或对象，这些关键点，图像区域或对象在图像类别之间具有区别性，但在类别内高度一致。即使图像正在变换，注意力模式也将是一致的。基于这一观察结果，我们开发了一种新的无监督深度度量学习方法，其中网络是基于跨图像而不是单个图像的自我监督信息来学习的。为了描述图像比较过程中人类注意力的一致性模式，我们引入了转换注意力一致性的思想。它假设视觉上相似的图像，即使经历不同的图像变换，也应该共享相同的一致的视觉注意力图。这种一致性导致了成对的自我监督损失，使我们能够学习一个暹罗深度神经网络来编码和比较图像与它们的变换或匹配对。为了进一步增强该网络生成的特征的类间区分能力，我们将监督度量学习中的三重损失概念应用于我们的无监督情况，并引入对比聚类损失。我们在基准数据集上的大量实验结果表明，我们提出的方法在很大程度上优于当前最先进的无监督度量学习方法。
2020-08-10 cs.CV
Few-shot Open-set Recognition by Transformation Consistency
Korea Advanced Institute of Science and Technology（韩国科学技术院）
在本文中，我们攻击一个Few-Shot开集识别（FSOSR）问题，这是一个组合的少样本学习（FSL）和开集识别（OSR）。它的目标是快速适应一个模型，以一个给定的小集合的标记样本，同时拒绝看不见的类样本。由于OSR需要大量数据，而FSL考虑闭集分类，现有的OSR和FSL方法在解决FSOSR问题时表现出较差的性能。先前的FSOSR方法遵循基于伪未见过类样本的方法，该方法从其他数据集收集伪未见过样本或合成样本以对未见过类表示进行建模。然而，这种方法严重依赖于伪样本的组成。在本文中，我们提出了一种新的未知类样本检测器，命名为SnaTCHer，不需要伪看不见的样本。基于转换一致性，我们的方法测量转换后的原型和修改后的原型集之间的差异。通过替换查询特征及其预测类原型来组成修改集。SnaTCHer拒绝与转换后的原型存在较大差异的样本。我们的方法改变了看不见的类分布估计问题的相对特征变换问题，独立于伪看不见的类样本。我们研究了我们的SnaTCHer与各种原型变换方法，并观察到我们的方法不断提高看不见的类样本检测性能，而不减少闭集分类。
2021-04-15 cs.CV
TraceICL: Thread-Resolved Demonstration Curation with Consistency Calibration for Robust Multimodal In-Context Learning
Bandirma Onyedi Eylul University（班迪尔马奥尼埃伊德尤尔大学）
AVA是一种无需训练的多模态ICL框架，通过TRD、IDS、WSC三个阶段解决现有ICL的脆弱性问题，在五个视觉语言基准测试中平均提升1.7个点，且抗噪性良好。
2026-10-12 cs.CV
Consistency driven Sequential Transformers Attention Model for Partially Observable Scenes
McGill University（麦吉尔大学）；Sunnybrook Research Institute（桑尼布鲁克研究所）；University of Toronto（多伦多大学）
大多数硬注意模型最初观察一个完整的场景，以定位和感知信息瞥见，并预测基于瞥见的场景的类别标签。然而，在许多应用中（例如，空中成像），但由于可用于获取的时间和资源有限，观察整个场景并不总是可行的。在本文中，我们开发了一个顺序的Transformers注意力模型（STAM），只有部分观察到一个完整的图像和预测信息的一瞥位置完全基于过去的一瞥。我们设计我们的代理使用DeiT-distilled和训练它与一步演员评论家算法。此外，为了提高分类性能，我们引入了一个新的训练目标，该目标强制教师模型从完整图像预测的类分布与我们的代理使用一瞥预测的类分布之间的一致性。当智能体只感知到总图像面积的4%时，在我们的训练目标中包含建议的一致性损失，在ImageNet和fMoW数据集上的准确率分别提高了3%和8%。此外，我们的智能体在ImageNet和fMoW上的一瞥中观察到的像素减少了近27%和42%，超过了以前的最先进水平。
2022-04-01 cs.CV
PseCo: Pseudo Labeling and Consistency Training for Semi-Supervised Object Detection
Nanjing University of Science and Technology（南京理工大学）；SenseTime Research（商汤科技研究院）
本文研究了半监督目标检测（SSOD）中的两个关键技术：伪标记和一致性训练。我们观察到，这两种技术目前忽略了目标检测的一些重要属性，阻碍了对未标记数据的有效学习。具体而言，对于伪标签，现有的算法只关注分类得分，无法保证伪盒的定位精度;对于一致性训练，广泛采用的随机调整大小训练只考虑标签级的一致性，而忽略了特征级的一致性，这对保证尺度不变性也有重要作用。为了解决噪声伪盒所带来的问题，我们设计了噪声伪盒学习（NPL），包括预测引导标签分配（PLA）和积极建议一致性投票（PCV）。PLA依赖于模型预测来分配标签，并使其对甚至粗糙的伪框都具有鲁棒性;而PCV利用正建议的回归一致性来反映伪框的本地化质量。此外，在一致性训练中，我们提出了多视图尺度不变学习（MSL），它包括标签级和特征级一致性机制，其中特征一致性是通过对齐两个具有相同内容但不同尺度的图像之间的移位特征金字塔来实现的。在COCO基准测试中，我们的方法，称为PSEudo标记和COnsidertraining（PseCo），在1%，5%和10%的标记比率下分别比SOTA（Soft Teacher）高出2.0，1.8，2.0分。它还大大提高了裁军特别联大的学习效率，例如，PseCo将SOTA方法的训练时间减半，但实现了更好的性能。代码可在https://github.com/ligang-cs/PseCo上获得。
2022-07-20 cs.AI cs.CV
Adaptive Hierarchical Similarity Metric Learning with Noisy Labels
Xidian University（西安电子科技大学）；JD Finance American Corporation（京东金融美国公司）；University of Pittsburgh（匹兹堡大学）
深度度量学习（DML）在各种机器学习任务中起着至关重要的作用。然而，大多数现有的具有二进制相似性的深度度量学习方法对真实世界数据中广泛存在的噪声标签敏感。由于这些噪声标签往往会导致严重的性能下降，这是至关重要的，以提高DML的鲁棒性和泛化能力。在本文中，我们提出了一种自适应分层相似性度量学习方法。它考虑了两个噪声不敏感的信息，\textit{i.e.}，类的分歧和样本的一致性。具体而言，类间分歧可以利用双曲度量学习在建模中有效地挖掘比二进制更丰富的相似性信息，而样本一致性可以利用对比增强进一步提高模型的泛化能力。更重要的是，我们设计了一个自适应的策略来整合这些信息在一个统一的视图。值得注意的是，新方法可以扩展到任何基于对的度量损失。在基准数据集上的大量实验结果表明，与当前的深度度量学习方法相比，我们的方法具有最先进的性能。
2021-10-29 cs.AI cs.CV cs.LG
Bridging Weakly-Supervised Learning and VLM Distillation: Noisy Partial Label Learning for Efficient Downstream Adaptation
Institute of Perceptual Intelligence, Peng Cheng Laboratory（感知智能研究院，鹏城实验室）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）
本文提出协同一致性正则化框架，通过协同伪标签机制和抗过拟合策略，提升预训练VLMs在噪声部分标签下的下游适应性能。
2026-01-29 cs.AI cs.CV
ReLGAN: Generalization of Consistency for GAN with Disjoint Constraints and Relative Learning of Generative Processes for Multiple Transformation Learning
University of Florida（佛罗里达大学）
图像到图像变换由于其对包括医疗在内的不同应用的巨大影响而受到不同研究社区的欢迎。在这项工作中，我们引入了一个通用的方案，为GAN架构的一致性与两个新的概念，变换学习（TL）和相对学习（ReL）的增强学习图像变换。GAN体系结构的一致性受到不充分的约束，并且无法学习多个和多模式转换，这对于许多医疗应用来说是不可避免的。主要缺点是它专注于创建一个中间和可行的混合体，这对于专注于微小细节的医疗应用是不允许的。另一个缺点是两个学习阶段之间的相互关系很弱，TL和ReL已经在它们之间引入了改进的协调。我们已经证明了新的网络框架在公共数据集上的能力。我们强调，我们的新架构为图像产生了改进的神经图像变换版本，这更容易被医学界接受。实验和结果表明，我们的框架的有效性与增强相比，以前的作品。
2020-06-14 cs.CV cs.NE
Residual Attention Single-Head Vision Transformer Network for Rolling Bearing Fault Diagnosis in Noisy Environments
The Hong Kong Polytechnic University（香港理工大学）；Centre for Advances in Reliability and Safety（可靠性与安全先进研究中心）
本文提出RA-SHViT-Net，通过FFT频域转换、SHViT及融合通道与空间注意力的AHAB等模块，提升噪声环境下滚动轴承故障诊断的准确性与鲁棒性。
2024-11-27 cs.CV eess.IV
End-to-End Learning Using Cycle Consistency for Image-to-Caption Transformations
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）
到目前为止，从字幕保持图像的足够信息的观点出发，已经进行了从图像生成字幕的研究。如果可以从生成的字幕生成接近输入图像的图像，即，如果可以生成包含足够信息的自然语言字幕来再现图像，则认为该字幕忠实于图像。为了使这种再生成为可能，使用循环一致性损失的学习是有效的。在这项研究中，我们提出了一种通过学习端到端的图像和文本之间的相互转换生成字幕的方法。为了评估我们的方法，我们进行了比较实验，有和没有周期的一致性。通过自动评估和众包对结果进行评估，证明了我们所提出的方法是有效的。
2019-03-25 cs.CL cs.CV
Semi-supervised Segmentation of Histopathology Images with Noise-Aware Topological Consistency
Stony Brook University（石溪大学）；Athinoula A. Martinos Center for Biomedical Imaging（阿西努拉·A.马蒂诺斯生物医学成像中心）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
针对半监督组织病理学图像分割中的拓扑错误问题，提出TopoSemiSeg方法，通过噪声感知的拓扑一致性损失对齐教师-学生模型，学习真实拓扑信号，提升分割性能。
2024-07-17 cs.CV eess.IV
WhiteCon: Semi-Supervised Domain Adaptation Regression Through Whitening Transform and Dual Consistency
Korea University（高丽大学）
针对半监督域适应回归中标记目标数据有限的问题，提出WhiteCon方法，结合域特定白化变换与双重一致性正则化，稳定训练并提升域适应性能，在基准数据集上达到最先进水平。
2026-09-29 cs.AI cs.CV
Dynamic Adaptive Threshold based Learning for Noisy Annotations Robust Facial Expression Recognition
SSSIHL（斯里萨提亚赛高等研究院）
真实世界的面部表情识别（FER）数据集遭受噪声注释，由于众包，模糊的表情，注释者的主观性和类间相似性。然而，最近的深度网络具有很强的记忆噪声注释的能力，导致特征嵌入损坏和泛化能力差。为了处理嘈杂的注释，我们提出了一个动态FER学习框架（DNFER），在该框架中，在训练过程中基于动态类特定阈值选择干净的样本。具体来说，DNFER基于使用选定的干净样本的监督训练和使用所有样本的无监督一致训练。在训练过程中，每个小批次的平均后验类概率被用作动态的类特定的阈值，以选择干净的样本进行监督训练。与其他方法不同，该阈值与噪声率无关，并且不需要任何干净的数据。此外，为了从所有样本中学习，弱增强图像和强增强图像之间的后验分布使用无监督一致性损失进行对齐。我们证明了DNFER在合成和真实噪声注释FER数据集（如RAFDB，FERPlus，SFEW和AffectNet）上的鲁棒性。
2022-08-22 cs.AI cs.CV
Treatment Learning Causal Transformer for Noisy Image Classification
Georgia Institute of Technology（佐治亚理工学院）；Columbia University（哥伦比亚大学）；IBM Research（IBM研究院）
本文提出处理学习因果Transformer（TLT），将噪声存在性作为处理因素，通过因果变分推断和潜在生成模型估计鲁棒特征，从而提升噪声图像分类精度，并构建了含多种噪声因素的新基准数据集。
2023-10-30 cs.AI cs.CV cs.LG
Unsupervised Metric Relocalization Using Transform Consistency Loss
University of Colorado（科罗拉多大学）；Amazon（亚马逊公司）
训练网络执行度量重新定位传统上需要准确的图像对应。在实践中，这些是通过限制域覆盖，采用额外的传感器，或捕获大型多视图数据集。相反，我们提出了一个自我监督的解决方案，它利用了一个关键的见解：在地图内定位查询图像应该产生相同的绝对姿态，而不管用于注册的参考图像。在这种直觉的指导下，我们得到了一个新的变换一致性损失。使用这个损失函数，我们训练一个深度神经网络来推断密集的特征和显著性图，以在动态环境中执行鲁棒的度量重定位。我们在合成和真实世界的数据上评估了我们的框架，表明我们的方法在有限的地面实况信息可用时优于其他监督方法。
2020-11-01 cs.CV cs.RO
Robust Multiple Description Neural Video Codec with Masked Transformer for Dynamic and Noisy Networks
University of Minnesota Twin Cities（明尼苏达大学双城分校）
针对传统多描述视频编码架构繁琐、抗差错与压缩效率不足的问题，本文提出NeuralMDC编解码器，利用双向掩码Transformer建模时空依赖，实现了压缩效率损失极小的SOTA抗丢包性能。
2024-12-10 cs.AI cs.CV
Countering Adversarial Examples: Combining Input Transformation and Noisy Training
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
最近的研究表明，基于神经网络（NN）的图像分类器非常容易受到对抗性样本的攻击，这对安全敏感的图像识别任务构成了威胁。先前的工作表明，JPEG压缩可以在一定程度上对抗性样本的分类准确性下降。但是，随着压缩比的增加，传统的JPEG压缩不足以抵御这些攻击，但会导致一个突然的准确性下降的良性图像。本文首先对传统JPEG压缩算法进行了改进，使其更有利于神经网络，以充分滤除干扰。具体来说，基于对频率系数的分析，我们设计了一个NN偏好的量化表用于压缩。将压缩视为一种数据增强策略，然后将模型无关的预处理与噪声训练相结合。我们通过使用以不同压缩级别编码的图像进行训练来微调预训练模型，从而生成多个分类器。最后，由于较低（较高）的压缩比可以稍微（积极地）去除扰动和原始特征，因此我们使用这些训练的多个模型进行模型集成。模型集合的多数票被采用作为最终预测。实验结果表明，该方法在保持原有准确率的前提下，提高了防御效率.
2021-06-25 cs.CV eess.IV
Self-Calibrated Variance-Stabilizing Transformations for Real-World Image Denoising
CIBM Center for Biomedical Imaging（生物医学成像中心）；Biomedical Imaging Group（生物医学成像组）；Univ Rennes, Ensai, CNRS, CREST—UMR 9194（里尔大学、Ensai、CNRS、CREST—UMR 9194）
本文提出Noise2VST算法，利用方差稳定变换使高斯去噪器无需额外训练即可处理真实图像噪声，实验证明其优于现有无配对训练方法。
2025-07-09 cs.CV eess.IV
Semi-Supervised Medical Image Segmentation via Learning Consistency under Transformations
Erasmus MC（伊拉斯谟医学中心）；COSMONiO；University of Copenhagen（哥本哈根大学）
标记数据的稀缺往往限制了监督式深度学习技术在医学图像分割中的应用。这激发了半监督技术的发展，该技术从标记和未标记图像的混合中学习。在本文中，我们提出了一种新的半监督的方法，除了监督学习标记的训练图像，学习预测分割一致下一个给定的类的转换标记和未标记的图像。更具体地说，在这项工作中，我们探索学习弹性变形的等变性。我们通过以下方式实现这一目标：1）具有两个相同分支的连体结构，每个分支接收不同变换的图像，以及2）具有监督分割损失项和非监督项的复合损失函数，该复合损失函数鼓励两个分支的预测之间的分割一致性。我们使用5折交叉验证在具有解剖结构分割的胸片的公共数据集上评估该方法。与监督学习相比，该方法达到了更高的分割精度。这是由于在标记和未标记图像上学习变换一致性，后者贡献最大。我们实现的性能与最先进的胸部X射线分割方法相当，同时使用更少的标记图像。
2019-11-04 cs.CV cs.LG
ProAlignNet : Unsupervised Learning for Progressively Aligning Noisy Contours
Verisk AI（Verisk人工智能部门）；Verisk Analytics（Verisk分析公司）
轮廓形状对齐是计算机视觉中的一个基本但具有挑战性的问题，特别是当观察结果是部分的、有噪声的且大部分未对齐时。最近提出的用于对齐图像结构的基于ConvNet的体系结构往往无法用形状的轮廓表示，这主要是由于在其训练过程中使用邻近不敏感的像素级相似性度量作为损失函数。这项工作提出了一种新的ConvNet，“ProAlignNet”，占大规模的错位和轮廓形状之间的复杂转换。它以多尺度的方式推断扭曲参数，随着尺度的增加，复杂变换逐渐增加。它学习-没有监督-对齐轮廓，噪声和丢失的部分不可知，通过训练与一个新的损失函数，这是来自一个接近敏感和局部形状相关的相似性度量，使用经典的形态学倒角距离变换的上限。我们评估这些建议的可靠性模拟MNIST噪声轮廓数据集通过一些基本的健全检查实验。接下来，我们证明了所提出的模型在两个现实世界中的应用（i）对齐地理地块数据的航空图像地图和（ii）细化粗注释的分割标签的有效性。在这两种应用中，所提出的模型始终优于最先进的方法。
2020-05-23 cs.CV cs.LG
Few-shot Learning with Noisy Labels
Facebook AI Research（脸书人工智能研究院）；McGill University（麦吉尔大学）
少样本学习（FSL）方法在训练新类时通常假设具有准确标记样本的干净支持集。这个假设通常是不切实际的：支持集，无论多么小，仍然可以包括错误标记的样本。因此，对标签噪声的鲁棒性对于FSL方法的实用性至关重要，但令人惊讶的是，这个问题在很大程度上仍未得到解决。为了解决FSL设置中错误标记的样本，我们做出了一些技术贡献。(1)我们提供简单而有效的特征聚合方法，改进了ProtoNet（一种流行的FSL技术）使用的原型。(2)我们描述了一种新的Transformer模型的噪声少样本学习（TraNFS）。TraNFS利用Transformer的注意力机制来权衡标记错误的样本与正确的样本。(3)最后，我们在MiniImageNet和TieredImageNet的噪声版本上广泛测试了这些方法。我们的研究结果表明，TraNFS与领先的FSL方法在干净的支持集上不相上下，但在标签噪声的存在下，性能优于它们。
2022-07-31 cs.CV stat.ML
Signal Reconstruction from Quantized Noisy Samples of the Discrete Fourier Transform
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Stanford University（斯坦福大学）
在本文中，我们提出了两种变化的算法，用于从离散傅里叶变换（DFT）的一位或两位噪声观测信号重构。DFT的一位观测值对应于其实部的符号，而DFT的两位观测值对应于DFT的实部和虚部的符号。我们专注于图像的分析和模拟，从而使用的2D-DFT的符号。这类信号的选择是受以前的作品在这个问题上。对于我们的算法，我们表明，在信号重建的预期均方误差（MSE）是渐近成正比的采样率的倒数。样本受已知分布的加性零均值噪声的影响。我们解决这个信号估计问题，设计一个算法，使用压缩映射，基于Banach不动点定理。四个基准图像的数值测试表明，我们的算法的有效性。采用用于图像重建质量评估的各种度量，诸如PSNR、SSIM、ESSIM和MS-SSIM。在所有四个基准图像上，我们的算法在所有这些指标上的表现都大幅优于最先进的算法。
2022-01-09 cs.CV eess.IV eess.SP
CycleBEV: Regularizing View Transformation Networks via View Cycle Consistency for Bird's-Eye-View Semantic Segmentation
Electronics and Telecommunications Research Institute (ETRI)（电子电信研究院）；University of Science and Technology (UST)（科学技术大学）
CycleBEV通过引入视图循环一致性正则化方法，提升视图转换网络在鸟瞰图语义分割中的性能，实现显著的mIoU提升。
2026-02-27 cs.AI cs.CV
Methods based on Radon transform for non-affine deformable image registration of noisy images
Universidad de Concepción（康塞普西翁大学）
本文提出两种基于Radon变换相似性度量和线弹性正则化的DIR方法，用于捕捉非仿射变形，证明了其解的存在唯一性，并通过合成实验和肺部图像配准验证了其有效性。
2024-08-18 cs.CV cs.NA math.AP
ChronoSelect: Robust Learning with Noisy Labels via Dynamics Temporal Memory
Shenzhen Institute for Advanced Study, University of Electronic Science and Technology of China（深圳先进研究所，电子科学与技术大学）；School of Computer Science and Engineering, University of Electronic Science and Technology of China（计算机科学与工程学院，电子科学与技术大学）
ChronoSelect通过动态时间记忆架构，有效处理噪声标签问题，提升模型泛化能力。
2025-12-17 cs.CV cs.LG
No-Reference Image Quality Assessment via Transformers, Relative Ranking, and Self-Consistency
Bosch Center for AI（博世人工智能中心）；Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh（匹兹堡大学）
无参考图像质量评价（NR-IQA）的目标是根据主观评价来估计图像的感知质量，由于缺乏原始参考图像，这是一个复杂且尚未解决的问题。在本文中，我们提出了一种新的模型来解决NR-IQA任务，利用混合方法，受益于卷积神经网络（CNN）和自注意力机制的Transformers从输入图像中提取本地和非本地的功能。我们通过CNN捕获图像的局部结构信息，然后为了规避提取的CNN特征之间的局部偏差并获得图像的非局部表示，我们在提取的特征上使用Transformers，将其建模为Transformer模型的顺序输入。此外，为了改善主观和客观分数之间的单调性相关性，我们利用每批图像之间的相对距离信息，并执行它们之间的相对排名。最后但并非最不重要的是，我们观察到，当我们对输入应用等变变换（例如水平翻转）时，NR-IQA模型的性能会下降。因此，我们提出了一种方法，利用自我一致性作为自我监督的来源，以提高NRIQA模型的鲁棒性。具体来说，我们对每个图像的质量评估模型的输出及其转换（水平翻转）之间进行自我一致性，以利用丰富的自我监督信息并减少模型的不确定性。为了证明我们工作的有效性，我们在七个标准IQA数据集（合成和真实）上进行了评估，并表明我们的模型在各种数据集上都取得了最先进的结果。
2022-01-05 cs.CV eess.IV
