Learning-Based and Quality Preserving Super-Resolution of Noisy Images
CNR-IMATI(意大利国家研究委员会 IMATI 研究所)
针对现有超分辨率方法未考虑噪声、易产生伪影的问题,提出一种基于学习的保质量超分辨率方法,可保留图像属性、减少伪影,在2倍上采样高斯噪声图像任务中PSNR达23.81,优于同类学习方法,效果与传统方法相当。
2023-11-03 cs.CV cs.GR eess.IV
PUCA: Patch-Unshuffle and Channel Attention for Enhanced Self-Supervised Image Denoising
Seoul National University(首尔国立大学);Ewha Womans University(梨花女子大学)
针对自监督图像去噪中J不变性与架构灵活性受限的问题,提出PUCA,一种结合补丁反洗牌/洗牌和扩张注意力块的J不变U-Net架构,实现了最先进的去噪性能。
2023-10-16 cs.CV cs.LG eess.IV
Self-Supervised Image Restoration with Blurry and Noisy Pairs
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室)
当在光线不足的环境下拍摄照片时,通常需要仔细选择曝光时间和传感器增益,以获得具有令人满意的视觉质量的图像。例如,具有高ISO的图像通常具有不可避免的噪声,而长曝光的图像可能由于相机抖动或物体运动而模糊。现有的解决方案通常建议在噪声和模糊之间寻求平衡,并在完全或自我监督下学习去噪或去模糊模型。然而,真实世界的训练对很难收集,并且仅仅依赖于模糊或噪声图像的自监督方法在性能上受到限制。在这项工作中,我们解决这个问题,联合利用短曝光的噪声图像和长曝光的模糊图像更好的图像复原。这种设置实际上是可行的,因为短曝光和长曝光图像可以由两个单独的相机获取或由长突发图像合成。此外,短曝光图像几乎不模糊,长曝光图像的噪声可以忽略不计。它们的互补性使得以自监督的方式学习恢复模型成为可能。具体地说,噪声图像可以作为去模糊的监督信息,而模糊图像中的尖锐区域可以作为自监督去噪的辅助监督信息。通过协作学习,我们方法中的去模糊和去噪任务可以相互受益。对合成图像和真实图像的实验表明了该方法的有效性和实用性。代码可在https://github.com/cszhilu1998/SelfIR上获得。
2022-11-14 cs.CV
Residual Contrastive Learning for Image Reconstruction: Learning Transferable Representations from Noisy Images
University of Oxford(牛津大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文研究了用于低层图像复原和增强任务的对比学习(CL)。我们提出了一种新的基于残差的标签高效学习范式,即残差对比学习(RCL),并推导出一个无监督的视觉表示学习框架,适用于具有噪声输入的低级视觉任务。虽然监督图像重建的目的是最大限度地减少残差项直接,RCL替代建立残差和CL之间的连接,通过定义一个新的实例判别借口任务,使用残差作为判别特征。我们的制定减轻了严重的任务之间的不对齐实例歧视借口任务和下游图像重建任务,目前在现有的CL框架。实验上,我们发现RCL可以学习鲁棒和可转移的表示,与最近专门为噪声输入设计的自监督方法相比,可以提高各种下游任务的性能,例如去噪和超分辨率。此外,我们的无监督预训练可以显着降低注释成本,同时保持与全监督图像重建相比的性能竞争力。
2022-04-27 cs.CV cs.LG
Cross-Architectural Positive Pairs improve the effectiveness of Self-Supervised Learning
Tandon School of Engineering, New York University(纽约大学坦登工程学院);Center for Data Science, New York University(纽约大学数据科学中心);NYU Grossman School of Medicine(纽约大学格罗斯曼医学院)
现有的自监督技术具有极端的计算要求,并且随着批量大小或预训练时期的减少,性能会大幅下降。本文提出了跨架构自监督(CASS),一种新的自监督学习方法,同时利用Transformer和CNN。与现有的最先进的自监督学习方法相比,我们的经验表明,在四个不同的数据集上,CASS训练的CNN和Transformers在1%标记数据的情况下平均获得3.8%,在10%标记数据的情况下平均获得5.9%,在100%标记数据的情况下平均获得10.13%,同时花费的时间减少了69%。我们还表明,CASS比现有的最先进的自监督学习方法更强大的批量大小和训练时期的变化。我们在https://github.com/pranavsinghps1/CASS上开源了我们的代码。
2023-01-27 cs.AI cs.CV
CASS: Cross Architectural Self-Supervision for Medical Image Analysis
Tandon School of Engineering(坦登工程学院);New York University(纽约大学);Center for Data Science(数据科学中心);Colton Center for Autoimmunity(科尔顿自身免疫中心);NYU Grossman School of Medicine(纽约大学格罗斯曼医学院)
深度学习和计算机视觉的最新进展减少了自动医学图像分析的许多障碍,使算法能够处理无标签图像并提高性能。然而,现有的技术具有极端的计算要求,并且随着批量大小或训练时期的减少而降低了很多性能。本文提出了跨架构自监督(CASS),一种新的自监督学习方法,同时利用Transformer和CNN。与现有的最先进的自监督学习方法相比,我们的经验表明,在四个不同的数据集上,CASS训练的CNN和Transformers在1%标记数据的情况下平均获得3.8%,在10%标记数据的情况下平均获得5.9%,在100%标记数据的情况下平均获得10.13%,同时花费的时间减少了69%。我们还表明,CASS对批量大小和训练时期的变化更加鲁棒。值得注意的是,其中一个测试数据集包括自身免疫性疾病的组织病理学切片,这是一种在医学成像中数据很少的疾病。代码是开源的,可以在GitHub上找到。
2022-11-19 cs.AI cs.CV cs.LG
Towards Architecture-Agnostic Untrained Network Priors for Image Reconstruction with Frequency Regularization
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Case Western Reserve University(凯斯西储大学)
本文提出三种架构无关的频率正则化技术(带宽受限输入、带宽可控上采样器、Lipschitz正则化卷积层),直接调制未训练网络先验的谱偏置,以减少过拟合、提升性能并缩短运行时间,在MRI重建任务上验证了其有效性。
2024-07-19 cs.CV eess.IV
Improving Medical Image Classification in Noisy Labels Using Only Self-supervised Pretraining
RIT(罗切斯特理工学院);University of Aberdeen(阿伯丁大学);NepAl Applied Mathematics and Informatics Institute for Research (NAAMII)(尼泊尔应用数学与信息学研究所(NAAMII))
本文研究仅用自监督预训练初始化模型以应对医学图像分类中的噪声标签问题,在NCT-CRC-HE-100K和COVID-QU-Ex数据集上验证了对比式与前置任务式预训练能学习更优特征并提升鲁棒性。
2023-08-08 cs.CV cs.LG eess.IV
Superpixel-guided Iterative Learning from Noisy Labels for Medical Image Segmentation
ShanghaiTech University(上海科技大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程技术研究中心)
由于难以获得高质量的标注,从噪声标签中学习分割是医学图像分析的一项重要任务。大多数现有的方法忽略了像素的相关性和结构的先验分割,往往产生噪声预测周围的对象边界。为了解决这个问题,我们采用了超像素表示,并开发了一种强大的迭代学习策略,该策略结合了分割网络的噪声感知训练和噪声标签细化,两者都由超像素指导。这种设计使我们能够利用分割标签中的结构约束,并有效地减轻标签噪声对学习的影响。两个基准测试的实验表明,我们的方法优于最近的国家的最先进的方法,并在广泛的标签噪声实现卓越的鲁棒性。代码可在https://github.com/gaozhitong/SP_guided_Noisy_Label_Seg上获得。
2021-07-21 cs.CV
Stabilizing DARTS with Amended Gradient Estimation on Architectural Parameters
Tsinghua University(清华大学);Huawei Inc.(华为公司);Tongji University(同济大学)
DARTS是一种流行的神经架构搜索(NAS)算法。尽管DARTS在搜索效率上有很大的优势,但它的稳定性往往很弱,这反映在个体试验之间的差异很大以及对搜索过程的超参数的敏感性上。本文将这种不稳定性归因于超级网络及其子网络之间的优化差距,即提高超级网络的验证精度并不一定会导致对采样子网络性能的更高期望。然后,我们指出,差距是由于不准确的估计的建筑梯度,在此基础上,我们提出了一个修正的估计方法。从数学上讲,我们的方法保证了真实梯度的有界误差,而原始估计则没有。我们的方法从两个方面弥补了这一差距,即修改对建筑梯度的估计,并统一搜索和重新训练阶段的超参数设置。在CIFAR10和ImageNet上的实验表明,我们的方法大大提高了搜索稳定性,更重要的是,使基于DARTS的方法能够探索以前没有研究过的更大的搜索空间。
2020-05-04 cs.CV cs.LG stat.ML
Self-supervised denoising for massive noisy images
EMPA(瑞士联邦材料科学与技术实验室)
我们提出了一种有效的深度学习模型用于信号重构,该模型不需要信号先验,不需要噪声模型校准,也不需要干净的样本。该模型仅假设噪声与测量无关,并且真实信号共享相同的结构化信息。我们展示了它的性能在各种现实世界中的应用,从亚-nigström分辨率的原子图像,以亚弧秒分辨率的天文图像。
2021-10-25 cs.CV eess.IV physics.comp-ph
Learning with Noisy labels via Self-supervised Adversarial Noisy Masking
Tencent(腾讯)
收集大规模数据集对于训练深度模型至关重要,然而,注释数据不可避免地产生噪声标签,这对深度学习算法提出了挑战。先前的努力倾向于通过识别和去除噪声样本或根据统计特性(例如,损失值)之间的训练样本。在本文中,我们的目标是从一个新的角度来解决这个问题,深入研究深度特征图,我们根据经验发现,用干净和错误标记的样本训练的模型表现出可区分的激活特征分布。从这个观察,提出了一种新的强大的训练方法,称为对抗噪声掩蔽。这个想法是用标签质量引导的掩蔽方案来正则化深度特征,该方案同时自适应地调制输入数据和标签,防止模型过拟合噪声样本。此外,还设计了一个辅助任务来重建输入数据,它自然地提供了无噪声的自监督信号,以增强深度模型的泛化能力。所提出的方法简单灵活,在合成和真实世界的噪声数据集上进行了测试,与以前的最先进的方法相比,取得了显着的改进。
2023-02-15 cs.CV
Data Uncertainty Guided Noise-aware Preprocessing Of Fingerprints
IIT Delhi(德里印度理工学院);USC(南加州大学);IIT Kanpur(坎普尔印度理工学院);Inria Sophia Antipolis(索菲亚·安提波利斯国家信息与自动化研究所)
基于指纹的身份验证系统对高质量指纹的有效性是很久以前建立的。然而,标准的指纹匹配系统对噪声和低质量指纹的性能远不能令人满意。为此,我们提出了一个基于数据不确定性的框架,使国家的最先进的指纹预处理模型,以量化存在于输入图像中的噪声和识别指纹区域的背景噪声和脊清晰度差。噪声的量化对模型有两方面的帮助:首先,它使目标函数适应特定输入指纹中的噪声,从而有助于在噪声和失真的指纹区域上实现鲁棒性能。其次,它提供了一个噪声方差图,表示在输入指纹图像中的噪声像素。预测噪声方差图使最终用户能够理解由于输入图像中存在的噪声而导致的错误预测。广泛的实验评估13个公开可用的指纹数据库,在不同的架构选择和两个指纹处理任务证明了所提出的框架的有效性。
2021-07-02 cs.AI cs.CV
How does self-supervised pretraining improve robustness against noisy labels across various medical image classification datasets?
Center for Imaging Science, RIT(罗切斯特理工学院成像科学中心);University of Aberdeen(阿伯丁大学);NepAl Applied Mathematics and Informatics Institute for Research (NAAMII)(尼泊尔应用数学与信息学研究所);Biomedical Engineering, RIT(罗切斯特理工学院生物医学工程系)
本文系统研究自监督预训练对医学图像分类中噪声标签鲁棒性的影响,发现DermNet数据集最具挑战性但更鲁棒,并证明对比学习是八种自监督方法中最有效的增强手段。
2024-01-15 cs.CV cs.LG eess.IV
DivideMix: Learning with Noisy Labels as Semi-supervised Learning
Salesforce Research(Salesforce研究院)
众所周知,深度神经网络是注释饥渴型的。在使用深度网络进行学习时,已经做出了许多努力来降低注释成本。两个突出的方向包括噪声标签学习和利用未标记数据的半监督学习。在这项工作中,我们提出了DivideMix,一个新的框架,通过利用半监督学习技术与噪声标签学习。具体而言,DivideMix使用混合模型对每个样本的损失分布进行建模,以将训练数据动态地划分为具有干净样本的标记集和具有噪声样本的未标记集,并以半监督方式在标记和未标记数据上训练模型。为了避免确认偏差,我们同时训练两个发散的网络,每个网络都使用来自另一个网络的数据集。在半监督训练阶段,我们通过对标记和未标记样本分别进行标签共同细化和标签共同猜测来改进MixMatch策略。在多个基准数据集上的实验表明,与最先进的方法相比,该方法有了很大的改进。代码可在www.example.com上获得。
2020-02-18 cs.CV
Product Image Recognition with Guidance Learning and Noisy Supervision
Southwest Jiaotong University(西南交通大学);Shenzhen Institutes of Advanced Technology, CAS(中国科学院深圳先进技术研究院);University of Massachusetts at Amherst(马萨诸塞大学阿默斯特分校);Vipshop Inc.(唯品会公司)
本文认为,从日常照片,这是一个重要的问题,在现实世界中的应用程序,但也具有挑战性,由于背景杂乱,类别dilibrium,嘈杂的标签等,我们解决这个问题的两个贡献。首先,我们介绍了一种新的大规模产品图像数据集,称为Product-90。我们利用网络的优势,从几个电子商务网站的评论中下载图像,而不是通过劳动和时间密集型的图像捕获来收集产品图像,这些图像是由消费者随意捕获的。标签由电子商务网站的类别自动分配。Product-90包含90个类别的14万多张图片。由于消费者可能会上传不相关的图像,我们的Product-90不可避免地会引入嘈杂的标签。作为第二个贡献,我们开发了一个简单而有效的\textit{guidance learning}(GL)方法训练卷积神经网络(CNN)与噪声监督。GL方法首先用完整的噪声数据集训练初始教师网络,然后以多任务方式用大规模噪声集和小规模手动验证的干净集训练目标/学生网络。具体而言,在学生网络训练阶段,大规模噪声数据由其指导知识进行监督,该指导知识是其给定的噪声标签和教师网络的软化标签的组合。我们在我们的Products-90和公共数据集上进行了广泛的实验,即Food-101,Food-101 N和Clothing 1 M。我们的指导学习方法在这些数据集上实现了优于最先进方法的性能。
2019-07-26 cs.CV
CoDiM: Learning with Noisy Labels via Contrastive Semi-Supervised Learning
Stony Brook University(石溪大学);University of Washington(华盛顿大学);Tencent AI Lab(腾讯人工智能实验室)
标签是昂贵的,有时不可靠。噪声标签学习、半监督学习和对比学习是用于设计需要较少注释成本的学习过程的三种不同策略。半监督学习和对比学习最近已经被证明可以改进处理带有噪声标签的数据集的学习策略。尽管如此,这些领域之间的内在联系以及将其优势结合在一起的潜力才刚刚开始出现。在本文中,我们探讨了进一步的方式和优势,他们融合。具体来说,我们提出了CSSL,一个统一的对比半监督学习算法,和CoDiM(对比DivideMix),一种新的算法,用于学习噪声标签。CSSL利用了经典半监督学习和对比学习技术的强大功能,并进一步适应CoDiM,它从多种类型和级别的标签噪声中进行鲁棒学习。我们表明,CoDiM带来了一致的改进,并在多个基准测试中取得了最先进的结果。
2021-11-23 cs.CV cs.LG
Discrete Potts Model for Generating Superpixels on Noisy Images
China University of Geosciences(中国地质大学);Heidelberg University(海德堡大学);Shandong University(山东大学)
许多计算机视觉应用,如物体识别和分割,越来越多地建立在超像素上。然而,到目前为止,很少有系统地处理噪声图像的超像素算法。我们建议首先将图像分解为大小相等的矩形块,这也设置了最大超像素大小。在每个补丁中,应用Potts模型同时进行分割和去噪,保证连接和非重叠的超像素,并产生去噪图像。相应的优化问题是制定为一个混合整数线性规划(MILP),并解决了商业求解器。在BSDS 500数据集图像上进行了大量的实验,并与其他最先进的超像素方法进行了比较。我们的方法实现了最好的结果,在一个组合的分数(OP)组成的分割错误,边界召回和紧凑性。
2018-03-20 cs.CV
Distilling effective supervision for robust medical image segmentation with noisy labels
Tsinghua University(清华大学)
尽管深度学习方法在医学图像分割任务中取得了成功,但人类水平的性能依赖于具有高质量注释的大量训练数据,这些数据收集起来既昂贵又耗时,而事实是存在带有标签噪声的低质量注释,这导致学习模型的性能不佳。带噪声标签的分割学习的两个突出方向包括逐像素噪声鲁棒训练和图像级噪声鲁棒训练。在这项工作中,我们提出了一个新的框架,以解决分割与噪声标签提取有效的监督信息,从像素和图像水平。特别是,我们明确地估计每个像素的不确定性作为逐像素的噪声估计,并提出逐像素的鲁棒学习,通过使用原始标签和伪标签。此外,我们提出了一个图像级的鲁棒学习方法,以容纳更多的信息,作为补充像素级的学习。我们在模拟和真实世界的噪声数据集上进行了广泛的实验。结果表明,我们的方法相比,国家的最先进的基线与噪声标签的医学图像分割的优越性能。
2021-06-21 cs.CV
A Semi-Supervised Two-Stage Approach to Learning from Noisy Labels
University of Central Florida(中佛罗里达大学);Tencent AI Lab(腾讯人工智能实验室)
深度神经网络最近的成功部分得益于大规模标记良好的训练数据。然而,费力地注释类似于ImageNet的数据集是一项艰巨的任务。相反,从Web上收集训练图像及其噪声标签是相当方便、快速和便宜的。这意味着需要替代方法来使用这种噪声标签训练深度神经网络。现有的方法解决这个问题,要么试图识别和纠正错误的标签或重新加权的数据项在损失函数根据推断的噪声率。这两种策略都不可避免地会导致某些数据点的错误。在本文中,我们认为,它实际上是更好地忽略一些数据点的标签,而不是保留它们,如果标签是不正确的,特别是当噪声率高。毕竟,错误的标签可能会将神经网络误导到糟糕的局部最优。我们提出了一个两阶段的框架,从嘈杂的标签学习。在第一阶段,我们从嘈杂的训练集中识别出一小部分图像,其中标签以很高的概率是正确的。其他图像的噪声标签被忽略。在第二阶段,我们以半监督的方式训练深度神经网络。这个框架有效地利用了整个训练集,但只有一部分标签最有可能是正确的。在三个数据集上的实验验证了该方法的有效性,特别是当噪声率较高时。
2018-03-21 cs.CV
Superresolution of Noisy Remotely Sensed Images Through Directional Representations
University of Maryland(马里兰大学);Johns Hopkins University(约翰斯·霍普金斯大学);US Census Bureau(美国人口普查局)
提出了一种基于离散剪切波变换的单图像遥感数据超分辨率算法。剪切波变换提取信号的方向特征,并且已知为广泛类别的图像提供接近最优的稀疏表示。与各向同性帧相比,这通常会导致边缘检测和图像表示方面的优异性能。我们证明使用剪切波数学,然后提出一个去噪单图像超分辨率算法,结合剪切波变换与稀疏混合估计(SME)。我们的算法进行了比较,与各种单图像超分辨率的方法,包括小波SME超分辨率。我们的数值结果表明,在PSNR和SSIM方面的竞争力的表现。
2018-09-04 cs.CV
Noisy Boundaries: Lemon or Lemonade for Semi-supervised Instance Segmentation?
Beijing National Research Center for Information Science and Technology (BNRist)(北京信息科学与技术国家研究中心);Tsinghua University(清华大学)
当前的实例分割方法严重依赖于像素级注释图像。获得这种完全注释的图像的巨大成本限制了数据集的规模并限制了性能。在本文中,我们正式解决半监督实例分割,其中未标记的图像,以提高性能。我们构建了一个框架,半监督实例分割分配像素级的伪标签。在这个框架下,我们指出,与伪标签相关的噪声边界是双刃剑。我们建议同时以统一的方式利用和抵制它们:1)为了对抗噪声边界的负面影响,我们提出了一种通过利用低分辨率特征的噪声容忍掩模头。2)为了增强积极的影响,我们引入了一个边界保持地图,用于学习边界相关区域内的详细信息。我们通过大量的实验来评估我们的方法。它的表现非常出色,远远超过监督基线,在Cityscapes上超过6%,在COCO上超过7%,在BDD 100k上超过4.5%。在Cityscapes上,我们的方法只利用了30%的标记图像就实现了相当的性能。
2022-03-25 cs.CV
Perceptive self-supervised learning network for noisy image watermark removal
Northwestern Polytechnical University(西北工业大学);National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology(空天地一体化大数据应用技术国家工程实验室);School of Software(软件学院);School of Electronics and Information(电子信息学院);School of Computer Science(计算机学院);Guangxi Key Lab of Multisource Information Mining & Security(广西多源信息挖掘与安全重点实验室);College of Computer Science & Engineering(计算机科学与工程学院)
针对真实场景参考图像难获取且采集图像含噪的问题,提出并行双分支自监督网络PSLNet,融合任务分解与退化建模并采用混合损失,有效提升含噪图像水印去除效果。
2024-03-04 cs.CV
A Novel Self-Supervised Re-labeling Approach for Training with Noisy Labels
Indian Institute of Science(印度科学学院)
深度学习模型取得巨大成功的主要驱动力是大型数据集及其干净标签的可用性。不幸的是,这是很难获得的,这激发了对存在标签噪声的深度模型训练的研究,以及避免在噪声标签上过度拟合的方法。在这项工作中,我们建立在这一领域的开创性工作,共同教学,并提出了一个简单,但有效的方法称为mCT-S2 R(修改共同教学与自我监督和重新标记)为这项任务。首先,为了处理标签中的大量噪声,我们建议使用自我监督来生成鲁棒的特征,而不使用任何标签。接下来,使用并行网络架构,获得数据的干净标记部分的估计。最后,使用该数据,在用增强数据恢复网络训练之前,重新标记估计的噪声标记部分的一部分。在三个标准数据集上的实验表明了该框架的有效性。
2020-01-01 cs.CV
Weakly Supervised Learning with Side Information for Noisy Labeled Images
Machine Intelligence Technology Lab, Damo Academy, Alibaba Group(阿里巴巴达摩院机器智能技术实验室)
在许多现实世界的数据集中,如WebVision,基于DNN的分类器的性能往往受到噪声标记数据的限制。为了解决这个问题,一些与图像相关的辅助信息,如标题和标签,通常会揭示图像之间的潜在关系。在本文中,我们提出了一个有效的弱监督学习,通过使用边信息网络(SINet),其目的是有效地进行大规模的分类与严重的噪音标签。建议SINet由一个视觉原型模块和噪声加权模块。视觉原型模块旨在通过引入辅助信息为每个类别生成紧凑的表示。噪声加权模块旨在估计每个噪声图像的正确性,并在训练过程中产生用于图像排名的置信度得分。提出的SINet算法可以很大程度上缓解图像标签噪声带来的负面影响,有利于训练高性能的CNN分类器.此外,我们还发布了一个名为AliProducts的细粒度产品数据集,其中包含通过使用从50,000个细粒度语义类生成的查询从互联网上抓取的超过250万张嘈杂的Web图像。在几个流行的基准测试(即Webvision,ImageNet和Clothing-1 M)上进行了广泛的实验,我们提出的AliProducts实现了最先进的性能。SINet在WebVision Challenge 2019的分类任务中获得第一名,并大幅超越其他竞争对手。
2020-09-04 cs.CV
Backdooring Self-Supervised Contrastive Learning by Noisy Alignment
Southeast University(东南大学);Purple Mountain Laboratories(紫金山实验室);Ant Group(蚂蚁集团);City University of Hong Kong(香港城市大学);Beijing Institute of Technology(北京理工大学)
本文提出噪声对齐(NA)后门攻击方法,通过操纵对比学习的随机裁剪机制并优化图像布局来显式抑制中毒图像中的噪声成分,在保持干净数据准确率的同时取得优于现有DPCLs的攻击效果,并对常见防御具有鲁棒性。
2025-08-19 cs.CV
Beyond Binary Classification: A Semi-supervised Approach to Generalized AI-generated Image Detection
本文提出TriDetect,一种半监督方法,通过发现潜在架构模式提升AI生成图像检测的泛化能力。
2025-11-23 cs.AI cs.CR cs.CV
Training Binary Neural Networks through Learning with Noisy Supervision
Institute of Software, CAS(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室);University of Macau(澳门大学);University of Sydney(悉尼大学)
本文从学习的角度对神经网络上的二值化操作进行了形式化。与经典的手工制作的规则(\eg硬阈值)二进制化全精度神经元相比,我们建议学习从全精度神经元到目标二进制神经元的映射。每个单独的权重条目将不会被单独二进制化。相反,它们被作为一个整体来完成二值化,就像它们在生成卷积特征时一起工作一样。为了帮助二值化映射的训练,经过符号运算的全精度神经元被视为一些辅助监督信号,这是噪音,但仍然有价值的指导。因此,引入无偏估计器来减轻监督噪声的影响。基准数据集上的实验结果表明,所提出的二值化技术取得了一致的改善基线。
2020-10-10 cs.CV
Learning from Pixel-Level Label Noise: A New Perspective for Semi-Supervised Semantic Segmentation
Beijing Key Laboratory of Traffic Data Analysis and Mining, Beijing Jiaotong University(北京交通大学交通数据分析与挖掘北京市重点实验室)
本文讨论了半监督语义分割,利用一个小的一组图像与像素级的注释(强监督)和一个大的一组图像,只有图像级的注释(弱监督)。大多数现有的方法旨在从弱监督中生成准确的像素级标签。然而,我们观察到这些生成的标签仍然不可避免地包含噪声标签。受此观察的启发,我们提出了一个新的视角,并制定了这个任务作为一个问题的学习与像素级标签噪声。然而,现有的噪声标记方法主要针对图像级任务,不能捕获图像中相邻标签之间的关系。因此,我们提出了一个基于图的标签噪声检测和校正框架来处理像素级的噪声标签。特别地,对于由类激活图(CAM)从弱监督生成的像素级噪声标签,我们训练具有强监督的干净分割模型,以根据交叉熵损失从这些噪声标签中检测干净标签。然后,我们采用一个基于超像素的图来表示一幅图像中像素之间的空间邻接和语义相似关系。最后,我们使用图注意力网络(GAT)检测干净的标签监督的噪声标签。我们在PASCAL VOC 2012、PASCAL-Context和MS-COCO数据集上进行了全面的实验。实验结果表明,在PASCAL VOC 2012和MS-COCO数据集上,我们提出的半监督方法达到了最先进的性能,在某些情况下甚至优于全监督模型。
2021-03-26 cs.CV
SLT: Robust Quantum Neural Networks for Noisy-Label Medical Image Classification via Supermartingale-based Label Transition
Boise State University(博伊西州立大学);Indiana University Indianapolis(印第安纳大学印第安纳波利斯分校);University of Notre Dame(圣母大学);University of Cincinnati(辛辛那提大学)
针对小规模医学图像分类中噪声标签学习难题,提出基于上鞅的标签转换(SLT)框架用于鲁棒量子神经网络分类,通过建模熵减少为上鞅识别稳定转换步骤,实验证明其能提升分类性能并优于经典基线。
2026-07-21 cs.CV cs.LG
A Two-Stream Mutual Attention Network for Semi-supervised Biomedical Segmentation with Noisy Labels
University of Science and Technology of China(中国科学技术大学)
\begin{abstract}基于学习的方法缺乏清晰的注释,特别是在生物医学分割中。虽然已经提出了许多半监督方法来提供额外的训练数据,但自动生成的标签通常太嘈杂,无法有效地重新训练模型。在本文中,我们提出了一种双流相互注意网络(TSMAN),它削弱了由不正确的标签引起的反向传播梯度的影响,从而使网络对不干净的数据具有鲁棒性。建议TSMAN由两个子网络,这是连接的三种类型的注意力模型在不同的层。每个注意力模型的目标是通过使用相同的输入分析它们的推断特征来指示两个子网络的某个层中潜在的不正确梯度。为了达到这个目的,注意力模型的设计基于噪声梯度在不同层的传播分析。这使得注意力模型能够有效地发现错误的标签并削弱其在参数更新过程中的影响。通过在双流架构内交换多级特征,通过降低更新梯度来减少每个子网络中的噪声标签的影响。此外,一个分层蒸馏的开发,以提供更可靠的伪标签的未标记的数据,这进一步提高了我们的再训练TSMAN的性能。使用HVSMR 2016和BRATS 2015基准测试的实验表明,我们的半监督学习框架超越了最先进的全监督结果。
2018-12-26 cs.CV
CurvSegFlow: Time-Conditioned Flow Matching for Robust Segmentation of Curvilinear Structures in Noisy Biomedical Images
CNRS, Univ. Rennes, Institute of Genetics and Development of Rennes (IGDR)(法国国家科学研究中心、雷恩大学、雷恩遗传与发育研究所);TIAD Laboratory, Sciences and Technology Faculty, Sultan Moulay Slimane Univ(苏丹穆莱·斯利曼大学科学与技术学院TIAD实验室);Institute of Biotechnology, Czech Academy of Sciences(捷克科学院生物技术研究所)
提出CurvSegFlow框架,利用时间条件流匹配将分割建模为动态细化过程,通过U-Net骨干网络和三重损失函数逐步校正噪声初始化,在低信噪比下提升曲线结构的连续性和分割精度。
2026-06-23 cs.CV q-bio.QM
SSP-RACL: Classification of Noisy Fundus Images with Self-Supervised Pretraining and Robust Adaptive Credal Loss
Fudan University(复旦大学)
针对眼底图像标签噪声损害深度模型性能的问题,提出SSP-RACL框架,结合MAE自监督预训练与RACL超集学习抑制记忆效应,并通过临床知识驱动的非对称噪声模拟验证其优于现有方法。
2024-10-24 cs.CV
Architectural Neural Backdoors from First Principles
University of Cambridge(剑桥大学);University of Oxford(牛津大学);Imperial College London(伦敦帝国学院);University of Toronto(多伦多大学)
本文提出了一种无需人工监督即可针对任意触发模式植入架构后门的方法,对架构后门进行了12种分类,并通过用户研究和语言模型对比揭示了其检测难度,强调了加强ML系统防御的必要性。
2024-02-10 cs.AI cs.CR cs.CV
Learning From Noisy Large-Scale Datasets With Minimal Supervision
Cornell University(康奈尔大学);Google Inc(谷歌公司);Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种方法,可以有效地使用数百万个带有嘈杂注释的图像以及一小部分经过清晰注释的图像来学习强大的图像表示。将干净数据和噪声数据结合起来的一种常见方法是首先使用大型噪声数据集预训练网络,然后使用干净数据集进行微调。我们表明,这种方法并没有充分利用包含在干净集的信息。因此,我们演示了如何使用干净的注释来减少大型数据集中的噪声,然后使用干净的集合和减少噪声的完整集合来微调网络。该方法包括一个多任务网络,共同学习清理嘈杂的注释和准确地分类图像。我们在最近发布的Open Images数据集上评估了我们的方法,该数据集包含约900万张图像,每张图像有多个注释和超过6000个独特的类。对于小的干净的注释集,我们使用验证集的四分之一,约40 k图像。我们的结果表明,所提出的方法在Open Image数据集中的所有主要类别的类中明显优于直接微调。此外,我们的方法对于注释中具有广泛噪声的大量类别(20-80%假阳性注释)特别有效。
2017-04-10 cs.CV
Semi-Supervised Recognition under a Noisy and Fine-grained Dataset
National Internet Emergency Center(CNCERT)(国家互联网应急中心);Baidu(百度)
FGVC7是一个具有挑战性的细粒度识别竞赛。这场比赛的难点之一是如何使用未标记的数据。我们采用伪标签数据采掘来增加训练数据的数量。另一个是如何识别相似的鸟类,特别是那些有一个非常小的差异,在例子中相对较小的主体。我们结合一般的图像识别和细粒度的图像识别方法来解决这个问题。所有通用图像识别模型都使用PaddleClas进行训练。利用两种不同方式的深度识别模型相结合,最终获得大赛第三名。
2020-06-18 cs.CV
SELC: Self-Ensemble Label Correction Improves Learning with Noisy Labels
McMaster University(麦克马斯特大学)
深度神经网络容易过拟合噪声标签,导致泛化性能差。为了克服这个问题,我们提出了一个简单而有效的方法自集成标签校正(SELC),逐步纠正噪声标签和完善的模型。我们更深入地研究了使用噪声标签进行训练的记忆行为,并观察到网络输出在早期阶段是可靠的。为了保持这种可靠的知识,SELC使用由网络输出的指数移动平均形成的集合预测来更新原始的噪声标签。我们表明,使用SELC进行训练可以通过逐渐减少来自噪声标签的监督并增加来自集合预测的监督来改进模型。尽管它的简单性,与许多国家的最先进的方法相比,SELC获得更有前途和稳定的结果,在存在类条件,实例依赖,和现实世界的标签噪声。该代码可在https://github.com/MacLLL/SELC上获得。
2022-05-02 cs.CV cs.LG
Mitigating Noisy Supervision Using Synthetic Samples with Soft Labels
McMaster University(麦克马斯特大学)
针对深度神经网络易受噪声标签影响导致泛化差的问题,提出利用合成样本与软标签训练模型的框架,通过聚合样本及其最近邻并逐步纠正噪声标签,在多个基准和真实数据集上显著提升了表示质量与鲁棒性。
2024-06-22 cs.CV cs.LG
Denoising and Regularization via Exploiting the Structural Bias of Convolutional Generators
Technical University of Munich(慕尼黑工业大学);University of Southern California(南加州大学)
卷积神经网络(CNN)已经成为图像生成、恢复和复原的非常成功的工具。这一成功的一个主要因素是卷积网络对自然图像施加了很强的先验假设。一个令人惊讶的实验强调了这种对自然图像的建筑偏见,即人们可以在不使用任何训练数据的情况下从自然图像中去除噪声和损坏,通过简单地拟合(通过梯度下降)随机初始化,过度参数化的卷积生成器到损坏的图像。虽然这个过度参数化的网络可以完美地拟合损坏的图像,但令人惊讶的是,经过几次梯度下降迭代后,它生成了一个几乎未损坏的图像。这种有趣的现象使最先进的基于CNN的去噪和正则化的其他逆问题。在本文中,我们将这种效应归因于卷积网络的特定架构选择,即具有固定插值滤波器的卷积。然后,我们正式描述了将两层卷积生成器拟合到噪声信号的动态特性,并证明了早期停止的梯度下降去噪/正则化。我们的证明依赖于表明卷积生成器拟合图像的结构化部分的速度明显快于损坏的部分。
2020-02-23 cs.CV cs.IT cs.LG