Effective deep learning training for single-image super-resolution in endomicroscopy exploiting video-registration-based reconstruction
University College London(伦敦大学学院);UCL Institute for Liver and Digestive Health(伦敦大学学院肝脏与消化健康研究所)
目的:基于探针的共聚焦激光显微内镜(pCLE)是一种最新的成像模式,可以进行体内光学活检。pCLE硬件的设计及其对光纤束的依赖从根本上限制了图像质量,其中数万根光纤被组装到单个光纤束中,每根光纤都相当于一个单像素检测器。视频配准技术可以用来估计高分辨率(HR)图像,通过利用包含在一系列低分辨率(LR)图像的时间信息。然而,融合所需的LR帧的对准在计算上要求很高并且容易产生伪影。方法:在这项工作中,我们提出了一种新的合成数据生成方法来训练基于样本的深度神经网络(DNN)。具有增强质量的HR pCLE图像通过在估计的HR图像(由视频配准算法生成)和真实的合成LR图像对上训练的模型来恢复。在来自238个pCLE视频序列的8806个图像的Smart Atlas数据库上分析了三种不同的最先进的DNN技术的性能。通过广泛的图像质量评估(IQA)对结果进行了验证,该评估考虑了不同的质量评分,包括平均意见评分(MOS)。结果:结果表明,所提出的解决方案产生了有效的改善所获得的重建图像的质量。结论:所提出的训练策略和相关DNN允许我们对pCLE图像执行令人信服的超分辨率。
2018-03-23 cs.CV
Exploiting Unlabeled Data in CNNs by Self-supervised Learning to Rank
Universitat Autònoma de Barcelona(巴塞罗那自治大学);University of Florence(佛罗伦萨大学)
对于许多应用,标记数据的收集是昂贵的费力的。因此,在训练期间利用未标记的数据是机器学习长期追求的目标。自监督学习通过设定一个辅助任务(与监督任务不同,但与监督任务相关)来解决这个问题,该任务的数据是丰富的。在本文中,我们展示了如何排名可以作为一些回归问题的代理任务。作为另一个贡献,我们提出了一个有效的反向传播技术的暹罗网络,防止冗余计算引入的多分支网络架构。我们将我们的框架应用于两个回归问题:图像质量评估(IQA)和人群计数。对于这两个,我们展示了如何从未标记的数据自动生成排名的图像集。我们的研究结果表明,经过训练回归到标记数据的地面真实目标并同时学习对未标记数据进行排名的网络在IQA和人群计数方面都获得了更好的最先进的结果。此外,我们表明,测量网络的不确定性的自我监督代理任务是一个很好的措施的信息量的未标记的数据。这可以用来驱动主动学习的算法,我们表明,这减少了高达50%的标记工作。
2019-02-17 cs.CV
Exploiting Self-Supervised Constraints in Image Super-Resolution
Faculty of Computing, Harbin Institute of Technology(哈尔滨工业大学计算机学院)
本文提出一种即插即用的自监督约束SSC-SR,通过双非对称范式和指数移动平均更新目标模型提升单图像超分辨率稳定性与性能,在多个基准上优于EDSR和SwinIR。
2024-03-30 cs.CV eess.IV
Optimal Transport Based Unsupervised Restoration Learning Exploiting Degradation Sparsity
School of Information Science and Electronic Engineering, Shanghai Jiao Tong University, China(信息科学与电子工程学院,上海交通大学);School of Communication Engineering, Hangzhou Dianzi University, Hangzhou, China(通信工程学院,杭州电子科技大学)
提出稀疏感知最优传输(SOT)框架,利用退化在频域的稀疏性先验减少逆映射模糊性,在超分辨率、去雨和去雾任务上显著优于标准OT及现有无监督方法,缩小与监督方法的差距。
2025-09-16 cs.CV eess.IV
L1BSR: Exploiting Detector Overlap for Self-Supervised Single-Image Super-Resolution of Sentinel-2 L1B Imagery
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);ENS Paris-Saclay(巴黎萨克雷高等师范学院);Centre Borelli(博雷利中心);Kayrros SAS(凯罗斯公司)
本文提出 L1BSR,利用 Sentinel-2 L1B 影像中相邻 CMOS 探测器的重叠区域进行自监督训练,并通过跨光谱配准网络和 Anchor-Consistency 损失实现单图像超分辨率与波段对齐,无需高分辨率地面真值即可达到与监督方法相当的性能。
2023-04-17 cs.CV eess.IV
IG-CFAT: An Improved GAN-Based Framework for Effectively Exploiting Transformers in Real-World Image Super-Resolution
Ferdowsi University of Mashhad(马什哈德费尔多西大学);Amirkabir University of Technology(阿米尔卡比尔理工大学)
提出IG-CFAT,一种结合CFAT与GAN的框架,通过语义感知判别器、自适应退化模型及小波损失,显著提升真实世界图像超分辨率的细节恢复与纹理生成性能。
2025-02-25 cs.CV eess.IV
Exploiting Raw Images for Real-Scene Super-Resolution
Carnegie Mellon University(卡内基梅隆大学);SenseTime Research(商汤科技研究院);University of California, Merced(加州大学默塞德分校)
超分辨率是计算机视觉中的一个基本问题,其目的是克服相机传感器的空间限制。虽然在单图像超分辨率方面取得了重大进展,但大多数算法仅在合成数据上表现良好,这限制了它们在实际场景中的应用。本文研究了真实场景下单幅图像的超分辨率问题,以弥补合成数据与真实采集图像之间的差距。针对现有超分辨率算法存在的两个问题:缺乏真实感的训练数据和对摄像机视觉信息利用不足。为了解决第一个问题,我们提出了一种方法来产生更逼真的训练数据通过模仿数码相机的成像过程。对于第二个问题,我们开发了一个双分支卷积神经网络,利用原始图像中记录的辐射信息。此外,我们提出了一个更好的图像复原,以及一个基于学习的指导过滤器网络有效的颜色校正密集通道注意块。我们的模型能够推广到不同的相机,而无需刻意训练来自特定相机类型的图像。实验结果表明,该算法能较好地恢复真实场景中的细节和结构,实现了高质量的单幅图像超分辨率。
2021-02-02 cs.AI cs.CV
Exploiting Style and Attention in Real-World Super-Resolution
University of Chinese Academy of Sciences(中国科学院大学);CASIA(中国科学院自动化研究所)
真实世界图像的超分辨率(SR)是一个具有挑战性的图像平移问题。低分辨率(LR)图像通常由各种未知变换生成,而不是通过对高分辨率(HR)图像应用简单的双线性下采样来生成。为了解决这个问题,本文提出了一种新的流水线,它利用了真实世界SR中的风格和注意力机制。我们的流水线由一个风格变分自编码器(styleVAE)和一个结合了注意力机制的SR网络组成。为了获得与HR图像配对的真实世界般的低质量图像,我们设计了styleVAE来将真实世界LR图像中的复杂干扰因素转移到生成的LR图像中。我们还使用互信息估计(MI),以获得更好的风格信息。对于我们的SR网络,我们首先提出了一个全局注意力残差块来学习图像中的长程依赖关系。然后,提出了另一个局部注意力残差块,以加强SR网络的注意力移动到局部区域的图像,其中纹理细节将被填充。值得注意的是,styleVAE可以以即插即用的方式呈现,因此可以帮助提高我们的SR方法以及其他SR方法的泛化性和鲁棒性。大量的实验表明,我们的方法超越了国家的最先进的工作,定量和定性。
2020-10-11 cs.CV eess.IV
Multi-BVOC Super-Resolution Exploiting Compounds Inter-Connection
Politecnico di Milano(米兰理工大学)
本文提出利用多种BVOC化合物间的空间关联,构建多图像超分辨率系统,融合不同化合物排放图以提升BVOC排放图分辨率,实验表明聚合不相关化合物效果最佳。
2023-06-22 cs.CV cs.LG eess.IV
Exploiting Digital Surface Models for Inferring Super-Resolution for Remotely Sensed Images
CYENS Center of Excellence(塞浦路斯卓越中心)
尽管大量的成功的超分辨率重建(SRR)模型应用于自然图像,他们的应用遥感图像往往产生不佳的结果。遥感图像通常比自然图像更复杂,并且具有其特性,例如分辨率较低,它包含噪声,并且通常描绘大纹理表面。因此,在遥感图像上应用非专业的SRR模型会导致伪影和重建效果不佳。为了解决这些问题,本文提出了一个架构的启发,以前的研究工作,介绍了一种新的方法,迫使SRR模型输出逼真的遥感图像:而不是依赖于特征空间的相似性作为感知损失,该模型认为像素级信息推断的归一化数字表面模型(nDSM)的图像。该策略允许在模型训练期间应用更好的信息更新,该模型来自与遥感密切相关的任务(高程图推断)。尽管如此,在生产过程中不需要nDSM辅助信息,因此该模型推断出超分辨率图像,除了其低分辨率对之外没有任何附加数据。我们在两个不同空间分辨率的遥感数据集上评估了我们的模型,这些数据集还包含图像的DSM对:DFC2018数据集和包含卢森堡国家激光雷达飞越的数据集。基于视觉检查,推断的超分辨率图像表现出特别优异的质量。特别是,高分辨率DFC2018数据集的结果是真实的,几乎无法与地面实况图像区分开来。
2022-09-13 cs.CV cs.LG eess.IV
Exploiting Web Images for Weakly Supervised Object Detection
Nanyang Technological University(南洋理工大学)
近年来,随着深度卷积神经网络的发展,目标检测的性能已经显著提高。然而,现有技术的目标检测方法仍然依赖于需要大量人工标记的准确的限界框注释。无限界框标注的目标检测,即弱监督检测方法,仍然远远落后。由于弱监督检测仅使用图像级标签,并且不需要图像中每个对象的限界框位置和标签的地面真值,因此通常很难提取对象的实际外观的知识。受课程学习的启发,本文提出了一个简单到困难的知识转移计划,结合简单的网络图像提供先验知识的对象外观作为一个很好的起点。在利用大规模免费网络图像的同时,我们引入了一种复杂的无需人工的方法来构建对象外观具有良好多样性的网络数据集。在此基础上,引入语义相关性和分布相关性,并将其应用于课程培训方案中。我们的端到端学习与构建的Web数据在大多数对象类,特别是在其他作品中通常被认为是困难的类,实现了显着的改善。
2017-07-28 cs.CV
Exploiting Completeness and Uncertainty of Pseudo Labels for Weakly Supervised Video Anomaly Detection
Institute of Information Engineering, CAS(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学);Australian Institute for Machine Learning, The University of Adelaide(阿德莱德大学澳大利亚机器学习研究所);Institute of Computing Technology, CAS(中国科学院计算技术研究所);Peng Cheng Laboratory(鹏城实验室);University of California, Merced(加州大学默塞德分校)
弱监督视频异常检测旨在仅使用视频级标签来识别视频中的异常事件。最近,两阶段的自训练方法已经取得了显着的改进,通过自生成的伪标签和自精炼的异常分数与这些标签。由于伪标签起着至关重要的作用,我们提出了一个增强框架,利用完整性和不确定性属性进行有效的自我训练。具体来说,我们首先设计了一个多头分类模块(每个头作为一个分类器)的多样性损失,以最大限度地提高预测的伪标签的分布差异头。这鼓励生成的伪标签覆盖尽可能多的异常事件。然后,我们设计了一个迭代的不确定性伪标签细化策略,它不仅提高了初始的伪标签,但也更新所需的分类器在第二阶段获得的。大量的实验结果表明,该方法在UCF-Crime,EQUIPMENT和XD-Violence基准数据集上表现良好。
2022-12-08 cs.CV
Exploiting Image Translations via Ensemble Self-Supervised Learning for Unsupervised Domain Adaptation
Eindhoven University of Technology(埃因霍温理工大学)
我们引入了一种无监督域自适应(UDA)策略,该策略将多个图像翻译,集成学习和自监督学习结合在一个连贯的方法中。我们专注于UDA的标准任务之一,其中语义分割模型在标记的合成数据和未标记的真实数据上进行训练,旨在对后者表现良好。为了利用使用多个图像翻译的优势,我们提出了一种集成学习方法,其中三个分类器通过将不同图像翻译的输入特征作为输入来计算它们的预测,使每个分类器独立学习,目的是通过稀疏多项式逻辑回归组合它们的输出。该回归层称为元学习器,有助于在执行自监督学习时减少伪标签生成期间的偏差,并通过考虑每个分类器的贡献来提高模型的泛化能力。我们在标准UDA基准上评估了我们的方法,即将GTA V和Synthia适应Cityscapes,并在平均交集上实现了最先进的结果。广泛的烧蚀实验报告,以突出我们提出的UDA策略的有利特性。
2021-07-13 cs.CV
Exploiting Temporal Coherence for Self-Supervised One-shot Video Re-identification
University of California, Riverside(加州大学河滨分校)
虽然重新识别中的监督技术非常有效,但对大量注释的需求使得它们对于大型摄像机网络来说不切实际。单次重新识别,它使用一个单一的标记轨迹为每个身份以及一个池的未标记的轨迹,是一个潜在的候选人,以减少这种标记的努力。当前的一次性重新识别方法通过对标记数据和未标记数据之间的相互关系进行建模来起作用,但未能充分利用存在于未标记数据本身的池内的这种关系。在本文中,我们提出了一个新的框架,称为时间一致性渐进学习,它使用时间一致性作为一种新的自我监督的辅助任务,在一次学习范式,以捕捉这种关系之间的未标记的tracklet。优化了两个新的损失,这两个损失在局部和全局范围内加强了一致性,我们的框架可以学习更丰富和更具鉴别力的表示。在两个具有挑战性的视频重识别数据集- MARS和DukeMTMC-VideoReID -上的大量实验表明,我们提出的方法能够更准确地估计未标记数据的真实标签,最高可达$8\%$,并且与现有的最先进的技术相比,获得了更好的重识别性能。
2020-07-21 cs.CV
GS-PT: Exploiting 3D Gaussian Splatting for Comprehensive Point Cloud Understanding via Self-supervised Learning
School of Computer Science, Fudan University(复旦大学计算机科学学院);School of Mechanical Engineering, Tongji University(同济大学机械工程学院);Academy for Engineering and Technology, Fudan University(复旦大学工程技术研究院)
针对点云自监督学习中数据多样性和增强不足的问题,本文提出GS-PT,首次结合3DGS、transformer掩码重建与多模态对比学习,并在多项下游任务上取得优于现有方法的性能。
2024-09-08 cs.CV
Exploiting Motion Information from Unlabeled Videos for Static Image Action Recognition
Shanghai Jiao Tong University(上海交通大学)
静态图像动作识别的目的是基于单个图像识别动作,通常依赖于昂贵的人工标记工作,例如足够的标记动作图像和大规模的标记图像数据集。相比之下,可以经济地获得大量未标记的视频。因此,一些工作已经探索使用未标记的视频,以促进图像动作识别,这可以分为以下两类:(a)增强视觉表示的动作图像上的未标记的视频,这属于自监督学习的范围内设计的代理任务;(b)生成辅助表示的动作图像从未标记的视频学习。在本文中,我们将上述两种策略集成在一个统一的框架中,该框架由视觉表示增强(VRE)模块和运动表示增强(MRA)模块组成。具体地说,VRE模块包括一个代理任务,该任务对未标记视频施加伪运动标签约束和时间相干性约束,而MRA模块则利用未标记视频预测静态动作图像的运动信息。我们证明了我们的框架的优势,基于四个基准人类动作数据集有限的标记数据。
2019-12-01 cs.CV
Exploiting Label-Independent Regularization from Spatial Dependencies for Whole Slide Image Analysis
Dartmouth College(达特茅斯学院);Massachusetts General Hospital(哈佛麻省总医院);Northwestern University(西北大学)
本文提出了一种利用空间依赖性进行标签无关正则化的全切片图像分析框架,通过联合优化空间重建和分类目标,提升了全切片图像分析的性能。
2026-02-23 cs.CV
Exploiting saliency for object segmentation from image level labels
Max Planck Institute for Informatics(马克斯·普朗克计算机科学研究所);Amsterdam Machine Learning Lab(阿姆斯特丹机器学习实验室);Saarland Informatics Campus(萨尔兰信息学园区);University of Amsterdam(阿姆斯特丹大学)
近年来,语义标签任务有了显著的改进。然而,现有技术的方法依赖于大规模像素级注释。本文研究了从当前对象类的图像级注释中训练像素级语义标签网络的问题。最近,已经表明,可以从图像级标签获得指示有区别的对象区域的高质量种子。在没有额外信息的情况下,由于同现,获得对象的完整范围是一个固有的不适定问题。我们建议使用一个显着性模型作为额外的信息,从而利用先验知识的对象范围和图像统计。我们展示了如何结合这两个信息源,以恢复80%的完全监督性能-这是最新的弱监督训练的像素级语义标记。该代码可在https://goo.gl/KygSeb上获得。
2017-07-14 cs.CV
NeighborMAE: Exploiting Spatial Dependencies between Neighboring Earth Observation Images in Masked Autoencoders Pretraining
KU Leuven(卢森堡大学);ESA Φ \Phi -lab(欧洲航天局Φ实验室);HKUST(GZ)(香港科技大学(珠海));KTH(皇家理工学院)
NeighborMAE通过联合重建邻近遥感图像,利用空间依赖性提升掩码自编码器在遥感图像预训练中的性能。
2026-03-03 cs.CV
Exploiting Local Indexing and Deep Feature Confidence Scores for Fast Image-to-Video Search
Middle East Technical University(中东技术大学)
具有成本效益的视觉表示和快速查询的例子搜索是两个具有挑战性的目标,应保持适度的硬件上的网络规模的视觉检索任务。本文介绍了一种快速和强大的方法,确保这两个目标,通过获得最先进的性能的图像到视频搜索场景。因此,我们提出了关键的增强功能,以促进更快,更好和适度的检索性能,著名的索引和视觉表示技术。我们还通过在查询时利用局部和全局描述符的个体决策来提高我们的方法在一些视觉挑战中的优越性。例如,本地内容描述符表示具有大的几何变形(诸如比例、定向和仿射变换)的复制/重复的场景。相比之下,全局内容描述符的使用对于近似重复和语义搜索更实用。实验在大规模的Stanford I2 V数据集上进行。实验结果表明,我们的方法是有用的复杂性和查询处理时间的大规模视觉检索的情况下,即使局部和全局表示一起使用。所提出的方法是优越的,并实现了最先进的性能的基础上,该数据集的平均平均精度(MAP)得分。最后,我们报告了额外的MAP分数更新后的地面注释所揭示的检索结果所提出的方法,它表明,实际的性能。
2020-12-12 cs.CV
Exploiting CLIP-based Multi-modal Approach for Artwork Classification and Retrieval
本文研究将CLIP多模态模型应用于艺术品分类与检索,在NoisyArt数据集上取得优异的零样本分类结果,并验证了其在艺术品间及描述到艺术品检索中的有效性。
2023-09-21 cs.CV
The Devil is in the Statistics: Mitigating and Exploiting Statistics Difference for Generalizable Semi-supervised Medical Image Segmentation
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);National Institute of Healthcare Data Science, Nanjing University(南京大学健康医疗大数据国家研究院);School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);School of Data and Computer Science, Shandong Women’s University(山东女子学院数据与计算机科学学院)
针对半监督域泛化医学图像分割中域偏移导致伪标签质量下降的问题,本文提出统计量独立分支与聚合分支相结合的方法,并通过图像级直方图匹配扰动和特征级随机批归一化选择来模拟未见域,在三个医学图像数据集上验证了其有效性。
2024-08-01 cs.CV
Improving Weakly Supervised Temporal Action Localization by Exploiting Multi-resolution Information in Temporal Domain
School of Electrical and Information Engineering, The University of Sydney(电气与信息工程学院,悉尼大学)
提出两阶段方法,利用时间域多分辨率信息生成并细化伪标签,通过ILG和PTLR框架改进弱监督时间动作定位性能。
2025-06-23 cs.CV
Exploiting Temporal Audio-Visual Correlation Embedding for Audio-Driven One-Shot Talking Head Animation
School of Information Engineering, Guangdong University of Technology(广东工业大学信息工程学院);School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院)
本文提出TAVCE框架,通过学习相邻音视频片段间的时序相关性并引入通道注意力与训练监督,提升音频驱动一次性说话头动画的生成质量。
2025-04-08 cs.CV
Refine and Distill: Exploiting Cycle-Inconsistency and Knowledge Distillation for Unsupervised Monocular Depth Estimation
University of Trento(特伦托大学);Huawei Technologies Ireland(华为技术爱尔兰公司);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
目前,大多数现有技术的单眼深度估计技术基于监督式深度学习模型。然而,收集具有相关联的深度图的RGB图像是非常耗时的过程。因此,最近的工作已经提出了用于将单目深度预测任务作为重建问题来解决的深度架构,从而避免了收集地面实况深度的需要。在这些工作之后,我们提出了一种新的自监督深度模型来估计深度图。我们的框架利用两个主要策略:通过周期不一致和蒸馏细化。具体地,首先训练\emph{student}网络以预测视差图,从而从相机视图中的帧恢复相对视图中的相关联图像。然后,将反向循环网络应用于生成的图像以重新合成回输入图像,估计相对视差。第三个网络利用原始和重建输入帧之间的不一致性,以便输出细化的深度图。最后,利用知识蒸馏,例如将信息从精化网络传输到学生。我们广泛的实验评估表明,所提出的框架,它优于最先进的无监督方法的KITTI基准的有效性。
2019-04-20 cs.CV
Reducing Annotation Burden: Exploiting Image Knowledge for Few-Shot Medical Video Object Segmentation via Spatiotemporal Consistency Relearning
MedAI Technology (Wuxi) Co. Ltd.(MedAI科技(无锡)有限公司);Technical University of Munich(慕尼黑工业大学)
针对医学视频标注稀缺问题,提出两阶段框架,先利用标注图像训练少样本分割模型,再通过时空一致性再学习及特征、预测层约束提升性能,在低数据场景下实现优于现有方法的医学视频分割效果。
2025-03-19 cs.CV
Where are my Neighbors? Exploiting Patches Relations in Self-Supervised Vision Transformer
University of Padova(帕多瓦大学)
视觉Transformer(ViTs)支持在视觉任务中使用Transformer架构,在大数据集上训练时表现出令人印象深刻的性能。然而,在相对较小的数据集上,ViT由于缺乏归纳偏差而不太准确。为此,我们提出了一个简单但仍然有效的自监督学习(SSL)策略来训练ViTs,没有任何外部注释或外部数据,可以显着提高结果。具体来说,我们定义了一组SSL任务的基础上的关系的图像补丁,该模型必须解决之前或联合监督任务。从ViT继承,我们的RelViT模型优化了与图像块相关的Transformer编码器的所有输出令牌,从而在每个训练步骤中利用更多的训练信号。我们在几个图像基准上研究了我们的方法,发现RelViT大幅提高了SSL最先进的方法,特别是在小数据集上。代码可在:https://github.com/guglielmocamporese/relvit.
2022-10-13 cs.CV cs.LG
Self-supervised Spatiotemporal Representation Learning by Exploiting Video Continuity
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of Manitoba(曼尼托巴大学)
最近的自我监督视频表示学习方法已经发现了显着的成功,通过探索视频的基本属性,例如速度,时间顺序等。这项工作利用了一个重要的,但未充分探索的视频,视频连续性,以获得监督信号的自我监督表示学习。具体来说,我们制定了三个新的连续性相关的借口任务,即连续性的理由,不连续性本地化,缺失部分近似,共同监督视频表示学习的共享骨干。这种自我监督的方法,被称为连续性感知网络(CPNet),解决了这三个任务,并鼓励骨干网络学习本地和远程运动和上下文表示。它在多个下游任务上优于现有技术,例如动作识别,视频检索和动作定位。此外,视频连续性可以与用于表示学习的其他粗粒度视频属性互补,并且将所提出的借口任务集成到现有技术可以产生很大的性能增益。
2022-01-12 cs.CV cs.LG
Exploiting Cross-Modal Prediction and Relation Consistency for Semi-Supervised Image Captioning
Nanjing University of Science and Technology(南京理工大学);Baidu Inc(百度公司);Rutgers University(罗格斯大学)
图像描述的任务旨在通过自动学习的交叉模态生成器直接从图像生成字幕。为了构建一个性能良好的生成器,现有的方法通常需要大量的描述图像,这需要大量的人工标注。然而,在现实世界的应用中,更普遍的情况是,我们只有有限数量的描述图像和大量的未描述图像。因此,如何有效地将未描述的图像组合到交叉模态生成器的学习中是一个挑战。针对这一问题,本文提出了一种基于跨模态预测和关系一致性(CPRC)的图像描述方法,该方法利用原始图像输入,将生成的句子约束在共同语义空间中。具体而言,考虑到模态间的异质性导致直接使用全局嵌入的监督困难,CPRC转而将原始图像和相应的生成语句都转换到共享语义空间中,并从两个方面对生成语句进行度量:1)预测一致性。CPRC利用对原始图像的预测作为软标签,为生成的句子提取有用的监督,而不是使用传统的伪标签; 2)关系一致性。CPRC开发了一种新的增强图像和相应的生成句子之间的关系一致性,以保留重要的关系知识。结果表明,CPRC从信息性和代表性两个角度对生成的句子进行监督,能够合理利用未描述图像,在半监督场景下学习更有效的生成器。
2021-10-28 cs.AI cs.CV
Exploiting Audio-Visual Consistency with Partial Supervision for Spatial Audio Generation
National Taiwan University(台湾大学);ASUS Intelligent Cloud Services(华硕智能云服务)
人的听觉体验是丰富的,耳朵所听到的声音是清晰的.用双耳音频录制的视频特别模拟人类如何接收环境声音。然而,大量视频仅具有单声道音频,这将由于缺乏环境信息而降低用户体验。为了解决这个问题,我们提出了一个音频空间化框架,利用音频和视觉组件之间的关系将单声道视频转换为双耳视频。通过在音频和视觉模态中保持左右一致性,我们的学习策略可以被视为一种自监督学习技术,并在训练期间使用地面真实双耳音频数据来消除对大量视频数据的依赖性。在基准数据集上的实验证实了我们提出的框架在半监督和全监督场景中的有效性,消融研究和可视化进一步支持使用我们的模型进行音频空间化。
2021-05-03 cs.CV cs.MM cs.SD
Transferable Visual Words: Exploiting the Semantics of Anatomical Patterns for Self-supervised Learning
Arizona State University(亚利桑那州立大学);Mayo Clinic(梅奥诊所)
本文引入了一个新的概念,称为“可转移视觉词”(transVW),旨在实现医学图像分析中的深度学习的注释效率。医学成像-专注于特定部位的身体为定义的临床目的-生成图像的解剖结构非常相似的病人和产生复杂的解剖模式的图像,这是与丰富的语义有关的人体解剖结构,这是自然的视觉词汇。我们表明,这些视觉词可以通过自我发现根据解剖学一致性自动收获,并且自我发现的视觉词可以作为深度模型的强大而自由的监督信号,通过自我监督(自我分类和自我恢复)学习语义丰富的通用图像表示。我们广泛的实验证明了注释效率的TransVW提供更高的性能和更快的收敛速度,在几个应用程序中降低注释成本。我们的transVW有几个重要的优点,包括(1)transVW是一个完全的自学计划,它利用视觉单词的语义进行自监督学习,不需要专家注释;(2)视觉单词学习是一个附加策略,它补充了现有的自监督方法,提高了它们的性能;以及(3)所学习的图像表示是语义丰富的模型,其已被证明是更鲁棒的和可推广的,通过迁移学习为各种应用节省了注释工作。我们的代码,预训练模型和策划的视觉词可在https://github.com/JLiangLab/TransVW上获得。
2021-02-21 cs.CV eess.IV
Exploiting Web Images for Fine-Grained Visual Recognition by Eliminating Noisy Samples and Utilizing Hard Ones
Nanjing University of Science and Technology(南京理工大学);University of Electronic Science and Technology of China(电子科技大学);University of Technology Sydney(悉尼科技大学)
在从属级别标记对象通常需要专业知识,而在使用随机注释器时并不总是可用。因此,直接从Web图像中学习以进行细粒度识别引起了广泛的关注。然而,网络图像中标签噪声和硬样本的存在是训练鲁棒细粒度识别模型的两个障碍。因此,在本文中,我们提出了一种新的方法,用于在训练过程中从真实世界的Web图像中删除不相关的样本,同时使用有用的硬样本来更新网络。因此,我们的方法可以减轻不相关的嘈杂的Web图像和硬的例子,以实现更好的性能的有害影响。在三个常用的细粒度数据集上进行的大量实验表明,我们的方法远远优于当前最先进的网络监督方法。
2021-01-23 cs.CV cs.MM
Clean Images are Hard to Reblur: Exploiting the Ill-Posed Inverse Task for Dynamic Scene Deblurring
Seoul National University(首尔国立大学);NVIDIA(英伟达)
动态场景去模糊的目的是去除给定图像中的运动模糊。典型的基于学习的方法通过最小化输出和参考清晰图像之间的L1或L2距离来实现其解决方案。最近的尝试在训练中采用视觉识别特征来提高感知质量。然而,这些功能主要用于捕获高级上下文,而不是低级结构(如模糊)。相反,我们提出了一种更直接的方法,使图像更清晰,利用逆任务的去模糊,即,重新模糊。重新模糊放大剩余的模糊以重建原始模糊,然而,具有零幅度模糊的良好去模糊的干净图像很难重新模糊。因此,我们设计了两种类型的再模糊损失函数,以更好地去模糊。训练阶段的监督再模糊损失比较去模糊图像和清晰图像之间的放大模糊。在推理阶段的自监督再模糊损失检查在去模糊中是否存在明显的模糊。我们在大规模基准测试和真实图像上的实验结果证明了再模糊损失在改善去模糊图像的NIQE和LPIPS分数以及视觉锐度方面的感知质量方面的有效性。
2022-04-02 cs.CV eess.IV
From Patches to Objects: Exploiting Spatial Reasoning for Better Visual Representations
FAU Erlangen-Nürnberg(埃尔朗根-纽伦堡大学)
本文提出一种基于空间推理的辅助预训练方法,通过让网络预测非重叠图像块间的相对距离作为对比学习的辅助任务,迫使网络学习更细致的内部表示,在 linear evaluation 中显著提升了下游任务性能。
2023-05-21 cs.CV cs.LG
Exploiting Temporality for Semi-Supervised Video Segmentation
University of Amsterdam(阿姆斯特丹大学);TomTom(汤姆汤姆公司);VU Amsterdam(阿姆斯特丹自由大学)
近年来,有监督图像分割技术取得了显著的进展。视频分割较少探索,尽管时间维度是高度信息化的。可以通过合并来自先前帧的信息来推断例如在当前帧中不能准确检测的语义标签。然而,由于需要处理的数据量以及更重要的是获得每帧的地面实况注释所涉及的成本,视频分割是具有挑战性的。在本文中,我们通过使用视频的连续帧来解决标签稀缺的问题,其中只有一帧被注释。我们提出了一个深度的、端到端的可训练模型,该模型利用时间信息来利用易于获取的未标记数据。我们的网络架构依赖于两个组件的新型互连:一个完全卷积网络,用于对空间信息和时间单元进行建模,这些时间单元用于卷积网络的中间层,以便通过时间传播信息。这项工作的主要贡献是通过网络的时间信号的指导。我们表明,只有放置一个时间模块之间的编码器和解码器是次优(基线)。我们在CityScapes数据集上进行的大量实验表明,所得到的模型可以利用未标记的时间帧,并且显著优于逐帧图像分割和基线方法。
2019-08-29 cs.CV cs.LG eess.IV
Exploiting generative self-supervised learning for the assessment of biological images with lack of annotations: a COVID-19 case-study
Politecnico di Torino(都灵理工大学);Università degli Studi di Torino(都灵大学);Fondazione Toscana Life Sciences(托斯卡纳生命科学基金会);Università di Modena and Reggio Emilia(摩德纳-雷焦·艾米里亚大学)
本文提出基于 StyleGAN2 的 GAN-DL 自监督表征方法,结合 WGAN 与线性 SVM,在缺乏标注的荧光生物图像中实现化合物筛选、剂量反应曲线估计及零样本细胞类型分类。
2021-07-26 cs.CV eess.IV
Refining Image Categorization by Exploiting Web Images and General Corpus
University of Technology Sydney(悉尼科技大学);University of Electronic Science and Technology of China(电子科技大学);Alibaba Group(阿里巴巴集团);SouthEast University(东南大学);Nanjing University of Science and Technology(南京理工大学)
研究表明,将真实世界的类别细化为语义子类别有助于更好的图像建模和分类。以往的图像子分类工作依赖于标记的图像和WordNet的层次结构,不仅劳动密集型,而且还限于分类到NOUN子类别的图像。为了解决这些问题,在这项工作中,我们利用一般的语料库信息自动选择,并随后分类到语义丰富的Web图像(子)类别。研究了以下两个主要挑战:1)来自一般语料库的子类别标签中的噪声; 2)从Web检索的图像标签中的噪声。具体来说,我们首先从文本的角度获得语义细化子类别,并通过基于关联度的方法去除噪声。为了抑制搜索错误引起的噪声图像,我们然后制定的图像选择和分类器学习作为一个多类多实例学习问题,并提出解决所采用的问题的切割平面算法。实验表明,通过使用我们的方式生成的数据在图像分类和子分类任务显着的性能增益。所提出的方法也始终优于现有的弱监督和网络监督的方法。
2017-03-16 cs.CV cs.MM
Exploiting DINOv3-Based Self-Supervised Features for Robust Few-Shot Medical Image Segmentation
University of Texas Southwestern Medical Center(德克萨斯大学西南医学中心);University of Pennsylvania(宾夕法尼亚大学)
本文提出DINO-AugSeg框架,利用DINOv3特征结合小波域增强和上下文融合,提升小样本医学图像分割的鲁棒性。
2026-01-12 cs.CE cs.CL cs.CV