DPAMixerSR: An Efficient Degradation-Pattern-Aware Model for Image Super-Resolution
针对现有超分辨率方法忽略退化因素导致计算分配不佳的问题,提出DPAMixerSR框架,通过感知退化排序模块路由图像块至自适应稀疏处理或轻量级卷积分支,实现高效且保真的超分辨率重建。
2026-09-29 cs.CV
Joint Learning Content and Degradation Aware Feature for Blind Super-Resolution
Youtu Lab, Tencent(腾讯优图实验室);Shanghai Development Center of Computer Software Technology(上海计算机软件技术开发中心)
为了在盲图像超分辨率(SR)上取得有希望的结果,一些尝试利用低分辨率(LR)图像来预测内核并提高SR性能。然而,这些监督核预测(SKP)方法是不切实际的,由于不可用的现实世界的模糊内核。虽然一些无监督退化预测(UDP)方法被提出来绕过这个问题,退化嵌入和SR特征之间的\textit{inconsistency}仍然是具有挑战性的。通过探索退化嵌入和SR特征之间的相关性,我们观察到联合学习内容和退化感知特征是最佳的。在此基础上,提出了一种内容和降级感知的SR网络,称为CDSR。具体来说,CDSR包含三个新建立的模块:(1)一个轻量级的基于补丁的编码器(LPE)被用来联合提取内容和退化特征;(2)一个域查询注意力的模块(DQA)被用来自适应地减少不一致性;(3)一个基于码本的空间压缩模块(CSC),可以抑制冗余信息。在多个基准测试上的实验表明,所提出的CDSR优于现有的UDP模型,即使与最先进的SKP方法相比,在PSNR和SSIM上也具有竞争力的性能。
2022-08-29 cs.CV
Semi-UFormer: Semi-supervised Uncertainty-aware Transformer for Image Dehazing
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);PLA Dalian Naval Academy(中国人民解放军大连海军学院)
图像去雾是计算机视觉中的一个基本问题,但一直没有得到很好的解决。大多数先进的模型都是在合成数据中训练的,这导致了在现实世界的朦胧场景中表现不佳。此外,它们通常给出确定性的去雾图像,而忽略了挖掘它们的不确定性。为了弥合领域差距,提高去雾性能,我们提出了一种新的半监督不确定性感知Transformer网络,称为半UFormer。Semi-UFormer可以很好地利用现实世界的模糊图像及其不确定性指导信息。具体来说,Semi-UFormer建立在知识蒸馏框架之上。这样的师生网络有效地吸收了真实世界的雾霾信息,以实现高质量的去雾。此外,一个不确定性估计块被引入到模型中,以估计像素的不确定性表示,然后将其用作指导信号,以帮助学生网络更准确地产生无雾图像。大量的实验表明,半UFormer概括以及从合成到现实世界的图像。
2022-10-28 cs.CV
FCVSR: A Frequency-aware Method for Compressed Video Super-Resolution
School of Information and Communication Engineering, University of Electronic Science and Technology of China(信息与通信工程学院,电子科学与技术大学)
本文提出FCVSR方法,通过运动引导自适应对齐网络和多频率特征细化模块,结合频率感知对比损失,提升压缩视频超分辨率性能,实验表明在PSNR和复杂度上优于现有方法。
2025-10-11 cs.CV
Geometry-Aware Reference Synthesis for Multi-View Image Super-Resolution
Fudan University(复旦大学)
近来的多视图多媒体应用在高分辨率(HR)视觉体验和存储或带宽约束之间挣扎。因此,本文提出了一种多视点图像超分辨率(MVISR)任务。它旨在提高从同一场景捕获的多视图图像的分辨率。一种解决方案是应用图像或视频超分辨率(SR)方法来从低分辨率(LR)输入视图重建HR结果。然而,这些方法不能处理视图之间的大角度变换,并且不能利用所有多视图图像中的信息。为了解决这些问题,我们提出了MVSRnet,它使用的几何信息提取尖锐的细节,从所有LR多视图,以支持SR LR输入视图。具体而言,MVSRnet中提出的几何感知参考合成模块使用几何信息和所有多视图LR图像来合成像素对齐的HR参考图像。然后,建议的动态高频搜索网络充分利用参考图像中的高频纹理细节SR。在几个基准上的大量实验表明,我们的方法显着提高了国家的最先进的方法。
2022-07-21 cs.CV
Versatile Recompression-Aware Perceptual Image Super-Resolution
AIR, Tsinghua University(清华大学智能产业研究院);AGUS Tech;HKUST(香港科技大学);Kuaishou Technology(快手科技)
本文提出VRPSR,通过将压缩建模为条件文本到图像生成,利用预训练扩散模型构建通用编码器模拟器,并提出针对感知超分辨率的训练技术,实现SR与再压缩的联合优化,取得10%-40%的比特率节省。
2026-03-27 cs.CV
Semantic-Aware Depth Super-Resolution in Outdoor Scenes
NICTA(澳大利亚国家信息与通信技术研究院);EPFL(洛桑联邦理工学院)
虽然深度传感器越来越受欢迎,但它们的空间分辨率通常仍然有限。因此,深度超分辨率作为该问题的解决方案而出现。尽管取得了很大进展,但现有技术存在两个缺点:(i)它们依赖于强度边缘与深度不连续性重合的假设,不幸的是,这仅在受控环境中是真实的;以及(ii)它们通常利用高分辨率训练深度图的可用性,由于传感器的限制,在实践中通常不能获取高分辨率训练深度图。相比之下,在这里,我们介绍了一种在更具挑战性的条件下(例如在户外场景中)执行深度超分辨率的方法。为此,我们首先提出利用语义信息来更好地约束超分辨率过程。特别是,我们设计了一个共稀疏分析模型,从联合强度,深度和语义信息中学习过滤器。此外,我们还展示了如何在我们的学习策略中使用低分辨率训练深度图。我们证明了我们的方法的好处,超过国家的最先进的深度超分辨率方法在两个室外场景数据集。
2016-05-31 cs.CV
CLEAR: Conflict-aware Learning via Evidence-guided Adaptive Routing for Unified Sparse-View 3D Gaussian Super-Resolution
针对稀疏视图三维高斯超分辨率的误差累积问题,提出首个统一单阶段框架CLEAR,通过冲突感知优化、证据引导路由等技术,在4×超分辨率基准上实现了最优渲染质量与几何保真度。
2026-08-04 cs.CV
Morphology-Aware Implicit Super-Resolution Network for Pathological Images
针对现有超分辨率方法难以保留病理图像细胞形态的问题,本文提出Morph-ISR框架,在TCGA等数据集上实现最优的LPIPS等指标,可高效保留诊断相关细节并支持边缘部署。
2026-11-13 cs.CV
Attention-Aware Linear Depthwise Convolution for Single Image Super-Resolution
Chonnam National University(全南国立大学);Xidian University(西安电子科技大学)
尽管深度卷积神经网络(CNN)在图像超分辨率(SR)方面获得了出色的性能,但随着CNN模型越来越深、越来越宽,其计算成本呈几何级数增长。同时,中间层的特征在整个通道中被平等对待,从而阻碍了CNN的代表能力。在本文中,我们提出了一个注意力感知的线性dependency网络,以解决单图像SR的问题,命名为ALDNet。具体而言,线性去卷积允许基于CNN的SR模型保留用于重建超分辨率图像的有用信息,同时减少计算负担。此外,我们设计了一个注意力感知分支,通过充分利用dependency滤波器的相互依赖性来增强dependency卷积层的表示能力。在公开的基准数据集上的实验表明,ALDNet在定量测量和视觉质量方面优于传统的dependency可分离卷积。
2019-11-29 cs.CV eess.IV
High-Resolution Be Aware! Improving the Self-Supervised Real-World Super-Resolution
National University of Singapore(新加坡国立大学)
本文针对真实世界自监督超分辨率中高分辨率知识缺失和退化建模不足的问题,提出基于结果质量的退化控制器和特征对齐正则化器,通过微调现成SR模型实现自然且感知性能领先的超分辨率结果。
2024-11-25 cs.CV eess.IV
Modality-Aware Infrared and Visible Image Fusion with Target-Aware Supervision
Independent researcher(独立研究者);Dept. of Computer Science Baylor University(计算机科学系 巴里尔大学);Dept. of Computer Science Engineering University of Connecticut(计算机科学工程系 佛罗里达大学);Dept. of Computer Science New York University(计算机科学系 新 york 大学)
提出FusionNet框架,通过模态感知注意力、逐像素alpha混合和目标感知损失实现细粒度可解释的红外与可见光图像融合,在M3FD数据集上验证了语义保持与高感知质量。
2025-09-14 cs.CV cs.LG
DAQ: Channel-Wise Distribution-Aware Quantization for Deep Image Super-Resolution Networks
Seoul National University(首尔大学)
量化深度卷积神经网络以实现图像超分辨率大大降低了它们的计算成本。然而,现有的作品要么遭受严重的性能下降,在超低精度的4或更低的位宽,或需要一个沉重的微调过程来恢复性能。据我们所知,这种低精度的脆弱性依赖于特征图值的两个统计观察。首先,特征图值的分布在每个通道和每个输入图像上显著变化。其次,特征图具有可以主导量化误差的离群值。基于这些观察,我们提出了一种新的分布感知量化方案(DAQ),它有助于在超低精度下精确的无训练量化。DAQ的一个简单功能以低计算负担确定特征映射和权重的动态范围。此外,我们的方法通过计算每个通道的相对灵敏度来实现混合精度量化,而不需要任何训练过程。尽管如此,量化感知训练也适用于辅助性能增益。我们的新方法优于最近的训练,甚至基于训练的量化方法,以最先进的图像超分辨率网络在超低精度。
2022-07-07 cs.CV eess.IV
Learning Frequency-aware Dynamic Network for Efficient Super-Resolution
School of Software, Tsinghua University(清华大学软件学院);The University of Sydney(悉尼大学)
基于深度学习的方法,特别是卷积神经网络(CNN),已经成功应用于单图像超分辨率(SISR)领域。为了获得更好的逼真度和视觉质量,大多数现有的网络都是繁重的设计和大量的计算。然而,现代移动设备的计算资源是有限的,这不能轻易地支持昂贵的成本。为此,本文探讨了一种新的频率感知的动态网络划分成多个部分的输入,根据其系数在离散余弦变换(DCT)域。在实践中,高频部分将使用昂贵的操作来处理,而低频部分被分配以廉价的操作来减轻计算负担。由于属于低频区域的像素或图像块包含相对较少的纹理细节,因此这种动态网络不会影响所产生的超分辨率图像的质量。此外,我们将预测器嵌入到所提出的动态网络中,以端到端微调手工制作的频率感知掩码。在基准SISR模型和数据集上进行的大量实验表明,频率感知动态网络可以用于各种SISR神经架构,以获得视觉质量和计算复杂度之间的更好权衡。例如,我们可以将SR模型的FLOP降低约50%,同时保持最先进的SISR性能。
2021-08-16 cs.CV eess.IV
Deep Neural Network for Fast and Accurate Single Image Super-Resolution via Channel-Attention-based Fusion of Orientation-aware Features
Zhejiang University(浙江大学);University of Twente(特文特大学)
最近,卷积神经网络(CNN)已被成功地用于解决不适定的单图像超分辨率(SISR)问题。提高基于CNN的SISR模型性能的常用策略是部署非常深的网络,这不可避免地会带来许多明显的缺点(例如,大量网络参数、繁重的计算负载和困难的模型训练)。在本文中,我们的目标是建立更准确,更快的SISR模型,通过开发性能更好的特征提取和融合技术。首先,我们提出了一种新的方位感知特征提取和融合模块(OAM),它包含1D和2D卷积核的混合(即,5 x 1、1 x 5和3 x 3),用于提取方位感知特征。其次,我们采用通道注意力机制作为一种有效的技术,自适应地融合在不同方向和分层堆叠卷积阶段提取的特征。基于这两个重要的改进,我们提出了一个紧凑但功能强大的基于CNN的模型,通过基于信道注意的融合方向感知功能(SISR-CA-OA)的高质量SISR。大量的实验结果验证了所提出的SISR-CA-OA模型的优越性,表现出良好的对国家的最先进的SISR模型在恢复精度和计算效率。源代码将公开提供。
2019-12-09 cs.CV eess.IV
Kernel-aware Burst Blind Super-Resolution
Uppsala University(乌普萨拉大学);Chengdu University of Information Technology(成都信息工程大学)
突发超分辨率(SR)技术提供了从低质量图像恢复丰富细节的可能性。然而,由于实际应用中的真实世界低分辨率(LR)图像具有多种复杂且未知的退化,现有的非盲(例如,双三次)设计的网络在恢复高分辨率(HR)图像时通常遭受严重的性能下降。在本文中,我们解决的问题,重建HR图像从原始突发序列从现代手持设备。该算法的核心思想是采用一种核引导的策略,通过核估计和高分辨率图像复原两个步骤来解决突发SR问题。前者从原始输入估计突发核,而后者基于估计的核预测超分辨率图像。此外,我们引入了金字塔内核感知的变形对齐模块,它可以有效地对齐的模糊先验的原始图像的考虑。在合成数据集和真实数据集上的大量实验表明,该方法在突发SR问题中具有良好的性能。我们的代码可在\url{https://github.com/shermanlian/KBNet}上获得。
2022-12-05 cs.AI cs.CV
Boosting Diffusion Guidance via Learning Degradation-Aware Models for Blind Super Resolution
本文提出DADiff,通过学习降质感知模型提升扩散引导,解决盲超分辨率中的降质核依赖问题,实现高保真结果。
2025-01-23 cs.CV eess.IV
Learning Trajectory-Aware Transformer for Video Super-Resolution
Xi’an Jiaotong University(西安交通大学);Microsoft Research Asia(微软亚洲研究院)
视频超分辨率(VSR)旨在从低分辨率(LR)帧中恢复高分辨率(HR)帧序列。虽然已经取得了一些进展,但在整个视频序列中有效地利用时间依赖性仍然存在巨大的挑战。现有的方法通常从有限的相邻帧(例如,5或7帧),这妨碍了这些方法获得令人满意的结果。在本文中,我们进一步实现了视频中的有效时空学习。提出了一种新的基于轨迹感知的视频超分辨率Transformer(TTVSR)。特别是,我们制定的视频帧到几个预先对齐的轨迹,其中包括连续的视觉令牌。对于查询令牌,自我注意力只沿着时空轨迹在相关视觉令牌上学习。与普通Vision Transformers相比,这种设计显著降低了计算成本,并使Transformers能够对长距离特征进行建模。我们进一步提出了一个跨尺度特征标记化模块,以克服在长距离视频中经常发生的尺度变化问题。实验结果表明,所提出的TTVSR国家的最先进的模型的优越性,通过广泛的定量和定性评价在四个广泛使用的视频超分辨率基准。代码和预训练模型都可以在https://github.com/researchmm/TTVSR下载。
2022-04-20 cs.CV eess.IV
Real-Time LiDAR Super-Resolution via Frequency-Aware Multi-Scale Fusion
Department of Civil, Environmental and Geomatic Engineering, University College London(土木、环境与地理工程系,伦敦大学学院)
本文提出FLASH框架,通过频率感知窗口注意力与自适应多尺度融合实现LiDAR实时超分辨率,在KITTI上以单次前向传播超越现有方法并支持实时部署。
2025-11-10 cs.AI cs.CV cs.RO
C$^3$PS: Context-aware Conditional Cross Pseudo Supervision for Semi-supervised Medical Image Segmentation
Shanghai Jiao Tong University(上海交通大学)
针对半监督医学图像分割,提出上下文感知条件交叉伪监督方法C$^3$PS,通过带类别条件的交叉伪监督结合上下文感知提升伪标签质量,训练后期可聚焦难分割器官,在两项任务上性能优于现有最优方法。
2023-06-14 cs.CV
FCL-COD: Weakly Supervised Camouflaged Object Detection with Frequency-aware and Contrastive Learning
Tsinghua University(清华大学);Soochow University(苏州大学)
提出频率感知低秩适应(FoRA)和梯度感知对比学习,解决弱监督伪装目标检测中非伪装响应、局部/极端响应及边界模糊问题,在三个基准上超越现有弱监督和部分全监督方法。
2026-07-02 cs.CV
ContextLocNet: Context-Aware Deep Network Models for Weakly Supervised Localization
Inria(法国国家信息与自动化研究所);ENS(巴黎高等师范学院);CNRS(法国国家科学研究中心)
我们的目标是只使用图像级监督来定位图像中的对象。以前的方法主要集中在区分对象区域,往往无法定位精确的对象边界。我们解决这个问题,通过引入两种类型的上下文感知的指导模型,添加剂和对比模型,利用其周围的上下文区域,以提高本地化。加性模型鼓励预测的对象区域由其周围的上下文区域支持。对比模型鼓励预测的对象区域从其周围的上下文区域突出。我们的方法受益于卷积神经网络最近在对象识别方面的成功,并将Fast R-CNN扩展到弱监督对象定位。对PASCAL VOC 2007和2012基准测试的广泛实验评估表明,我们的上下文感知方法显着提高了弱监督定位和检测。
2016-09-14 cs.CV
UCAD: Uncertainty-guided Contour-aware Displacement for semi-supervised medical image segmentation
University of Science and Technology of China(科学技术大学);Suzhou Institute for Advanced Research(苏州先进研究院);State Key Laboratory of Precision and Intelligent Chemistry(精密与智能化学国家重点实验室)
UCAD通过基于不确定性的轮廓感知位移框架,提升半监督医学图像分割的准确性和一致性学习效果。
2026-01-24 cs.CV
FA-GAN: Feature-Aware GAN for Text to Image Synthesis
Pohang University of Science and Technology(浦项科技大学)
文本到图像合成的目的是从给定的自然语言描述生成照片般逼真的图像。以前的工作在生成对抗网络(GANs)方面取得了重大进展。尽管如此,仍然很难生成完整的对象或清晰的纹理(图1)。为了解决这个问题,我们提出了一种基于特征感知的生成对抗网络(FA-GAN),通过集成两种技术来合成高质量的图像:自监督的自适应和特征感知的损失。首先,我们设计了一个具有辅助解码器的自监督编码器,以便编码器能够提取更好的表示。其次,我们引入了一个特征感知的损失,提供发电机更直接的监督,采用的特征表示从自我监督的神经网络。在MS-COCO数据集上的实验表明,我们提出的方法显着提高了最先进的FID分数从28.92到24.58。
2021-09-02 cs.CV
Frequency-Aware Self-Supervised Long-Tailed Learning
National Taiwan University(台湾大学);NVIDIA(英伟达)
针对无标签且呈长尾分布的真实数据,提出频率感知自监督学习方法FASSL,通过学习反映长尾分布的频率感知原型并特别关注稀有类样本,为下游分类任务产生判别性特征表示。
2023-09-15 cs.CV
Location-Aware Self-Supervised Transformers for Semantic Segmentation
Google Research(谷歌研究院)
像素级标签的获取成本特别高。因此,预训练是改进语义分割等任务模型的关键步骤。然而,用于预训练神经网络的突出算法使用图像级目标,例如图像分类、CLIP的图文对齐或自监督对比学习。这些目标不对空间信息进行建模,这可能在使用空间推理对下游任务进行微调时是次优的。在这项工作中,我们使用位置感知(LOCA)自监督方法预训练网络,该方法可以促进强密集特征的出现。具体来说,我们使用补丁级聚类方案来挖掘密集的伪标签和相对位置预测任务,以鼓励学习对象的部分及其空间排列。我们的实验表明,LOCA预训练导致的表示,竞争性地转移到具有挑战性和多样性的语义分割数据集。
2023-03-15 cs.CV
FGR: Frustum-Aware Geometric Reasoning for Weakly Supervised 3D Vehicle Detection
Tsinghua University(清华大学);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
在本文中,我们研究了弱监督的3D车辆检测问题。用于3D目标检测的常规方法需要大量的手动标记的3D数据作为监督信号。然而,注释大型数据集需要大量的人力,特别是对于3D区域。为了解决这个问题,我们提出了锥台感知几何推理(FGR)来检测点云中的车辆,而无需任何3D注释。我们的方法包括两个阶段:粗三维分割和三维限界框估计。在第一阶段,设计了一种上下文感知的自适应区域生长算法,基于二维包围盒分割对象。利用预测的分割掩模,我们开发了一种抗噪声方法来估计3D边界框在第二阶段。最后利用该方法生成的三维伪标签对三维检测器进行训练。独立于任何3D地面实况,FGR在KITTI数据集上达到了与完全监督方法相当的性能。研究结果表明,它能够准确地检测对象在三维空间中只有二维边界框和稀疏的点云。
2021-05-17 cs.CV
MetaSSP: Enhancing Semi-supervised Implicit 3D Reconstruction through Meta-adaptive EMA and SDF-aware Pseudo-label Evaluation
Doctoral Program in Empowerment Informatics(赋能信息学博士项目);University of Tsukuba(茨ukuba大学);Center for Computational Science(计算科学中心)
MetaSSP通过元适应性EMA和SDF-aware伪标签评估,提升半监督隐式3D重建的精度和效率,达到新的技术水平。
2026-02-05 cs.CV
Object-Aware Self-supervised Multi-Label Learning
Institute of Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);School of Electrical and Computer Engineering, National University of Singapore(新加坡国立大学电气与计算机工程学院)
图像数据上的多标签学习已经被广泛利用于深度学习模型。然而,在深度CNN模型上的监督训练通常无法发现足够的区分特征用于分类。因此,许多自我监督的方法被提出来学习更强大的图像表示。然而,大多数自监督方法都专注于单实例单标签数据,而对于具有多个对象的更复杂的图像则有所欠缺。因此,我们提出了一种对象感知的自我监督(OASS)方法,以获得更细粒度的表示多标签学习,动态生成辅助任务的基础上对象的位置。其次,可以利用OASS学习的鲁棒表示来以无提议的方式有效地生成类特定映射(CSI),以更好地引导多标签监督信号传输到实例。在VOC2012多标签分类数据集上进行的大量实验证明了该方法的有效性。
2022-07-13 cs.CV
Segmentation-Aware Hyperspectral Image Classification
HAVELSAN Inc.(哈维尔桑公司)
本文提出了一种统一的高光谱图像分类方法,该方法以三维高光谱数据立方体为输入,产生一个分类图。在所提出的方法中,深度神经网络,它使用光谱和空间信息与残差连接,和基于像素亲和网络的分割感知超像素一起使用。在该架构中,分割感知超像素在深度残差网络的初始分类图上运行,并对获得的结果应用多数投票。实验结果表明,我们提出的方法在两个基准数据集上产生了最先进的结果。此外,我们还表明,分割感知超像素有很大的贡献,在训练数据不足的情况下,高光谱图像分类方法的成功。
2019-05-22 cs.CV
Uncertainty-aware Self-ensembling Model for Semi-supervised 3D Left Atrium Segmentation
The Chinese University of Hong Kong(香港中文大学)
训练深度卷积神经网络通常需要大量的标记数据。然而,它是昂贵的和耗时的注释数据的医学图像分割任务。在本文中,我们提出了一种新的不确定性意识的半监督框架,从三维MR图像的左心房分割。我们的框架可以有效地利用未标记的数据,鼓励在不同的扰动下对相同的输入进行一致的预测。具体地,该框架由学生模型和教师模型组成,并且学生模型通过最小化关于教师模型的目标的分割损失和一致性损失来从教师模型学习。我们设计了一个新的不确定性感知方案,使学生模型逐渐学习有意义的和可靠的目标,利用不确定性信息。实验表明,我们的方法实现了高性能增益,通过合并未标记的数据。我们的方法优于最先进的半监督方法,证明了我们的框架具有挑战性的半监督问题的潜力。
2019-07-16 cs.CV
Semi-supervised Viewpoint Estimation with Geometry-aware Conditional Generation
University of Edinburgh(爱丁堡大学)
人们对开发可以从有限的监督中学习的计算机视觉方法越来越感兴趣。在本文中,我们考虑的问题,学习预测相机的观点,获得地面实况注释是昂贵的,需要特殊的设备,从有限数量的标记图像。我们提出了一种半监督的视点估计方法,可以学习从未标记的图像对中推断视点信息,其中两个图像的视点变化不同。特别是,我们的方法通过结合第一个图像的外观和第二个图像的视点来学习合成第二个图像。我们证明,我们的方法显着提高了监督技术,特别是在低标签制度,并优于最先进的半监督方法。
2021-04-02 cs.CV
ThreshGuide: Class-Aware Labeled-Guided Thresholding for Semi-Supervised 3D Abdominal Multi-Organ Segmentation
School of Intelligent Science and Technology, Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences(中国科学院大学杭州高等研究院智能科学与技术学院)
提出ThreshGuide类感知阈值自适应框架,利用标注数据指导半监督腹部多器官分割的伪标签选择,在FLARE2022和AMOS2022上提升难学习器官的分割性能。
2026-09-15 cs.CV
Global-Supervised Contrastive Loss and View-Aware-Based Post-Processing for Vehicle Re-Identification
Qiannan Normal University for Nationalities(黔南民族师范学院);Guizhou University(贵州大学);Peng Cheng Laboratory(鹏城实验室);Guangxi Normal University(广西师范大学)
在本文中,我们提出了一个全局监督对比损失和基于视图感知的后处理(VABPP)方法的车辆重新识别领域。传统的有监督对比损失算法计算的是批内特征间的距离,具有局部性。虽然提出的全局监督对比损失具有新的性质,具有良好的全局属性,但训练过程中每个锚点的正负特征来自整个训练集。本文提出的VABPP方法是第一次将基于视觉感知的方法作为后处理方法应用于车辆再识别领域。VABPP的优点是,首先,它只在测试过程中使用,不影响训练过程。其次,作为一种后处理方法,它可以很容易地集成到其他训练的re-id模型中。将训练好的模型计算出的视对距离缩放系数矩阵直接应用于另一个训练好的re-id模型,VABPP方法大大提高了其性能,验证了VABPP方法的可行性。
2022-04-17 cs.CV
BoxSeg: Quality-Aware and Peer-Assisted Learning for Box-supervised Instance Segmentation
HKUST(香港科技大学);DJI(大疆创新);Tencent(腾讯)
本文提出BoxSeg框架,通过质量感知模块和同伴辅助复制粘贴模块提升框监督实例分割中伪掩码质量,实验证明其优于现有方法且模块可迁移改进其他模型。
2025-04-07 cs.CV
Size Aware Cross-shape Scribble Supervision for Medical Image Segmentation
Imperial College London(帝国理工学院)
针对医学图像涂鸦监督中标注不一致及难适应多尺度目标的问题,提出跨形状标注、伪掩码及尺寸感知多分支三种方法,在多个息肉数据集上显著提升mDice并超越现有最先进方法。
2024-08-24 cs.CV
MOHO: Learning Single-view Hand-held Object Reconstruction with Multi-view Occlusion-Aware Supervision
Tsinghua University(清华大学);Technical University of Munich(慕尼黑工业大学);Google(谷歌)
提出MOHO框架,利用手-物视频的多视角遮挡感知监督进行单视角手持物体重建,通过合成预训练和现实微调解决手部与自身遮挡,显著优于3D监督方法。
2024-03-13 cs.CV
Uncertainty-Aware Deep Co-training for Semi-supervised Medical Image Segmentation
Northeastern University(东北大学);The University of Auckland(奥克兰大学)
半监督学习在医学领域取得了重大进展,因为它减轻了为语义分割任务收集大量逐像素注释数据的沉重负担。现有的半监督方法增强了从有限的标记数据中获取先验知识的能力,从未标记数据中提取特征。然而,由于标记数据的稀缺性,监督学习中模型提取的特征有限,并且对未标记数据的预测质量也无法保证。这两种情况都会影响训练的连贯性。为此,我们提出了一种新的不确定性感知方案,使模型有目的地学习区域。具体地说,我们采用蒙特卡罗抽样作为一种估计方法,以获得一个不确定性地图,它可以作为一个权重的损失,迫使模型集中在有价值的区域根据监督学习和无监督学习的特点。同时,在后向过程中,我们通过增强不同任务之间的梯度流,将无监督损失和监督损失结合起来,以加速网络的收敛。量化,我们进行了广泛的实验上三个具有挑战性的医疗数据集。实验结果表明,国家的最先进的同行理想的改进。
2021-12-02 cs.CV
Confidence-Aware Learning for Camouflaged Object Detection
ANU(澳大利亚国立大学)
信任感知学习被证明是防止网络过度自信的有效解决方案。我们提出了一个信任感知的伪装目标检测框架,使用动态监督,以产生准确的伪装图和有意义的“信心”表示模型对当前预测的认识。设计了一个伪装目标检测网络来产生我们的伪装预测。然后,将其与输入图像拼接,并将其输入到置信度估计网络,生成一个单通道置信度图,并对置信度估计网络生成动态监督,以表示伪装预测与地面真实伪装图的一致性。通过生成的置信图,我们引入了以置信图为指导的置信度感知学习,以更加关注损失函数中的硬/低置信度像素。我们声称,一旦经过训练,我们的置信度估计网络可以评估预测的像素准确性,而不依赖于地面真实伪装图。在四个伪装目标检测测试数据集上的大量结果表明,该模型在解释伪装预测方面具有优越的性能。
2021-06-22 cs.CV
Budget-aware Semi-Supervised Semantic and Instance Segmentation
Barcelona Supercomputing Center(巴塞罗那超级计算中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
转向较少监督场景的方法是图像分割的关键,因为密集标签需要大量的人为干预。一般来说,通过用较弱的监督形式标记数据集来减轻注释负担,例如图像级标签或边界框。另一种选择是半监督设置,通常利用一些强注释和大量未标记/弱标记数据。在本文中,我们重新审视了半监督分割方案,并与以前的方法相比显着缩小了注释预算(就训练集的总标记时间而言)。通过一个非常简单的管道,我们证明了在低注释预算下,半监督方法在语义和实例分割方面都远远优于弱监督方法。我们的方法也优于以前的半监督作品,大大降低了标签成本。我们提出了Pascal VOC基准测试的结果,并通过考虑总注释预算来统一弱监督和半监督方法,从而使方法之间的比较更加公平。
2019-05-23 cs.CV
HALS: A Height-Aware Lidar Super-Resolution Framework for Autonomous Driving
University of Stuttgart(斯图加特大学);Robert Bosch GmbH(罗伯特·博世有限公司)
激光雷达传感器价格昂贵,但对于理解自动驾驶中的3D环境至关重要。高分辨率传感器可以提供更多关于周围环境的细节,因为它们包含更多的垂直光束,但它们的成本要高得多,限制了它们在自动驾驶汽车中的应用。上采样激光雷达点云是一种很有前途的方法,可以在保持可承受成本的同时获得高分辨率的好处。虽然存在许多点云上采样框架,但仍然缺少使用统一指标在同一数据集上对这些作品进行一致的比较。在本文的第一部分中,我们建议在Kitti数据集上对现有方法进行基准测试。第二部分介绍了一种新的激光雷达上采样模型HALS:Height-Aware Lidar超分辨率。HALS利用激光雷达扫描显示高度感知范围分布的观察结果,并采用具有不同感受野的多个上采样分支的生成器架构。HALS回归极坐标而不是球坐标,并使用表面法线损失。大量的实验表明,HALS在3个真实世界的激光雷达数据集上实现了最先进的性能。
2022-12-07 cs.CV
Self-Supervised Monocular 3D Face Reconstruction by Occlusion-Aware Multi-view Geometry Consistency
Hong Kong University of Science and Technology(香港科技大学);Everest Innovation Technology(珠峰创新科技)
最近的基于学习的方法,其中模型由单视图图像训练,对于单目3D人脸重建显示出有希望的结果,但是它们遭受不适定的人脸姿势和深度模糊问题。与以前只执行2D特征约束的工作相比,我们提出了一个自我监督的训练架构,通过利用多视图几何一致性,它提供了可靠的面部姿态和深度估计的约束。我们首先提出一种遮挡感知的视图合成方法,将多视图几何一致性应用于自监督学习。然后设计了三种新的多视点一致性损失函数,包括像素一致性损失、深度一致性损失和基于人脸特征的核线损失。我们的方法是准确的和强大的,特别是在大的变化的表情,姿势和照明条件下。在人脸对齐和三维人脸重建基准上的综合实验表明,该方法优于现有的方法。我们的代码和模型发布在https://github.com/jiaxiangshang/MGCNet上。
2020-07-24 cs.CV
Nucleus-aware Self-supervised Pretraining Using Unpaired Image-to-image Translation for Histopathology Images
Beihang University(北京航空航天大学)
本文提出一种细胞核感知的自监督预训练框架,通过无配对图像到图像转换和实例分割引导策略捕获细胞核形态、分布及实例级信息,在多个分类、密集预测和半监督任务上优于监督及其他自监督方法。
2023-09-14 cs.CV
CaCL: Class-aware Codebook Learning for Weakly Supervised Segmentation on Diffuse Image Patterns
Vanderbilt University(范德堡大学);Vanderbilt University Medical Center(范德堡大学医学中心)
弱监督学习在生物医学图像分析中得到了快速发展,以从图像标注(分类)实现像素标签(分割),因为生物医学图像在许多情况下自然包含图像标签。来自计算机视觉界的当前弱监督学习算法主要是针对焦点对象(例如,狗和猫)。然而,这样的算法没有针对生物医学成像中的漫射图案(例如,染色和显微成像中的荧光)。在本文中,我们提出了一种新的类感知码本学习(CaCL)算法进行弱监督学习扩散图像模式。具体而言,CaCL算法被部署到从人类十二指肠的组织学图像中分割蛋白质表达的刷状缘区域。我们的贡献是三方面的:(1)我们从一个新的码本学习的角度来处理弱监督分割;(2)CaCL算法分割扩散图像模式,而不是焦点对象;(3)所提出的算法是在一个多任务框架的基础上实现的矢量量化-变分自编码器(VQ-VAE)通过联合图像重建,分类,特征嵌入,和分割。实验结果表明,我们的方法取得了优越的性能相比,基线弱监督算法。该代码可在https://github.com/ddrrnn123/CaCL上获得。
2022-04-13 cs.CV
Semantic-Aware Generation for Self-Supervised Visual Representation Learning
University of Chinese Academy of Science(中国科学院大学);Huawei Inc.(华为公司);Huazhong University of Science and Technology(华中科技大学);Shanghai Jiao Tong University(上海交通大学)
在本文中,我们提出了一种自监督的视觉表示学习方法,它涉及生成和判别代理,其中我们专注于前一部分,要求目标网络恢复原始图像的基础上的中层功能。不同于以往的工作,主要集中在原始图像和生成的图像之间的像素级的相似性,我们提倡语义感知生成(SaGe),以促进更丰富的语义,而不是细节被保留在生成的图像。实现SaGe的核心思想是使用一个评估器,一个没有标签的预训练深度网络,用于提取语义感知特征。SaGe通过特定于视图的特征补充目标网络,从而消除了密集的数据增强带来的语义退化。我们在ImageNet-1 K上执行SaGe,并在五个下游任务上评估预训练的模型,包括最近邻测试,线性分类和精细图像识别,展示了它学习更强视觉表示的能力。
2021-11-25 cs.CV
Distortion-Aware Self-Supervised 360° Depth Estimation from A Single Equirectangular Projection Image
The University of Tokyo(东京大学);National Institute of Informatics(国立信息学研究所)
360°图像在过去几年中广泛使用。提出了一种开放环境下单幅360°图像深度预测的新方法。从360°单个图像进行深度预测并不容易,原因有两个。一个是监督数据集的限制-目前可用的数据集仅限于室内场景。二是360°图像常用的等矩形投影格式(ERP)所带来的问题,即坐标和失真。现有的方法中只有一种是使用立方体映射投影来产生六个透视图像,并应用自监督学习来处理这些问题,该方法使用运动图像进行透视深度预测。与现有的方法不同,我们直接使用ERP格式。我们提出了一个框架,直接使用ERP与坐标转换的对应关系和失真意识的上采样模块来处理ERP相关的问题,并扩展了自监督学习方法的开放环境。在实验中,我们首先建立了一个评估数据集,并定量评估了室外场景中的深度预测。我们证明了它优于最先进的技术
2022-04-03 cs.CV
ROIFormer: Semantic-Aware Region of Interest Transformer for Efficient Self-Supervised Monocular Depth Estimation
OPPO
互惠互利的跨域的探索已经显示出巨大的潜力,以准确的自我监督深度估计。在这项工作中,我们重温深度和语义信息之间的特征融合,并提出了一个有效的局部自适应注意几何感知表示增强方法。我们没有在特征空间中建立全局连接或无约束地变形注意力,而是将空间交互绑定在可学习的感兴趣区域内。特别是,我们利用语义信息中的几何线索来学习局部自适应边界框,以指导无监督特征聚合。局部区域将大多数不相关的参考点排除在注意力空间之外,从而产生更多的选择性特征学习和更快的收敛。我们自然地扩展到一个多头和层次的方式,使信息蒸馏在不同的语义水平,提高细粒度的深度估计的特征判别能力的范式。在KITTI数据集上的大量实验表明,我们提出的方法建立了一个新的最先进的自监督单目深度估计任务,证明了我们的方法比以前的Transformer变体的有效性。
2023-03-06 cs.CV
A Point in the Right Direction: Vector Prediction for Spatially-aware Self-supervised Volumetric Representation Learning
University of Notre Dame(圣母大学);First Affiliated Hospital of Anhui Medical University(安徽医科大学第一附属医院)
密集3D医学成像任务的高注释成本和有限标签最近激发了各种3D自监督预训练方法,这些方法可以提高迁移学习性能。然而,这些方法通常缺乏空间意识,尽管它在实现有效的3D图像分析中处于中心地位。更具体地说,位置、比例和方向不仅提供信息,而且在生成用于训练的图像裁剪时自动可用。然而,到目前为止,还没有工作提出了一个借口任务,提取所有关键的空间特征。为了满足这一需求,我们开发了一种新的自监督方法VectorPOSE,它通过两个新的借口任务来促进更好的空间理解:矢量预测(VP)和边界聚焦重建(BFR)。VP侧重于全局空间概念(即,3D补丁的属性),而BFR解决了最近重建方法的弱点,以学习更有效的局部表示。我们在三个3D医学图像分割任务上评估了VectorPOSE,结果表明它通常优于最先进的方法,特别是在有限的注释设置中。
2022-11-15 cs.CV
Self-supervised Learning of Hybrid Part-aware 3D Representations of 2D Gaussians and Superquadrics
National University of Defense Technology(国防科技大学)
本文提出 PartGS 自监督框架,融合二维高斯与超二次曲面,将物体和场景分解为可解释的部件级混合表征,在 DTU、ShapeNet 及真实数据上取得优于现有方法的性能。
2025-07-19 cs.CV
Locality-aware Attention Network with Discriminative Dynamics Learning for Weakly Supervised Anomaly Detection
Communication University of China(中国传媒大学)
视频异常检测是一个弱监督下的多实例学习任务,每个视频被看作是一个片段包来判断是否包含异常。以前的努力主要集中在对片段本身的区分上,而没有对相邻片段的变化进行时间动态建模。因此,我们提出了一种具有两个目标函数的判别动力学学习(Discriminative Dynamics Learning,缩写为DNC)方法,即,动态排序损失和动态对准损失。前者旨在扩大积极和消极袋之间的分数动态差距,而后者执行袋内的特征动态和分数动态的时间对齐。此外,构建了一个局部感知注意力网络(LA-Net)来捕获全局相关性,并重新校准片段之间的位置偏好,然后使用具有因果卷积的多层感知器来获得异常分数。实验结果表明,我们的方法在两个具有挑战性的基准测试上取得了显着的改进,即,UCF-犯罪和XD-暴力
2022-08-11 cs.CV
Geometry-Aware 3D Salient Object Detection Network
Northwestern Polytechnical University(西北工业大学);Nanjing University of Science and Technology(南京理工大学)
针对点云显著目标检测中边界模糊问题,提出几何感知网络,通过超点划分与几何增强模块,在PCSOD数据集上取得最先进性能。
2025-02-23 cs.CV
Shape-aware Semi-supervised 3D Semantic Segmentation for Medical Images
ShanghaiTech University(上海科技大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海市智能视觉与成像工程技术研究中心)
半监督学习在医学图像分割中引起了广泛关注,因为获取逐像素图像注释是构建高性能深度学习方法的关键步骤。大多数现有的半监督分割方法要么倾向于忽略对象分割中的几何约束,导致不完整的对象覆盖,要么强加强形状先验,需要额外的对齐。在这项工作中,我们提出了一种新的shapeware半监督分割策略,利用丰富的未标记的数据,并强制执行分割输出的几何形状约束。为了实现这一目标,我们开发了一个多任务深度网络,该网络联合预测对象表面的语义分割和符号距离图(SDM)。在训练过程中,我们在标记数据和未标记数据的预测SDM之间引入对抗性损失,以便我们的网络能够更有效地捕获形状感知特征。在心房分割挑战数据集上的实验表明,我们的方法优于当前最先进的方法,改进了形状估计,这验证了其有效性。代码可在https://github.com/kleinzcy/SASSnet上获得。
2020-07-21 cs.CV
RADA: Region-Aware Dual-encoder Auxiliary learning for Barely-supervised Medical Image Segmentation
RADA提出一种区域感知双编码辅助学习框架,通过预训练Alpha-CLIP提取细粒度区域特征,结合图像和文本语义指导,实现高精度微监督医学图像分割。
2026-04-13 cs.CV
Anatomy-Aware Synthesis of Post-Contrast Breast MRI from Pre-Contrast Images
提出一种解剖感知的深度学习框架,通过整合乳腺掩膜、病灶和BPE区域监督,从增强前MRI合成增强后图像,在649名患者数据上优于现有方法,并支持无对比剂工作流程。
2026-09-24 cs.CV