Adaptive Densely Connected Super-Resolution Reconstruction
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；China Electronic Science and Technology Network Information Security Co., Ltd.（中国电子科技网络信息安全有限公司）
为了提高单幅图像的超分辨率性能，提出了一种基于自适应稠密连接的图像超分辨率算法。该算法分为两部分：BODY和SKIP。BODY通过自适应密集连接提高了卷积特征的利用率。此外，我们开发了一个自适应亚像素重建层（AFSL）来重建身体输出的功能。我们预先训练了SKIP，让BODY专注于高频特征学习。PSNR，SSIM和视觉效果的比较验证了我们的方法的优越性，最先进的算法。
2019-12-18 cs.CV eess.IV
Brain MRI Super Resolution Using 3D Deep Densely Connected Neural Networks
UCLA（加州大学洛杉矶分校）；Cedars-Sinai Medical Center（西达赛奈医疗中心）
高空间分辨率的磁共振成像（MRI）提供了详细的解剖信息，通常是精确定量分析所必需的。然而，高空间分辨率通常以较长的扫描时间、较小的空间覆盖和较低的信噪比（SNR）为代价。单图像超分辨率（SISR）是一种旨在从单个低分辨率（LR）输入图像恢复高分辨率（HR）细节的技术，最近深度学习的突破使其得到了显着改进。在本文中，我们介绍了一种新的神经网络架构，三维密集连接超分辨率网络（DCSRN）恢复结构脑MR图像的HR功能。通过对1,113个受试者的数据集进行实验，我们证明了我们的网络在恢复4倍分辨率降低的图像方面优于双三次插值和其他深度学习方法。
2018-01-08 cs.CV eess.IV
Densely Residual Laplacian Super-Resolution
CSIRO（联邦科学与工业研究组织）
超分辨率卷积神经网络最近展示了对单个图像的高质量恢复。然而，现有的算法通常需要非常深的架构和长的训练时间。此外，目前用于超分辨率的卷积神经网络无法在多个尺度上利用特征并对其进行同等加权，从而限制了它们的学习能力。在本文中，我们提出了一种紧凑而精确的超分辨率算法，即密集残差拉普拉斯网络（DRLN）。所提出的网络在残差结构上采用级联残差，以允许低频信息流专注于学习高级和中级特征。此外，通过密集连接的残差块设置实现深度监督，这也有助于从高级复杂特征中学习。此外，我们提出了拉普拉斯注意力模型的关键功能，学习之间和内部的依赖关系的特征映射。此外，全面的定量和定性评价低分辨率，噪声低分辨率，和真实的历史图像基准数据集表明，我们的DRLN算法表现出良好的视觉和准确的最先进的方法。
2019-07-01 cs.CV eess.IV
Improving the resolution of microscope by deconvolution after dense scan
超分辨率显微镜（如STED）用微小的光斑照射样品，并实现非常高的分辨率。但是，比斑点小的结构不能用这种方法分辨。因此，我们提出了一种技术来解决这个问题。它被称为“密集扫描后的去卷积（DDS）”。首先，引入预处理阶段以消除样品ROI（感兴趣区域）周围的外围区域的光学不确定性。然后，ROI与其外围区域一起被密集扫描。最后，通过反卷积恢复高分辨率图像。该技术不需要对仪器进行太多的修改，并且主要通过算法来执行。仿真实验表明，该技术可以进一步提高超分辨显微镜的分辨率。
2019-11-19 cs.CV cs.HC eess.IV
Resolution Enhancement Processing on Low Quality Images Using Swin Transformer Based on Interval Dense Connection Strategy
Tamkang University（淡江大学）
本研究提出基于区间密集连接策略的SwinOIR模型，通过提升模型特征重用性，在低计算资源下实现图像超分辨率和对象检测的高效处理。
2023-05-13 cs.CV
Unsupervised MRI Super-Resolution Using Deep External Learning and Guided Residual Dense Network with Multimodal Image Priors
Osaka Electro-Communication University（大阪电气通信大学）；Ritsumeikan University（立命馆大学）；Shiga University of Medical Science（滋贺医科大学）
深度学习技术已经为自然图像带来了最先进的图像超分辨率。通常，成对的高分辨率和低分辨率图像用于训练深度学习模型。这些技术也被应用于医学图像的超分辨率。医学图像的特征在几个方面与自然图像显著不同。首先，由于成像系统和临床要求的限制，在实际临床应用中难以获得用于训练的高分辨率图像。其次，其他模态高分辨率图像是可用的（例如，高分辨率T1加权图像可用于增强低分辨率T2加权图像）。在本文中，我们提出了一种无监督的图像超分辨率技术的基础上简单的先验知识的人体解剖。该技术不需要目标T2WI高分辨率图像进行训练。此外，我们还提出了一种引导的残差密集网络，它将残差密集网络与引导的深度卷积神经网络结合起来，通过参考同一主题的不同模态高分辨率图像来增强低分辨率图像的分辨率。在公开的脑MRI数据库上的实验表明，我们提出的方法比现有的方法具有更好的性能。
2022-10-13 cs.CV eess.IV
Pyramidal Dense Attention Networks for Lightweight Image Super-Resolution
Nanjing University of Science and Technology（南京理工大学）；Southeast University（东南大学）；Hong Kong University of Science and Technology（香港科技大学）
近年来，深度卷积神经网络方法在图像超分辨率（SR）方面取得了很好的效果，但由于存储器开销大，难以应用于嵌入式设备。为了解决这个问题，我们提出了一个金字塔密集注意力网络（PDAN）的轻量级图像超分辨率在本文中。在我们的方法中，所提出的金字塔密集学习可以逐渐增加金字塔密集块内部的密集连接层的宽度，以有效地提取深度特征。同时，引入自适应组卷积，组数随卷积层密度线性增长，以缓解参数爆炸。此外，我们还提出了一种新的联合注意力，以有效的方式捕获空间维度和通道维度之间的跨维度交互，以提供丰富的判别特征表示。大量的实验结果表明，我们的方法实现了优越的性能相比，最先进的轻量级SR方法。
2021-06-13 cs.CV eess.IV
Full-resolution MLPs Empower Medical Dense Prediction
School of Computer Science, The University of Sydney（悉尼大学计算机科学学院）；Institute of Translational Medicine, Shanghai Jiao Tong University（上海交通大学转化医学研究院）
提出全分辨率层次化MLP框架，从全图像分辨率开始使用MLP，在医学图像恢复、配准和分割等密集预测任务上超越CNN和Transformer，实现最先进性能。
2026-06-24 cs.CV eess.IV
A Novel Dual Dense Connection Network for Video Super-resolution
Communication University of China（中国传媒大学）
视频超分辨率（VSR）是指从相应的低分辨率（LR）视频重建高分辨率（HR）视频。近年来，振动时效越来越受到人们的关注。在本文中，我们提出了一种新的双稠密连接网络，可以产生高质量的超分辨率（SR）的结果。该方法将输入帧分为参考帧、时前组和时后组，分别代表不同时间段的信息。这种分组方法提供了不同时间段的准确信息，而不会造成时间信息混乱。同时，我们提出了一种新的损失函数，这有利于增强模型的收敛能力。在Vid 4数据集和SPMCS-11数据集上的实验表明，该模型的性能优于其他先进模型。
2022-03-05 cs.CV cs.LG eess.IV
Dense U-net for super-resolution with shuffle pooling layer
Jiangnan University（江南大学）
随着计算机视觉领域深度学习技术的发展，近年来单图像超分辨率研究取得了很大进展。在这些方法中，在特征提取之前，使用单个滤波器（通常为最大池化）将高分辨率输入图像缩小到低分辨率空间。这意味着特征提取是在有偏滤波的特征空间中执行的。我们证明，这是次优的，并导致信息丢失。在这项工作中，我们提出了一种最先进的卷积神经网络方法，称为具有洗牌池的密集U网。为了实现这一点，一个修改的U-网与密集块，称为密集U-网，提出了SISR。在此基础上，设计了一种新的池化策略--洗牌池化策略，以取代稠密U网进行下规模操作。通过这样做，我们有效地用专门为每个特征图训练的更多有损下采样滤波器替换了SISR管道中的手工滤波器，同时还减少了整个SISR操作的信息丢失。此外，提出了一种结合均方误差（MSE）、结构相似性指数（SSIM）和平均梯度误差（MGE）的混合损失函数，以减少感知损失和高层信息损失。我们所提出的方法实现了优越的准确性比以前的国家的最先进的三个基准数据集：SET 14，BSD 300，ICDAR 2003。代码可在线获取。
2021-01-09 cs.CV eess.IV
Dual Reconstruction with Densely Connected Residual Network for Single Image Super-Resolution
National Pingtung University of Science and Technology（国立屏东科技大学）；National Cheng Kung University（国立成功大学）
基于深度学习的单图像超分辨率可以实现非常快速和高视觉质量的重建。最近，基于生成对抗网络的增强超分辨率（ESRGAN）在重建的高分辨率图像的定性和定量质量方面都取得了优异的性能。在本文中，我们建议在两个密集块之间增加一个捷径，以及在密集块内部的两个卷积层之间增加捷径。通过在所提出的网络中添加更多捷径的简单策略，它可以实现更快的学习过程，因为梯度信息可以更容易地反向传播。在改进的ESRGAN的基础上，提出了双重重建来学习超分辨率图像的不同方面，以明智地提高重建图像的质量。在实践中，超分辨率模型仅基于像素距离进行预训练，然后基于对抗性损失和感知损失对模型中的参数进行微调。最后，我们将两个不同的模型通过加权求和的方法融合，得到最终的超分辨率模型。实验结果表明，该方法在现实世界的图像超分辨率的挑战取得了良好的性能。我们还验证了所提出的双重重建确实在PSNR和SSIM方面进一步提高了重建图像的质量。
2019-11-20 cs.CV eess.IV
Dense Deformation Network for High Resolution Tissue Cleared Image Registration
Queensland University of Technology（昆士兰科技大学）
最近深度学习在医学图像分析各个领域的应用带来了出色的性能提升。特别是，医学图像配准中基于深度学习的技术在配准时间和精度方面都优于传统的基于优化的配准算法。然而，在大多数图像配准框架中使用的基于U-网的架构将数据缩小，这去除了全局信息并影响变形。在本文中，我们提出了一个密集连接的卷积架构的变形图像配准。我们提出的密集网络只在一个阶段缩小数据，并有密集的连接，而不是在U-net架构中的跳跃连接。网络的训练是无监督的，不需要地面真实变形或任何合成变形作为标签。所提出的架构在两个不同版本的组织清除数据上进行训练和测试，分辨率为原始单细胞分辨率数据集的10%和25%。我们展示了与最先进的配准方法相当的配准性能，以及在准确性和更高的分辨率处理能力方面优于基于深度学习的VoxelMorph方法的性能。在这两种分辨率下，建议的DenseDeformation网络在配准精度方面优于VoxelMorph。重要的是，它可以在一分钟内记录大脑，而传统方法可能需要数小时才能达到25%的分辨率。
2019-09-06 cs.CV cs.LG eess.IV
Think Sparse, Predict Dense: Continuous Thought Machines for Image Super-Resolution
Xi’an Jiaotong University（西安交通大学）
研究针对图像超分辨率问题，提出窗口级连续思维机器（CTM）及DQ-CTM机制，将紧凑思维表示转换为密集查询，通过ThinkSR实例进行实验，结果显示PSNR等指标提升，证明稀疏潜在思维用于密集空间重建可行，推动相关架构发展。
2026-07-22 cs.CV eess.IV
Dense Dual-Attention Network for Light Field Image Super-Resolution
National University of Defense Technology（国防科技大学）
由于光场图像同时具有角度信息和空间信息，因此可以用来提高图像超分辨率。将来自LF图像SR的不同视图的独特信息合并是具有挑战性的。此外，随着网络深度的增加，来自先前层的长期信息会被削弱。在本文中，我们提出了一个密集的双注意力网络LF图像SR。具体来说，我们设计了一个视图注意力模块，以自适应地捕捉不同的视图和通道的注意力模块，选择性地集中在所有通道的信息。这两个模块被馈送到两个分支，并分别堆叠在一个链结构的自适应融合的层次特征和有效信息的蒸馏。同时，使用密集连接来充分利用多层次信息。大量的实验表明，我们的密集双注意机制可以捕获跨视图和通道的信息，以提高SR性能。比较结果表明，我们的方法比国家的最先进的方法在公共数据集上的优势。
2021-10-23 cs.CV eess.IV
Image Super-Resolution Using Attention Based DenseNet with Residual Deconvolution
Beijing Technology and Business University（北京工商大学）
图像的超分辨率是一个具有挑战性的课题，已经引起了研究和工业界越来越多的关注。在本文中，我们提出了一种新的端到端的基于注意力的DenseNet与残留反卷积命名为ADRD。在我们的ADRD中，一个加权的密集块，其中当前层接收加权功能从所有以前的水平，提出了捕捉有价值的功能依赖于密集层自适应。提出了一种新的空间注意模块，用于生成一组注意图，以强调信息区域。此外，我们设计了一种创新的策略，通过反卷积层对残差信息进行上采样，从而可以准确地对高频细节进行上采样。在公开数据集上进行的大量实验表明，所提出的ADRD在定量和定性方面都具有良好的性能。
2019-07-03 cs.CV cs.LG eess.IV
Ultra Sharp : Study of Single Image Super Resolution using Residual Dense Network
University of Massachusetts（马萨诸塞大学）
本文研究用于单图像超分辨率的残差密集网络，分析其核心RDB等模块、分层特征利用及损失指标，并与其他最先进模型比较以验证有效性。
2023-04-24 cs.CV eess.IV
MRI Super-Resolution with GAN and 3D Multi-Level DenseNet: Smaller, Faster, and Better
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Cedars-Sinai Medical Center（西达赛奈医疗中心）
高分辨率（HR）磁共振成像（MRI）提供了详细的解剖信息，这对于临床应用中的诊断至关重要。然而，HR MRI通常以长扫描时间、小空间覆盖和低信噪比（SNR）为代价。最近的研究表明，使用深度卷积神经网络（CNN），可以通过单图像超分辨率（SISR）方法从低分辨率（LR）输入中恢复HR通用图像。此外，先前的工作已经表明，深度3D CNN可以通过使用学习的图像先验来生成高质量的SR MRI。然而，具有深层结构的3D CNN具有大量参数并且计算昂贵。本文提出了一种新的三维CNN结构，即多层密集连接的超分辨率网络（mDCSRN），它具有轻量、快速和精确的特点。我们还表明，通过生成对抗网络（GAN）引导的训练，mDCSRN-GAN提供了具有丰富纹理细节的吸引人的清晰SR图像，这些纹理细节与参考的HR图像高度可比。我们在包含1，113名受试者的大型公共数据集上进行的实验结果表明，这种新架构在恢复4倍分辨率降级图像的质量和速度方面优于其他流行的深度学习方法。
2020-03-06 cs.CV eess.IV
USIM-DAL: Uncertainty-aware Statistical Image Modeling-based Dense Active Learning for Super-resolution
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文提出USIM-DAL框架，利用概率深度神经网络建模图像统计先验和异方差不确定性，以偶然不确定性作为误差代理进行主动学习，在自然图像、医学成像和遥感等多种密集回归任务中优于现有主动学习方法。
2023-05-27 cs.AI cs.CV
SREdgeNet: Edge Enhanced Single Image Super Resolution using Dense Edge Detection Network and Feature Merge Network
Ulsan National Institute of Science and Technology (UNIST)（蔚山国立科学技术院）
基于深度学习的单图像超分辨率（SR）方法在过去几年中得到了快速发展，并且与传统方法相比具有最先进的性能。由于这些方法通常最小化输出SR图像和地面实况图像之间的l1损失，因此它们产生与这些损失成反比的非常高的峰值信噪比（PSNR）。不幸的是，最小化这些损失不可避免地导致模糊的边缘，由于平均的合理的解决方案。最近，SRGAN被提出来通过最小化感知损失而不是l1损失来避免这种平均效应，并且它以降低PSNR为代价产生感知上更好的SR图像（或具有尖锐边缘的图像）。在本文中，我们提出了SREdgeNet，边缘增强的单图像SR网络，这是受传统SR理论的启发，使平均效应可以避免不改变损失，但通过改变SR网络的属性具有相同的l1损失。我们的SREdgeNet由3个连续的深度神经网络模块组成：第一个模块是任何最先进的SR网络，我们选择了EDSR的变体。第二个模块是任何边缘检测网络，将第一个SR模块的输出作为输入，我们为此模块提出了DenseEdgeNet。最后，第三个模块是合并第一和第二模块的输出，以产生边缘增强的SR图像，我们提出了MergeNet这个模块。质量，我们提出的方法产生了尖锐的边缘相比，其他国家的最先进的SR方法的图像。量化，我们的SREdgeNet在结构相似性（SSIM）方面产生了最先进的性能，同时保持了x8放大的可比PSNR。
2018-12-18 cs.CV
Multi-Modal Super Resolution for Dense Microscopic Particle Size Estimation
HyperWorks Imaging（超工作成像）
粒度分析（PSA）是许多行业中进行的重要过程，它可以显着影响最终产品的性能。用于此目的的普遍仪器是光学显微镜（OM）。然而，0M通常易于具有缺点，如低分辨率、小焦深和边缘特征由于衍射而被掩蔽。我们提出了一个强大的应用程序，将两个条件生成对抗网络（cGAN）相结合，使OM图像看起来像扫描电子显微镜（SEM）图像。我们进一步展示了使用自定义对象检测模块，该模块可以在密集和稀疏填充的图像上对超分辨颗粒进行有效的PSA。从超分辨图像获得的PSA结果已经针对人类注释者进行了基准测试，并且结果从相应的SEM图像获得。所提出的模型显示了一种可推广的多模态图像转换和超分辨率的方法，用于精确的颗粒尺寸估计。
2020-10-19 cs.CV cs.LG eess.IV
DFuseNet: Deep Fusion of RGB and Sparse Depth Information for Image Guided Dense Depth Completion
University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们提出了一个卷积神经网络，旨在上采样一系列稀疏的范围测量的基础上，从一个高分辨率的强度图像收集的上下文线索。我们的方法从超分辨率和in-painting的相关工作中汲取灵感。我们提出了一种新的架构，试图从强度图像和深度特征中单独提取上下文线索，然后在网络中将它们融合。我们认为，这种方法有效地利用了两种模式之间的关系，并产生准确的结果，同时尊重显着的图像结构。我们目前的实验结果表明，我们的方法是与最先进的方法相媲美，以及在多个数据集的推广。
2019-07-10 cs.CV
Multi-scale deep neural networks for real image super-resolution
Fudan University（复旦大学）
单图像超分辨率（SR）是非常困难的，如果图像对的放大因子是未知的，并且彼此不同，这是常见的在真实图像SR。为了解决这个困难，我们在这项工作中开发了两个多尺度深度神经网络（MsDNN）。首先，由于高分辨率空间的高计算复杂度，我们主要在两个不同的降尺度空间中处理输入图像，这可以大大降低GPU内存的使用。然后，为了重建图像的细节，我们设计了一个多尺度残差网络（MsRN）在降尺度空间的基础上的残差块。此外，我们提出了一个多尺度的密集网络的基础上的密集块与MsRN进行比较。最后，我们的实证实验表明，MsDNN的鲁棒性图像SR时，放大因子是未知的。根据NTIRE 2019图像SR挑战赛的初步结果，我们的团队（ZXHresearch@fudan）在所有参与者中排名第21位。MsDNN的实现发布于https://github.com/shangqigao/gsq-image-SR
2019-04-24 cs.CV
MDCN: Multi-scale Dense Cross Network for Image Super-Resolution
East China Normal University（华东师范大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
卷积神经网络已被证明是单图像超分辨率（SISR）的巨大好处。然而，以前的工作没有充分利用多尺度特征，忽略了不同上采样因子之间的尺度间相关性，导致性能次优。我们不是盲目地增加网络的深度，而是致力于挖掘图像特征并学习不同上采样因子之间的尺度间相关性。为了实现这一点，我们提出了一个多尺度密集交叉网络（MDCN），它实现了更少的参数和更少的执行时间的性能。MDCN由多尺度密集交叉块（MDCB）、层次特征提取块（HFDB）和动态重构块（DRB）组成。其中，MDCB旨在检测多尺度特征并最大限度地利用不同尺度下的图像特征流，HFDB专注于自适应地重新校准通道特征响应以实现特征蒸馏，DRB试图在单个模型中重建具有不同上采样因子的SR图像。值得注意的是，所有这些模块都可以独立运行。这意味着这些模块可以有选择地插入任何CNN模型，以提高模型性能。大量的实验表明，MDCN在SISR中取得了有竞争力的结果，特别是在多个上采样因子的重建任务中。代码将在https://github.com/MIVRC/MDCN-PyTorch上提供。
2020-08-30 cs.CV eess.IV
Learning from Irregularly Sampled Data for Endomicroscopy Super-resolution: A Comparative Study of Sparse and Dense Approaches
Wellcome / EPSRC Centre for Interventional and Surgical Sciences, University College London（伦敦大学学院威康/EPSRC介入与外科学中心）；University College London（伦敦大学学院）
目的：基于探针的共聚焦激光显微内镜（pCLE）能够通过探针进行光学活检，提供实时显微图像。pCLE探针由排列成束的多根光纤组成，这些光纤一起产生不规则采样模式的信号。当前的pCLE重建是基于使用朴素线性插值将不规则信号插值到过采样笛卡尔网格上。结果表明，卷积神经网络（CNN）可以提高pCLE图像质量。虽然经典的CNN被应用于pCLE，但与pCLE产生的不规则数据相比，输入数据仅限于重建图像。方法：我们比较pCLE重建和超分辨率（SR）方法不规则采样或重建的pCLE图像作为输入。我们还建议将Nadaraya-Watson（NW）内核回归嵌入到CNN框架中，作为新的可训练CNN层。使用NW层和基于样本的超分辨率，我们设计了一个NWNetSR架构，允许直接从不规则采样的输入数据重建高质量的pCLE图像。我们创建了合成稀疏pCLE图像来评估我们的方法。结果如下：通过基于以下指标的组合的图像质量评估来验证结果：峰值信噪比、结构相似性指数。结论：密集和稀疏CNN都优于目前临床上使用的重建方法。我们的研究的主要贡献是稀疏和密集的方法在pCLE图像重建的比较，实现可训练的广义NW核回归，并适应训练pCLE SR的合成数据。
2019-11-29 cs.CV eess.IV
MAANet: Multi-view Aware Attention Networks for Image Super-Resolution
Hong Kong Polytechnic University（香港理工大学）；Shanghai Jiao Tong University（上海交通大学）
近年来，基于深度卷积神经网络（DCNN）的图像超分辨率（SR）在多媒体和计算机视觉领域获得了越来越多的关注，其重点是从低分辨率（LR）图像恢复高分辨率（HR）图像。然而，基于DCNN的方法的一个不可忽视的缺陷是，它们中的大多数不能从具有低频信息冗余的低分辨率图像恢复包含足够高频信息的高分辨率图像。更糟糕的是，随着DCNN深度的增加，训练很容易遇到梯度消失的问题，这使得训练变得更加困难。这些问题阻碍了DCNN在图像SR任务中的有效性。为了解决这些问题，我们提出了多视图感知注意力网络（MAANet）的图像SR任务。具体来说，我们提出了本地意识（LA）和全球意识（GA）的注意力处理LR功能在不平等的方式，它可以突出的高频成分和区分每个功能从LR图像在本地和全球的意见，分别。此外，我们提出了本地注意剩余密集（LARD）块，它结合了LA注意与多个剩余和密集的连接，以适应更深但易于训练的架构。实验结果表明，我们提出的方法可以实现显着的性能相比，其他国家的最先进的方法。
2019-04-12 cs.CV
A residual dense vision transformer for medical image super-resolution with segmentation-based perceptual loss fine-tuning
University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）；Royal Brompton Hospital（皇家布朗普顿医院）
超分辨率在医学成像中起着至关重要的作用，因为它提供了一种替代方法来实现高空间分辨率和图像质量，而无需额外的采集成本。在过去的几十年里，深度神经网络的快速发展促进了超分辨率性能，具有新颖的网络架构，损失函数和评估指标。具体来说，Vision Transformers在广泛的计算机视觉任务中占主导地位，但在将其应用于低级医疗图像处理任务时仍然存在挑战。本文提出了一种有效的Vision Transformer与剩余密集连接和局部特征融合，以实现有效的单图像超分辨率（SISR）的医疗模式。此外，我们实现了一个通用的感知损失与手动控制图像质量的改善所需的方面，通过将医学图像分割的先验知识。在四个公共医学图像数据集上与现有方法进行比较，在七种模态中，该方法在六种模态下获得了最好的PSNR分数。该算法仅用SwinIR的38%的参数就能使PSNR平均提高$+0.09$ dB.另一方面，对于SOTA方法，包括CNN和Vision Transformers，基于分割的感知损失平均增加了$+0.14$ dB PSNR。此外，我们还进行了全面的消融研究，以讨论Vision Transformers优于CNN的潜在因素以及网络和损失功能组件的影响。代码将与论文一起发布在GitHub上。
2023-03-03 cs.CV cs.LG eess.IV
Real Image Super Resolution Via Heterogeneous Model Ensemble using GP-NAS
Baidu Research (USA)（百度研究院（美国））；Baidu Inc.（百度公司）
随着深度神经网络（DNN）的进步，最近的最先进（SOTA）图像超分辨率（SR）方法使用具有密集跳跃连接的深度残差网络取得了令人印象深刻的性能。虽然这些模型在基准数据集上表现良好，其中低分辨率（LR）图像是从具有已知模糊内核的高分辨率（HR）参考构建的，但当LR-HR对中的两个图像都是从真实相机收集时，真实图像SR更具挑战性。基于现有的密集残差网络，基于高斯过程的神经结构搜索（GP-NAS）计划被用来找到候选网络结构使用一个大的搜索空间，通过改变密集残差块的数量，块的大小和数量的功能。选择一组具有不同网络结构和超参数的异构模型进行模型集成，以在真实图像超分辨率中实现出色的性能。所提出的方法在AIM 2020真实图像超分辨率挑战赛的所有三个赛道中均获得第一名。
2021-01-22 cs.CV cs.LG eess.IV
Deep Networks for Image and Video Super-Resolution
IPCV Lab, Department of Electrical Engineering, Indian Institute of Technology Madras（印度理工学院马德拉斯分校电气工程系IPCV实验室）
卷积神经网络中间层的梯度传播效率对于超分辨率任务至关重要。为此，我们提出了一种用于单图像超分辨率（SISR）的深度架构，该架构使用我们称为混合密集连接块（MDCB）的高效卷积单元构建。MDCB的设计结合了剩余和密集连接策略的优点，同时克服了它们的局限性。为了实现对多个因子的超分辨率，我们提出了一个尺度递归框架，该框架重新利用为较低尺度因子学习的滤波器递归地用于较高的因子。这导致改进的性能，并促进更高因子的参数效率。我们训练我们的网络的两个版本，以提高互补的图像质量使用不同的损失配置。我们进一步将我们的网络用于视频超分辨率任务，在该任务中，我们的网络学习从多帧中聚合信息并保持时空一致性。所提出的网络导致定性和定量的改进，在国家的最先进的技术对图像和视频的超分辨率基准。
2022-01-28 cs.CV eess.IV
LCSCNet: Linear Compressing Based Skip-Connecting Network for Image Super-Resolution
Tsinghua University（清华大学）；University of Rochester（罗切斯特大学）；University College London（伦敦大学学院）
在本文中，我们开发了一个简洁而高效的网络架构称为线性压缩的跳过连接网络（LCSCNet）的图像超分辨率。与ResNet和DenseNet这两种具有代表性的跳跃连接网络结构相比，LCSCNet设计了一个线性压缩层，用于跳跃连接，连接以前的特征图，并将它们与新开发的特征图区分开来。这样，建议LCSCNet享有DenseNet的区别特征处理和ResNet的参数经济形式的优点。此外，为了更好地利用深度模型中各种感受野的低层次和高层次信息，受LSTM中门单元的启发，我们还提出了一种具有多监督训练的自适应元素融合策略。实验结果与现有算法的比较验证了LCSCNet的有效性。
2019-09-09 cs.CV eess.IV
Feature-based Recognition Framework for Super-resolution Images
在实际应用中，识别网络应用于超分辨率图像时，其性能往往会下降。在本文中，我们提出了一个基于特征的识别网络结合GAN（FGAN）。我们的网络通过从SR图像中提取更多有利于识别的特征来提高识别精度。在实验中，我们使用三种不同的超分辨率算法构建了三个数据集，与ReaNet50和DenseNet121相比，我们的网络将识别准确率提高了6%以上。
2021-12-04 cs.CV eess.IV
Joint Spatial and Angular Super-Resolution from a Single Image
Inha University（仁荷大学）
从单个图像合成密集采样的光场对于许多应用来说非常有益。此外，联合解决角度和空间超分辨率问题也为光场成像带来了新的可能性。传统的方法依赖于基于物理的渲染和二级网络来解决角度超分辨率问题。此外，基于像素的损失限制了网络全局推断场景几何形状的能力。在本文中，我们证明了这两个超分辨率问题可以通过提出一个不需要基于物理的方法的单一端到端深度神经网络来从单个图像中联合解决。提出了两种基于已知光场域知识的损失函数，使网络能够保持子孔径图像之间的空间-角度一致性。实验结果表明，该模型成功地合成了密集的高分辨率光场，它优于国家的最先进的方法在定量和定性标准。该方法可以推广到任意场景，而不是集中在一个特定的主题。合成光场可用于各种应用，例如深度估计和重新聚焦。
2020-06-27 cs.CV eess.IV
Efficient Single Image Super-Resolution Using Dual Path Connections with Multiple Scale Learning
Nanjing University（南京大学）
近年来，深度卷积神经网络已被证明对SISR有效。一方面，剩余连接和密集连接已经被广泛用于缓解前向信息和后向梯度流以提高性能。然而，当前的方法以次优的方式在大多数网络层中分别使用剩余连接和密集连接。另一方面，尽管已经设计了各种网络和方法来提高计算效率，节省参数，或者相互利用多个尺度因子的训练数据来提高性能，但是它们要么在HR空间中进行超分辨率以具有高计算成本，要么不能在不同尺度因子的模型之间共享参数以节省参数和推理时间。为了解决这些挑战，我们提出了一种高效的单图像超分辨率网络，使用双路径连接和多尺度学习，称为EMSRDPN。EMSRDPN在双路径网络的基础上引入了双路径连接，在大多数网络层中综合利用了剩余连接和密集连接。双路径连接的好处是既可以重用剩余连接的公共特征，又可以探索密集连接的新特征，从而学习SISR的良好表示。EMSRDPN利用多个尺度因子之间的特征相关性，共享LR空间中不同尺度因子之间的所有网络单元，学习共享特征，每个尺度因子只使用单独的重构单元，可以利用多个尺度因子的训练数据互相帮助，提高性能，同时可以节省参数，支持多个尺度因子的共享推理，提高效率。实验结果表明，EMSRDPN具有更好的性能和可比的，甚至更好的参数和推理效率SOTA方法。
2022-10-28 cs.CV cs.MM eess.IV
Efficient Light Field Reconstruction via Spatio-Angular Dense Network
Beijing Technology and Business University（北京工商大学）；University of Sydney（悉尼大学）
作为一种图像传感手段，光场图像可以提供比单目图像更多的角度信息，从而促进了广泛的测量应用。光场图像捕获设备通常遭受角度和空间分辨率之间的固有权衡。为了解决这个问题，已经提出了几种方法，如光场重建和光场超分辨率，但留下两个问题没有解决，即域不对称和有效的信息流。在本文中，我们提出了一个端到端的空间-角度密集网络（SADenseNet）的光场重建与两个新的组件，即相关块和空间-角度密集跳跃连接来解决它们。前者以符合域不对称性的方式对相关信息进行有效建模。后者由三种连接组成，增强了两个域中的信息流。已经在真实世界和合成数据集上进行了广泛的实验，以证明所提出的SADenseNet的最先进的性能，同时显着降低了内存和计算成本。定性结果表明，重建的光场图像清晰，细节正确，可以作为预处理，以提高相关测量应用的精度。
2021-08-08 cs.CV eess.IV
FAN: Frequency Aggregation Network for Real Image Super-resolution
University of Science and Technology of China（中国科学技术大学）
单图像超分辨率（SISR）的目标是从低分辨率（LR）输入图像恢复高分辨率（HR）图像。随着深度学习的发展，SISR取得了很大的进步。然而，如何恢复真实世界中具有复杂真实退化的LR图像仍然是一个挑战。因此，我们提出FAN，频率聚合网络，以解决现实世界的图像超分辨率问题。具体来说，我们提取LR图像的不同频率，并将它们分别传递到通道注意力分组残差密集网络（CA-GRDB），以输出相应的特征图。然后自适应地聚集这些剩余的稠密特征图，以恢复具有增强的细节和纹理的HR图像。我们进行了大量的实验，定量和定性地验证，我们的风扇表现良好的AIM 2020挑战的真实图像超分辨率任务。根据发布的最终结果，我们的团队SR-IM在X4赛道上获得了第四名，PSNR为31.1735，SSIM为0.8728。
2020-09-30 cs.CV cs.LG eess.IV
Dense 3D Point Cloud Reconstruction Using a Deep Pyramid Network
Video Analytics Lab, CDS, Indian Institute of Science, Bangalore（印度科学学院计算机与数据科学系视频分析实验室）
重建物体的高分辨率三维模型是计算机视觉中一项具有挑战性的任务。在解决这个问题时，设计可扩展的轻量级架构至关重要。现有的基于点云的重建方法在单个阶段中直接预测整个点云。虽然这种技术可以处理低分辨率的点云，但它不是生成密集的高分辨率输出的可行解决方案。在这项工作中，我们介绍了DensePCR，一个深金字塔网络的点云重建，分层预测点云的分辨率不断提高。为此，我们提出了一个架构，首先预测低分辨率的点云，然后分层增加的分辨率，通过聚合本地和全球点的功能变形网格。我们的方法生成的点云是准确的，均匀的和密集的。通过对合成和真实数据集进行广泛的定量和定性评估，我们证明了DensePCR优于现有的最先进的点云重建工作，同时还提供了一个轻量级和可扩展的架构来预测高分辨率输出。
2019-01-25 cs.CV
HRFormer: High-Resolution Transformer for Dense Prediction
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）；Baidu（百度）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）
我们提出了一个高分辨率的Transformer（HRFormer），学习高分辨率表示密集的预测任务，与原始的视觉Transformer，产生低分辨率的表示，并具有较高的内存和计算成本。我们利用高分辨率卷积网络（HRNet）中引入的多分辨率并行设计，以及在小的非重叠图像窗口上执行自注意的局部窗口自注意，以提高内存和计算效率。此外，我们将卷积引入到FFN中，以跨断开的图像窗口交换信息。我们证明了高分辨率Transformer在人体姿势估计和语义分割任务上的有效性，例如，HRFormer在COCO姿态估计方面优于Swin Transformer by $1.3$ AP，具有更少的参数和更少的FLOP，其中$50\%$和$30\%$更少。代码可在：https://github.com/HRNet/HRFormer.
2021-11-07 cs.CV
Neural Architecture Search for Image Super-Resolution Using Densely Constructed Search Space: DeCoNAS
Seoul National University（首尔大学）
深度卷积神经网络的最新进展在单图像超分辨率（SISR）和许多其他视觉任务中取得了巨大成功。通过深化网络和发展更复杂的网络结构，它们的业绩也在提高。然而，为给定的问题找到一个最优的结构是一项艰巨的任务，即使是人类专家。出于这个原因，神经架构搜索（NAS）的方法已经被引入，自动化的过程中构建的结构。本文将NAS扩展到超分辨率领域，提出了一种轻量级的密集连接网络DeCoNASNet。我们使用一个分层的搜索策略，以找到最好的连接与本地和全球的功能。在这个过程中，我们定义了一个基于复杂度的惩罚解决图像超分辨率，这可以被认为是一个多目标问题。实验表明，我们的DeCoNASNet优于最先进的轻量级超分辨率网络设计的手工方法和现有的基于NAS的设计。
2021-04-19 cs.CV
Fully Convolutional Networks for Dense Semantic Labelling of High-Resolution Aerial Imagery
Defence Science & Technology Group（国防科学技术集团）
高分辨率遥感图像的趋势促进了从土地使用分类向物体一级场景理解的过渡。而不是纯粹依赖于光谱内容，基于外观的图像特征发挥作用。在这项工作中，深度卷积神经网络（CNN）应用于高分辨率遥感数据的语义标记。全卷积网络（FCN）的最新进展适用于开销数据，并与其他领域一样有效。使用深度FCN推断全分辨率标记，无需下采样，从而无需反卷积或插值。为了更好地利用图像特征，预先训练的CNN在混合网络环境中对遥感数据进行微调，与从头开始训练的网络相比，结果更好。所提出的方法适用于高分辨率航空影像，精细的边界细节是很重要的标签的问题。密集的标签为ISPRS Vaihingen和波茨坦基准数据集提供了最先进的准确性。
2016-06-08 cs.CV
U-HRNet: Delving into Improving Semantic Representation of High Resolution Network for Dense Prediction
Baidu VIS（百度视觉技术部）
高分辨率和高级语义表示对于密集预测都至关重要。经验上，低分辨率特征图通常实现更强的语义表示，而高分辨率特征图通常可以更好地识别边缘等局部特征，但包含较弱的语义信息。现有的最先进的框架，如HRNet，保持低分辨率和高分辨率特征图并行，并在不同分辨率之间反复交换信息。但我们认为，最低分辨率的特征图往往包含最强的语义信息，需要经过更多的层才能与高分辨率的特征图融合，而对于高分辨率的特征图，每个卷积层的计算成本非常大，不需要经过这么多层。因此，我们设计了一个U形高分辨率网络（U-HRNet），它在具有最强语义表示的特征图之后添加了更多的阶段，并放松了HRNet中所有分辨率都需要并行计算的约束。更多的计算分配给低分辨率的特征图，这显着提高了整体的语义表示。U-HRNet是HRNet骨干的替代品，可以在完全相同的训练和推理设置下，在几乎不增加计算量的情况下，对多个语义分割和深度预测数据集进行显著改进。代码可在PaddleSeg上获得：https://github.com/PaddlePaddle/PaddleSeg。
2022-10-13 cs.CV
Detailed Dense Inference with Convolutional Neural Networks via Discrete Wavelet Transform
Technical University of Munich（慕尼黑工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
密集像素预测（如语义分割）是深度卷积神经网络（CNN）的最新挑战。许多最先进的方法要么解决由于编码器阶段的池化而导致的高分辨率信息的丢失，要么使用扩张卷积或高分辨率通道来维护详细的特征图和预测。受多分辨率小波分析和CNN的池化/去池化层之间的结构相似性的启发，我们将离散小波变换（DWT）引入到CNN编码器-解码器架构中，并提出了WCNN。高频小波系数在编码器处计算，其随后在解码器处用于通过逆DWT与粗分辨率特征图联合解池。DWT/iDWT进一步用于开发两个小波金字塔来捕获全局上下文，其中多分辨率DWT被应用于连续降低空间分辨率并增加感受野。使用Cityscape数据集进行实验，所提出的WCNN计算效率高，并且提高了高分辨率密集像素预测的准确性。
2018-08-06 cs.CV
ResFPN: Residual Skip Connections in Multi-Resolution Feature Pyramid Networks for Accurate Dense Pixel Matching
DFKI - German Research Center for Artificial Intelligence（德国人工智能研究中心）；Birla Institute of Technology and Science (BITS) Pilani（皮拉尼伯拉理工学院（BITS皮拉尼））；University of Applied Sciences Mannheim（曼海姆应用科学大学）；University of Kaiserslautern - TUK（凯泽斯劳滕大学（TUK））
密集像素匹配对于诸如视差、光流或场景流估计的许多计算机视觉算法是必需的。特征金字塔网络（FPN）已被证明是基于CNN的密集匹配任务的合适特征提取器。FPN在多个尺度上生成良好的本地化和语义强的特征。然而，由于其合理但有限的定位精度，通用FPN没有利用其全部潜力。因此，我们提出了ResFPN --一种具有多个残差跳过连接的多分辨率特征金字塔网络，在任何尺度下，我们都可以利用来自更高分辨率地图的信息来获得更强、更好的局部特征。在我们的消融研究中，我们证明了我们的新架构的有效性，其准确性明显高于FPN。此外，我们还在KITTI、Sintel和FlyingThings 3D等已建立的数据集上验证了ResFPN在许多不同像素匹配应用中的卓越精度。
2020-06-22 cs.CV
Dense-Resolution Network for Point Cloud Classification and Segmentation
Australian National University（澳大利亚国立大学）；Data61-CSIRO（联邦科学与工业研究组织Data61）
点云分析在机器人、增强现实、自动驾驶等领域有着广泛的应用前景，是人工智能研究的热点。然而，由于不规则性、无序性和稀疏性，它总是具有挑战性。在这篇文章中，我们提出了一种新的网络称为密集分辨率网络（DRNet）的点云分析。我们的DRNet旨在从不同分辨率的点云中学习局部点特征。为了更有效地学习局部点群，我们提出了一种新的局部邻域搜索分组方法和一个错误最小化模块捕获局部特征。除了在广泛使用的点云分割和分类基准上验证网络外，我们还测试和可视化组件的性能。与其他最先进的方法相比，我们的网络在ModelNet40，ShapeNet合成和ScanObjectNN真实点云数据集上显示出优越性。
2020-11-17 cs.CV
Dense v.s. Sparse: A Comparative Study of Sampling Analysis in Scene Classification of High-Resolution Remote Sensing Imagery
场景分类是高分辨率遥感影像解译的关键问题。许多最先进的方法，例如视觉词袋模型及其变体，主题模型以及基于深度学习的方法，共享类似的过程：补丁采样，特征描述/学习和分类。斑块采样是影响遥感结果的首要环节，也是关键环节。在文献中，已经使用了许多不同的采样策略，例如密集采样、随机采样、基于关键点的采样和基于显著性的采样等，但是，哪种采样策略适合于高分辨率遥感图像的场景分类仍然不清楚。本文以高分辨率遥感影像场景分类为背景，对比研究了不同采样策略的效果。我们将现有的采样方法分为两类：密集采样和稀疏采样，稀疏采样包括随机采样、基于关键点的采样以及最近提出的各种基于显著性的采样。为了比较它们的性能，我们依赖于一个标准的视觉词袋模型来构建我们的测试方案，由于它们的简单性，鲁棒性和效率。在两个常用数据集上的实验结果表明，密集采样具有最好的性能，但具有较高的空间和计算复杂性，随机采样比其他稀疏采样方法，如复杂的多尺度关键点算子和最近被深入研究和常用的基于显著性的方法，得到更好或相当的结果。
2015-07-31 cs.CV
MVDiffusion++: A Dense High-resolution Multi-view Diffusion Model for Single or Sparse-view 3D Object Reconstruction
Meta Reality Labs（元宇宙实验室）；Simon Fraser University（西蒙菲莎大学）
本文提出 MVDiffusion++，通过无位姿自注意力架构和视图丢弃策略，实现无需相机位姿的单图或稀疏视图稠密高分辨率三维重建，性能显著超越现有方法。
2024-04-30 cs.CV
Dense semantic labeling of sub-decimeter resolution images with convolutional neural networks
University of Zurich（苏黎世大学）
超高分辨率图像（<10 cm）中的语义标注（或像素级土地覆盖分类）需要能够从空间数据中学习高级概念的统计模型，具有较大的外观变化。卷积神经网络（CNN）通过有区别地学习抽象程度不断提高的表示层次来实现这一目标。在本文中，我们提出了一个基于CNN的系统依赖于下采样，然后上采样架构。具体来说，它首先通过卷积学习高级表示的粗略空间映射，然后通过去卷积学习将它们上采样回原始分辨率。通过这样做，CNN学会以图像的原始分辨率密集地标记每个像素。这导致许多优点，包括i）最先进的数值精度，ii）改进的预测几何精度和iii）推理时间的高效率。我们在Vaihingen和波茨坦分分米分辨率数据集上测试了所提出的系统，分别涉及9厘米和5厘米分辨率的航空图像的语义标记。这些数据集由许多大的和完全注释的图块组成，允许利用空间信息对模型进行无偏评估。我们这样做是通过比较两个标准的CNN架构的建议：标准补丁分类，预测局部标签补丁只采用卷积和完整的补丁标记采用反卷积。所有的系统都比得上或优于依赖于超像素和强大的外观描述符的最先进的基线。所提出的完整补丁标记CNN大大优于这些模型，也显示出非常吸引人的推理时间。
2016-10-10 cs.CV
Rethinking Diffusion Model-Based Video Super-Resolution: Leveraging Dense Guidance from Aligned Features
Beihang University（北京航空航天大学）；State Key Laboratory of Virtual Reality Technology and Systems（虚拟现实技术与系统国家重点实验室）
本文提出DGAF-VSR方法，通过优化对齐和补偿机制提升视频超分辨率的感知质量、保真度和时间一致性。
2026-03-27 cs.CV
EDCFlow: Exploring Temporally Dense Difference Maps for Event-based Optical Flow Estimation
Southeast University（东南大学）
EDCFlow提出利用时间密集差分图与代价体互补，通过注意力多尺度差分层和自适应融合，实现高分辨率、低复杂度的基于事件光流估计，并可作为RAFT类方法的即插即用细化模块。
2025-06-04 cs.CV
Efficient Large-scale Scene Representation with a Hybrid of High-resolution Grid and Plane Features
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
现有的用于大规模场景建模的神经辐射场（NeRF）方法需要使用多个GPU进行数天的训练，这阻碍了其在计算资源有限的场景中的应用。尽管已经提出了基于显式密集或散列网格特征的快速优化NeRF变体，但它们的有效性主要体现在对象尺度场景表示中。本文指出，显式表示中的低特征分辨率是大规模无界场景表示的瓶颈。为了解决这个问题，我们引入了一个新的和有效的混合特征表示NeRF融合的3D哈希网格和高分辨率的2D密集平面功能。与密集网格表示相比，密集2D平面的分辨率可以更有效地按比例增加。基于这种混合表示，我们提出了一种快速优化NeRF变体，称为GP-NeRF，它在保持紧凑模型大小的同时实现了更好的渲染效果。在多个大规模无界场景数据集上进行的大量实验表明，我们的模型可以使用单个GPU在1.5小时内收敛，同时达到与现有方法相当甚至更好的结果，现有方法需要大约一天的训练，需要8个GPU。
2023-03-07 cs.CV
Every Pixel Has its Moments: Ultra-High-Resolution Unpaired Image-to-Image Translation via Dense Normalization
National Taiwan University（台湾大学）；Amazon Web Services（亚马逊云科技）；aetherAI
本文提出密集归一化（DN）层，通过像素级统计矩估计和高效插值与并行策略，在超高分辨率非配对图像到图像转换中同时减少拼接伪影并保持局部颜色对比度，且无需超参数和重新训练。
2024-07-05 cs.CV
Vision Transformers for Dense Prediction
Intel Labs（英特尔实验室）
我们引入了密集视觉Transformer，这是一种利用视觉Transformer代替卷积网络作为密集预测任务骨干的架构。我们将来自视觉Transformer各个阶段的令牌组装成各种分辨率的图像表示，并使用卷积解码器将它们逐步组合成全分辨率预测。Transformer主干以恒定和相对较高的分辨率处理表示，并且在每个阶段都具有全局接收域。与全卷积网络相比，这些属性允许密集视觉Transformer提供更细粒度和更全局一致的预测。我们的实验表明，这种架构在密集预测任务上产生了实质性的改进，特别是当大量的训练数据可用时。对于单眼深度估计，与最先进的全卷积网络相比，我们观察到相对性能提高了28%。当应用于语义分割时，密集视觉Transformer以49.02%的mIoU在ADE 20 K上创下了新的技术水平。我们进一步表明，该架构可以在较小的数据集上进行微调，如NYUv2，KITTI和Pascal Context，它还设置了新的艺术状态。我们的模型可在https://github.com/intel-isl/DPT上获得。
2021-03-24 cs.CV
Self-Parameterization Based Multi-Resolution Mesh Convolution Networks
Nanyang Technological University（南洋理工大学）；HP Labs（惠普实验室）
本文提出基于自参数化的多分辨率网格卷积网络，通过构建多分辨率网格金字塔并保持高分辨率表示，实现跨并行子网的多尺度信息融合，有效提升了3D网格密集预测的准确性。
2024-08-25 cs.CV
Medical image super-resolution method based on dense blended attention network
Wuhan University of Technology（武汉理工大学）；Ningbo First Hospital（宁波市第一医院）；The First People’s Hospital of Tianmen（天门市第一人民医院）；Wuhan Institute of Physics and Mathematics, Chinese Academy of Sciences（中国科学院武汉物理与数学研究所）
针对医学图像超分辨率重建过程中由于高频细节缺失而导致图像严重模糊的问题，提出了一种基于稠密神经网络和混合注意力机制的医学图像超分辨率重建方法。该方法在稠密神经网络（DenseNet）中加入混合注意力块，使神经网络能够将更多的注意力集中到具有足够高频细节的区域和通道上。移除批量归一化层以避免丢失高频纹理细节。最终获得的高分辨率医学图像是使用网络末端的解卷积层作为上采样算子获得的。实验结果表明，与主流图像超分辨率方法相比，该方法在峰值信噪比（PSNR）指标和结构相似性指数（SSIM）指标上分别提高了0.05 dB ~ 11.25 dB和0.6%~ 14.04%.该工作为医学图像超分辨率重建的理论研究提供了新的思路。
2019-05-13 cs.CV physics.med-ph
InvPT: Inverted Pyramid Multi-task Transformer for Dense Scene Understanding
HKUST（香港科技大学）
多任务密集场景理解是一个蓬勃发展的研究领域，需要同时感知和推理的一系列相关的任务与像素明智的预测。由于大量使用卷积运算，大多数现有的作品在局部建模时遇到了严重的限制，而在全局空间位置和多任务环境中学习交互和推理对于这个问题至关重要。在本文中，我们提出了一种新的端到端的倒金字塔多任务Transformer（InvPT），在一个统一的框架中执行空间位置和多个任务的同时建模。据我们所知，这是第一个工作，探索设计一个Transformer结构的多任务密集预测场景理解。此外，广泛证明了更高的空间分辨率对于密集预测是非常有益的，而由于大空间尺寸的巨大复杂性，现有Transformers以更高的分辨率进行更深的处理是非常具有挑战性的。InvPT提出了一个高效的UP-Transformer模块，用于以逐渐增加的分辨率学习多任务特征交互，该模块还结合了有效的自注意力消息传递和多尺度特征聚合，以高分辨率生成特定于任务的预测。我们的方法分别在NYUD-v2和PASCAL-Context数据集上实现了卓越的多任务性能，并且显著优于以前的最先进技术。代码可在https://github.com/prismformore/InvPT上获得
2022-11-07 cs.CV
Single Image Super-resolution via Dense Blended Attention Generative Adversarial Network for Clinical Diagnosis
在训练阶段，更多的连接（例如DenseNet最后一层的通道级联）意味着占用更多的GPU内存和更低的GPU利用率，需要更多的训练时间。训练时间的增加也不利于SR算法的推广应用。这就是为什么我们放弃了DenseNet作为基本网络。但是，由于本文仅适用于医学图像，因此我们放弃了本文。请在arXiv：1911.03464查看我们应用于一般图像的最新工作。
2020-02-24 cs.CV eess.IV
