Sparse Coding on Cascaded Residuals
Australian National University（澳大利亚国立大学）；Data61/CSIRO（Data61/联邦科学与工业研究组织）
本文试图结合字典学习和分层图像表示的原则。为了使字典原子从扩展的感受野中捕获额外的信息，并获得更好的描述能力，我们提出了一个用于字典学习和稀疏编码的两遍多分辨率级联框架。级联允许使用相同维度的字典原子以不同分辨率进行协作重建。我们共同学习的字典包括适应粗层可用信息的原子，其中原子的支持达到其最大范围，以及补充细节逐渐细化重建目标的残留图像。通过先前层的聚合重建与该层的下采样原始图像之间的差异来计算层处的残差。我们的方法使用更少的系数生成更灵活和准确的表示。它的计算效率源于编码的粗分辨率，这是微不足道的，和编码的残差，这是相对稀疏。我们在多个数据集上进行的大量实验表明，这种新方法在图像编码、去噪、修复和伪影去除任务中的功能强大，优于最先进的技术。
2019-11-07 cs.CV cs.LG eess.IV
Cascaded Pyramid Network for 3D Human Pose Estimation Challenge
SK T-Brain
在过去的十年中，人们对人体姿态估计的兴趣越来越大。虽然在二维姿态估计方面已经做了大量的工作，但三维姿态估计的研究相对较少，本文提出了一种基于上下两阶段的三维姿态估计框架。在我们的2D姿态估计过程中，GloabalNet和RefineNet使我们能够找到被遮挡或不可见的2D关节，而由残留块组成的2D到3D姿态估计器用于有效地将2D关节提升到3D关节。所提出的方法在ECCV 2018 PoseTrack Challenge中的“3D人体姿势估计”验证数据集上实现了有希望的结果，平均每个关节位置误差为42.39。'
2018-10-03 cs.CV
Single Image Super-Resolution via Cascaded Multi-Scale Cross Network
Xidian University（西安电子科技大学）；Xiamen University（厦门大学）
深度卷积神经网络在单个图像超分辨率的准确性和速度方面取得了显着提高。然而，随着网络深度的增长，信息流被削弱，训练变得越来越难。另一方面，大多数模型采用单流结构，难以整合不同感受野下的互补上下文信息。为了改善信息流和捕获足够的知识来重构高频细节，我们提出了一种级联多尺度交叉网络（CMSC），其中一系列子网络被级联以粗到细的方式推断高分辨率特征。在每个级联子网络中，我们堆叠多个多尺度交叉（MSC）模块，以有效的方式融合互补的多尺度信息，以及改善跨层的信息流。同时，通过在每个阶段引入残差特征学习，充分利用高分辨率和低分辨率特征之间的相关信息，进一步提高重建性能。我们训练建议的网络级联监督，然后组装级联的中间预测，以实现高质量的图像重建。在基准数据集上进行的大量定量和定性评估表明，我们提出的方法优于最先进的超分辨率方法。
2018-02-24 cs.CV
Visually Guided Sound Source Separation using Cascaded Opponent Filter Network
Tampere University（坦佩雷大学）
本文的目的是恢复原始分量信号的混合音频与声源的视觉线索的帮助下。这样的任务通常被称为视觉引导的声音声源分离。提出的级联对手过滤器（COF）框架由多个阶段组成，这些阶段递归地细化声源分离。COF中的一个关键元素是一个新的对手过滤器模块，识别和重新定位源之间的残留成分。该系统是由源的外观和运动，并为此目的，我们研究了不同的表示基于视频帧，光流，动态图像，以及它们的组合。最后，我们提出了一种声源位置掩蔽（SSLM）技术，它与COF一起产生源位置的像素级掩模。整个系统使用大量未标记的视频进行端到端训练。我们将COF与最近的基线进行比较，并在三个具有挑战性的数据集（MUSIC，A-MUSIC和A-NATURAL）中获得最先进的性能。项目页面：https://ly-zhu.github.io/cof-net。
2020-07-14 cs.CV
Single Image Reflection Removal through Cascaded Refinement
Huazhong University of Science and Technology（华中科技大学）；Microsoft Research Asia（微软亚洲研究院）；Cornell University（康奈尔大学）
我们解决了从通过玻璃表面捕获的单个图像中去除不期望的反射的问题，这是一个不适定的，具有挑战性的，但实际上是重要的照片增强问题。受社交网络中隐藏社区发现的迭代结构简化的启发，我们提出了一种迭代Boost卷积LSTM网络（IBCLN），它可以实现级联预测以消除反射。IBCLN是一个级联网络，它以一种可以提高预测质量的方式迭代地细化透射层和反射层的估计，并且使用LSTM传输级联步骤中的信息。直觉告诉我们，传递是强有力的、占主导地位的结构，而反射是弱有力的、隐藏的结构。它们在单个图像中彼此互补，因此在一侧上从原始图像更好地估计和减少导致在另一侧上更准确的估计。为了便于多个级联步骤的训练，我们使用LSTM来解决消失梯度问题，并提出残余重建损失作为进一步的训练指导。此外，我们创建了一个具有反射和地面实况传输层的真实图像数据集，以缓解数据不足的问题。综合实验结果表明，与现有的反射去除方法相比，该方法能有效去除真实图像和合成图像中的反射。
2020-04-05 cs.CV
CasDyF-Net: Image Dehazing via Cascaded Dynamic Filters
School of Computing and Artificial Intelligence（计算机与人工智能学院）；Southwest Jiaotong University（西南交通大学）
针对现有图像去雾方法多分支策略未按输入特征分布动态划分的问题，提出基于级联动态滤波器的CasDyF-Net，结合残差多尺度块与动态卷积局部融合，在多个数据集上取得优异去雾效果。
2024-09-13 cs.CV
Category-Level 6D Object Pose Estimation via Cascaded Relation and Recurrent Reconstruction Networks
The Chinese University of Hong Kong（香港中文大学）；T Stone Robotics Institute, The Chinese University of Hong Kong（香港中文大学T Stone机器人研究所）
类别级6D位姿估计，旨在预测不可见对象实例的位置和方向，是机器人操作和增强现实等许多场景的基础，但仍然没有解决。在标准空间中精确恢复实例3D模型并将其与观测值精确匹配是估计未见过物体的6D姿态时的关键点。在本文中，我们实现了准确的类别级的6D姿态估计通过级联关系和递归重建网络。具体而言，一种新的级联关系网络专用于高级表示学习，探索实例RGB图像，实例点云和类别形状先验之间的复杂和信息的关系。此外，我们设计了一个递归重建网络的迭代残差细化逐步提高重建和对应估计从粗到细。最后，利用实例点云与规范空间中的重建3D模型之间的估计的密集对应关系来获得实例6D姿态。我们对类别级6D姿态估计的两个公认基准进行了广泛的实验，与现有方法相比，性能有显着提高。在$3D_{75}$和$5^{\circ}2 cm$代表性的严格评估指标上，我们的方法超过了CAMERA25数据集上的$4.9\%$和$17.7\%$以及REAL275数据集上的$2.7\%$和$8.5\%$的最新技术水平SPD。代码可在https://wangjiaze.cn/projects/6DPoseEstimation.html上获得。
2021-08-19 cs.CV
Automatic Brain Tumor Segmentation using Cascaded Anisotropic Convolutional Neural Networks
University College London（伦敦大学学院）
提出了一种全卷积神经网络级联算法，用于脑肿瘤多模态磁共振图像的分割，将图像分割为背景区域、肿瘤整体区域、肿瘤中心区域和增强区域。级联的目的是将多类分割问题分解成一系列的三个二进制分割问题，根据子区域的层次结构。在第一步中分割整个肿瘤，并且在第二步中将结果的限界框用于肿瘤核心分割。然后基于肿瘤核心分割结果的限界框分割增强的肿瘤核心。我们的网络由多层各向异性和膨胀卷积滤波器组成，它们与多视图融合相结合，以减少误报。在这些网络中采用残差连接和多尺度预测来提高分割性能。在BraTS 2017验证集上的实验表明，该方法对增强肿瘤核心、整个肿瘤和肿瘤核心的平均Dice分数分别为0.7859、0.9050、0.8378。BraTS 2017测试集的相应值分别为0.7831、0.8739和0.7748。
2017-12-15 cs.CV
Semantic Labeling in Very High Resolution Images via a Self-Cascaded Convolutional Neural Network
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
城市超高分辨率遥感图像的语义标注在遥感应用中具有重要意义。然而，许多令人困惑的人造物体和复杂的精细结构的对象，这使得它非常难以获得一致和准确的标记结果。对于这个具有挑战性的任务，我们提出了一种新的具有卷积神经网络（CNN）的深度模型，即，端到端自级联网络（ScasNet）。具体来说，对于令人困惑的人造对象，ScasNet通过顺序的全局到局部上下文聚合来提高标签的一致性。从技术上讲，在CNN编码器的输出上捕获多尺度上下文，然后以自级联方式连续聚合它们。同时，对于精细结构的对象，ScasNet通过由粗到细的细化策略提高了标记精度。它使用CNN的浅层学习的低级特征逐步细化目标对象。此外，为了校正ScasNet内部多特征融合引起的潜在拟合残差，提出了一种专用的残差校正方案。它大大提高了ScasNet的有效性。在三个公共数据集上的广泛实验结果，包括两个具有挑战性的基准测试，表明ScasNet达到了最先进的性能。
2018-07-30 cs.AI cs.CV cs.LG
Residual-Guide Feature Fusion Network for Single Image Deraining
Xiamen University（厦门大学）
单图像雨条纹去除是非常重要的，因为雨天图像不利地影响许多计算机视觉系统。基于深度学习的方法在图像去重任务中取得了巨大成功。在本文中，我们提出了一种新的残差引导特征融合网络，称为ResGuideNet，用于单个图像的deraining，逐步预测高质量的重建。具体来说，我们提出了一个级联网络，并采用从浅块产生的残差来指导更深的块。通过使用这种策略，我们可以随着块的深入而获得由粗到细的负残差估计。不同块的输出被合并到最终重构中。我们采用递归卷积来构建每个块，并对所有中间结果进行监督，这使我们的模型能够在合成和真实数据上实现有希望的性能，同时使用比以前所需的更少的参数。ResGuideNet是可拆卸的，以满足不同的雨天条件。对于在测试时具有小雨条纹和有限计算资源的图像，即使使用几个构建块，我们也可以获得不错的性能。实验证明，ResGuideNet可以有益于其他低层次和高层次的视觉任务。
2018-04-20 cs.CV
Improving Anytime Prediction with Parallel Cascaded Networks and a Temporal-Difference Loss
Google Research, Brain Team（谷歌研究，大脑团队）；University of Colorado（科罗拉多大学）
虽然深度前馈神经网络与灵长类视觉系统有一些共同的特征，但它们的一个关键区别是它们的动态。深度网络通常在串行阶段中操作，其中每个层在后续层中开始处理之前完成其计算。相比之下，生物系统具有级联动力学：信息从所有层的神经元并行传播，但传输随着时间的推移逐渐发生，即使在前馈架构中也会导致速度-精度权衡。我们通过构建级联ResNet来探索生物启发并行硬件的后果，其中每个残差块都有传播延迟，但所有块都以有状态的方式并行更新。由于通过跳过连接传输的信息避免了延迟，因此架构的功能深度会随着时间的推移而增加，从而产生随内部处理时间而改进的随时预测。我们引入了一种时间差训练损失，它实现了严格优于标准损失的速度-精度曲线，并使级联架构能够超越最先进的任何时间预测方法。级联架构具有有趣的特性，包括：它比非典型实例更快地对典型实例进行分类;它比传统的ResNet对持久和瞬态噪声更鲁棒;其随时间变化的输出轨迹提供了一个可用于改善信息处理和推理的信号。
2021-11-02 cs.CV cs.LG
EdgeStereo: A Context Integrated Residual Pyramid Network for Stereo Matching
Shanghai Jiao Tong University（上海交通大学）
最近的卷积神经网络，特别是端到端视差估计模型，在立体匹配任务中取得了显着的性能。然而，现有的方法，即使是复杂的级联结构，可能会失败的非纹理区域，边界和微小的细节。针对这些问题，本文提出了一种多任务网络EdgeStereo，它由主干视差网络和边缘子网络组成。给定一个双目图像对，我们的模型可以实现视差图和边缘图的端到端预测。基本上，我们设计了一个上下文金字塔来编码视差分支中的多尺度上下文信息，然后是一个紧凑的残差金字塔用于级联细化。为了进一步保留微妙的细节，我们的EdgeStereo模型通过特征嵌入和边缘感知平滑损失正则化来集成边缘线索。对比结果表明，在统一的模型中，立体匹配和边缘检测可以互相帮助。此外，我们的方法在KITTI Stereo和Scene Flow基准测试中都达到了最先进的性能，这证明了我们设计的有效性。
2018-09-23 cs.CV
Whole-body tumor segmentation of 18F -FDG PET/CT using a cascaded and ensembled convolutional neural networks
Subtle Medical（深睿医疗）
背景资料：定量PET/CT分析的关键初始处理步骤是肿瘤病变的分割，从而实现准确的特征提取、肿瘤表征、肿瘤分期和基于图像的治疗反应评估。然而，手动病变分割与巨大的努力和成本相关联，因此在临床常规中是不可行的。目标：本研究的目的是报告深度神经网络的性能，该网络旨在自动分割AutoPET挑战背景下全身18F-FDG PET/CT图像中疑似癌症的区域。方法：开发了一种级联方法，其中3D UNET CNN的堆叠集合以固定的6 mm分辨率处理PET/CT图像。由残余层组成的细化网络将6 mm分割掩模增强到原始分辨率。结果：930例患者进行训练。50%是组织学证实的癌症患者，50%是健康对照。我们在84个分层测试用例上获得了骰子=0.68。手动和自动测量的代谢肿瘤体积（MTV）高度相关（R2 = 0.969，Slope = 0.947）。平均推理时间为89.7秒。结论：该算法能准确地分割出全身18F-FDG PET/CT图像中的可疑肿瘤区域。
2022-10-14 cs.CV cs.LG eess.IV
A Multi-task Contextual Atrous Residual Network for Brain Tumor Detection & Segmentation
University of Arkansas（阿肯色大学）；Concordia University（康考迪亚大学）；Carnegie Mellon University（卡内基梅隆大学）
近年来，深度神经网络在医学成像中的各种识别和分割任务（包括脑肿瘤分割）中取得了最先进的性能。我们研究了脑肿瘤分割面临的数据不平衡问题，即属于背景类的像素（非肿瘤像素）的数量远远大于属于前景类的像素（肿瘤像素）的数量。为了解决这个问题，我们提出了一个多任务网络，形成了一个级联结构。我们的模型包括两个目标，即，(i)有效地区分脑肿瘤区域和（ii）估计脑肿瘤掩模。第一个目标是通过我们提出的上下文脑肿瘤检测网络来执行的，该网络起着注意力门的作用，只关注脑肿瘤周围的区域，而忽略与肿瘤相关性较低的远邻背景。第二个目标是建立在3D atrous残差网络和编码-解码网络下，以便有效地分割大小物体（脑肿瘤）。我们的3D atrous残差网络设计有一个跳跃连接，使梯度从深层直接传播到浅层，因此，不同深度的特征被保留并用于相互细化。为了从体积MRI数据中整合更大的上下文信息，我们的网络利用了具有各种内核大小的3D atrous卷积，这扩大了滤波器的感受野。我们提出的网络已经在各种数据集上进行了评估，包括BRATS 2015，BRATS 2017和BRATS 2018数据集，包括验证集和测试集。我们的表现已通过基于区域的指标和基于表面的指标进行基准测试。我们还对最先进的方法进行了比较。
2020-12-03 cs.CV
Robust Deep Compressive Sensing with Recurrent-Residual Structural Constraints
Duke University（杜克大学）；Amazon（亚马逊）
现有的深度压缩感知（CS）方法要么忽略自适应在线优化，要么在重建过程中依赖代价高昂的迭代优化器。本文提出了一种新的具有递归-剩余结构约束的图像CS框架R $^2$ CS-NET。R $^2$ CS-NET首先通过一种新的递归神经网络逐步优化所获得的采样。然后，级联残差卷积网络从优化的潜在表示完全重建图像。作为第一个有效桥接自适应在线优化的深度CS框架，R $^2$ CS-NET将在线优化的鲁棒性与深度学习方法的效率和非线性能力相结合。信号相关性已通过网络架构解决。自适应感测性质进一步使其成为通过利用信道相关性的彩色图像CS的理想候选者。数值实验验证了所提出的递归潜在优化设计不仅满足自适应动机，而且在相同场景下优于经典的长短期记忆（LSTM）架构。整个框架展示了硬件实现的可行性，在现有的深度CS基准测试中具有领先的鲁棒性和泛化能力。
2022-07-15 cs.AI cs.CV eess.IV
Efficient Re-parameterization Residual Attention Network For Nonhomogeneous Image Dehazing
JiMei University（集美大学）
本文提出了一种端到端的高效重参数化剩余注意力网络（ERRA-Net）来直接恢复非均匀模糊图像。本文的贡献主要有以下三个方面：1）提出了一种新的多分支注意（MA）块。空间注意机制能够更好地重构高频特征，通道注意机制能够区别对待不同通道的特征。多分支结构极大地提高了模型的表示能力，重新参数化后可变为单路径结构，加快推理过程。局部剩余连接允许非均匀区域中的低频信息不经处理地通过块，使得块能够聚焦于细节特征。2)一个轻量级的网络结构。采用级联MA分块的方法逐步提取高频特征，多层注意力融合尾部结合模型的浅层和深层特征，最终得到干净图像的残差。3）提出了两种新的损失函数来帮助模糊图像的重建：颜色衰减损失和拉普拉斯金字塔损失。ERRA-Net具有令人印象深刻的速度，处理1200 x1600高清质量图像，平均运行时间为166.11 fps。广泛的评估表明，ERSANet表现良好的SOTA方法对现实世界的朦胧图像。
2021-09-14 cs.CV eess.IV
Deep Convolutional Framelet Denosing for Low-Dose CT via Wavelet Residual Network
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Seoul National University Bundang Hospital（首尔国立大学盆唐医院）
用于低剂量X射线CT的基于模型的迭代重建（MBIR）算法在计算上是昂贵的。为了解决这个问题，我们最近提出了一种用于低剂量X射线CT的深度卷积神经网络（CNN），并获得了2016年AAPM低剂量CT大挑战赛的第二名。然而，一些纹理没有完全恢复。为了解决这个问题，我们提出了一种新的基于小框架的去噪算法，该算法使用小波残差网络，协同结合了深度学习的表达能力和基于小框架的去噪算法的性能保证。新算法的灵感来自于最近将深度卷积神经网络（CNN）解释为级联卷积小框架信号表示。大量的实验结果证实，所提出的网络有显着提高的性能，并保留了原始图像的细节纹理。
2018-03-28 cs.AI cs.CV cs.LG
OMR-NET: a two-stage octave multi-scale residual network for screen content image compression
School of software, Shandong University（山东大学软件学院）；School of information science and engineering, Shandong University（山东大学信息科学与工程学院）；School of Control Science and Engineering, Shandong University（山东大学控制科学与工程学院）
针对现有学习型图像压缩方法在屏幕内容上的不足，提出含改进两阶段八度卷积残差块、级联多尺度残差块与窗口注意力模块的OMR-NET，构建SDU-SCICD2K数据集，其屏幕内容压缩率失真性能优于现有方法。
2024-07-11 cs.CV eess.IV
End-to-End JPEG Decoding and Artifacts Suppression Using Heterogeneous Residual Convolutional Neural Network
Amazon.com, Inc.（亚马逊公司）
现有的深度学习模型将JPEG伪影抑制与解码协议分离为独立的任务。在这项工作中，我们向前迈出了一步，设计了一个真正的端到端异构残差卷积神经网络（HR-CNN），具有频谱分解和异构重建机制。该模型充分利用了CNN结构和GPU加速技术，极大地提高了重建效率。数值实验表明，在解码和伪影抑制同时完成的情况下，整体重建速度达到了标准CPU JPEG解码协议的量级。我们制定的JPEG伪影抑制任务作为一个交互式的解码和图像细节重建的过程。提出了一种异构的、完全卷积的机制，以特别解决不同频谱通道的不相关性质。该网络直接从k空间的JPEG编码开始，首先逐通道提取光谱样本，并以扩展的吞吐量恢复光谱快照。这些中间快照然后被不均匀地解码并合并到像素空间图像中。设计了一个级联的残差学习段来进一步增强图像细节。实验证明，该模型在JPEG伪影抑制方面具有出色的性能，而其完整的卷积运算和优雅的网络结构与该主题的其他深度学习模型相比，为实际在线使用提供了更高的计算效率。
2020-07-01 cs.CV cs.LG eess.IV
Automated Thalamic Nuclei Segmentation Using Multi-Planar Cascaded Convolutional Neural Networks
一个级联的多平面计划与修改后的剩余U-Net架构被用来分割丘脑核的常规和白质无效（WMn）磁化准备快速梯度回波（MPWE）数据。一个单一的网络进行了优化，从健康对照和多发性硬化症（MS）和原发性震颤（ET），在3 T和7 T场强采集的患者的图像。采用骰子相似系数和体积相似指数（VSI）评价性状。通过应用该方法研究MS对丘脑核萎缩的影响，证明了临床实用性。在不到一分钟的时间里，每个丘脑被分割成12个核团。对于7 T WMn-MPaT，所提出的方法在ET患者上优于当前最先进的方法，其中五个核的Dice（在0.05-0.18的范围内增加）和四个核的VSI（在0.05-0.19的范围内增加）有统计学显著的改善，同时对健康和MS受试者进行了MRI。使用7 T WMn-MPaT数据获得的Dice和VSI与使用3 T WMn-MPaT数据获得的Dice和VSI相当。对于常规MPBAF，所提出的方法显示出在所有细胞核和疾病类型的FreeSurfer上在0.14-0.63的范围内的统计学显著的Dice改善。噪声对网络性能的影响显示出对SNR低至基线SNR一半的图像的鲁棒性。在控制了平行成像、颅内体积、性别和年龄的影响后，与健康对照受试者相比，观察到MS患者的四个丘脑核团和整个丘脑的萎缩（p<0.004）。所提出的分割方法是快速，准确，表现良好的疾病类型和场强，并显示出巨大的潜力，提高我们的理解丘脑核…
2020-06-17 cs.CV cs.LG eess.IV
Coupled-Projection Residual Network for MRI Super-Resolution
Harbin Institute of Technology（哈尔滨工业大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Nanyang Technological University（南洋理工大学）；Shenzhen University（深圳大学）；Inception Institute of Artificial Intelligence（因赛普申人工智能研究院）
磁共振成像（MRI）已被广泛应用于临床应用和病理研究，帮助医生做出更准确的诊断。另一方面，通过MRI的准确诊断仍然是一个巨大的挑战，因为通过目前的MRI技术获得的图像通常具有低分辨率。因此，提高MRI图像质量和分辨率成为一项至关重要的任务。本文提出了一种新的耦合投影残差网络（CPRN）的MRI超分辨率。CPRN由两个互补的子网络组成：一个浅层网络和一个深层网络，在学习低分辨率和高分辨率图像之间的高频差异的同时保持内容一致性。为了更好地保留MRI图像的细节，浅层子网络采用耦合投影，其中引入了一种新的反馈机制来指导高分辨率图像的重建。深度子网络从高频图像信息的残差中学习，其中多个残差块被级联以在最后网络层放大MRI图像。最后，融合来自浅子网络和深子网络的特征用于高分辨率MRI图像的重建。为了有效地融合来自深子网络和浅子网络的特征，受人类认知过程（从简单到复杂）的启发，设计了逐步连接（CPRN S）。在三个公开的MRI数据集上的实验表明，与现有技术相比，我们提出的CPRN实现了优越的MRI超分辨率性能。我们的源代码将在http://www.yongxu.org/lunwen.html上公开。
2019-07-12 cs.CV eess.IV
A Coarse-to-Fine Multi-stream Hybrid Deraining Network for Single Image Deraining
Hefei University of Technology（合肥工业大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
由于单图像的不适定性质，单图像去伪任务仍然是一个非常具有挑战性的任务。最近，研究人员试图通过训练基于CNN的端到端模型来解决这个问题，但他们仍然无法精确地从下雨的图像中提取负雨条纹，这通常会导致过度降雨或降雨不足的结果。为了解决这个问题，本文提出了一种新的由粗到细的单图像去盲框架，称为多流混合去盲网络（简称MH-DerainNet）。为了更准确地获取训练过程中的负雨纹，我们提出了一个新的模块，称为双路径剩余密集块，即，残差路径和稠密路径。残差路径用于重用以前层的共同特征，而稠密路径可以探索新的特征。此外，为了连接不同的缩放特征，我们还应用了多流的思想，在级联的双路径残差密集块流之间具有捷径。为了获得更清晰的去噪图像，我们结合了SSIM损失和感知损失，以保持每个像素的相似性，以及保持全局结构，使去噪结果更准确。对合成和真实降雨图像的广泛实验表明，我们的MH-DerainNet可以提供比最近几种最先进的方法显着的改进。
2019-08-28 cs.CV eess.IV
Enhanced MRI Reconstruction Network using Neural Architecture Search
Rutgers University（罗格斯大学）；NVIDIA（英伟达）
使用现代深度学习技术精确重建欠采样的磁共振成像（MRI）数据，需要花费大量精力来设计必要的复杂神经网络架构。级联网络结构在MRI图像重建中得到了广泛的应用，但当网络变深时，存在梯度消失的问题。此外，同构结构降低了网络的表示能力。在这项工作中，我们提出了一个增强的MRI重建网络使用的残差基本块。对于基本块中的每个单元，我们使用可微神经结构搜索（NAS）技术来自动选择密集块的八个变体中的最佳操作。这种新的异构网络在两个公开的数据集上进行了评估，并优于所有当前最先进的方法，这证明了我们所提出的方法的有效性。
2020-08-19 cs.CV cs.LG eess.IV
Anatomy-Guided Residual Motion Diffusion for Controllable 4D Cardiac MRI Synthesis
Suzhou Institute of Biomedical Engineering and Technology, Chinese Academy of Science（中国科学院苏州生物医学工程技术研究所）；Systemes Complexes et Intelligence Artificielle, IMT Mines Ales（复杂系统与人工智能实验室，IMT 阿莱斯矿业学院）；School of Artificial Intelligence and Advanced Computing, Xi’an Jiaotong-Liverpool University（西交利物浦大学人工智能与先进计算学院）
提出一种4D可控生成框架，通过半监督VAE解耦解剖与运动，利用级联潜扩散模型生成时序一致的心脏MRI，在跨厂商数据上提升分割性能。
2026-06-26 cs.AI cs.CV
EdgeStereo: An Effective Multi-Task Learning Network for Stereo Matching and Edge Detection
Shanghai Jiao Tong University（上海交通大学）
最近，利用端到端卷积神经网络（CNN）的发展，深度立体匹配网络已经取得了远远超过传统方法的显著性能。然而，国家的最先进的立体框架仍然有困难，在寻找正确的对应，在纹理较少的地区，详细的结构，小对象和附近的边界，这可以缓解的几何线索，如边缘轮廓和相应的约束。为了提高这些具有挑战性的领域中的视差估计的质量，我们提出了一个有效的多任务学习网络EdgeStereo，由视差估计分支和边缘检测分支组成，它可以实现视差图和边缘图的端到端预测。为了有效地结合边缘线索，我们提出了边缘感知的平滑损失和边缘特征嵌入任务间的相互作用。实验结果表明，基于统一模型，边缘检测任务和立体匹配任务可以相互促进。此外，我们设计了一个紧凑的模块称为残留金字塔，以取代目前立体匹配网络中常用的多级级联结构或基于三维卷积的正则化模块。截至论文提交时，EdgeStereo在FlyingThings3D数据集、KITTI 2012和KITTI 2015立体基准测试中达到了最先进的性能，显著优于其他已发布的立体匹配方法。EdgeStereo还实现了相当的泛化性能的视差估计，因为边缘线索的结合。
2019-12-11 cs.CV
Non-locally Enhanced Encoder-Decoder Network for Single Image De-raining
Sun Yat-sen University（中山大学）；University of Electronic Science and Technology of China（电子科技大学）
由于深度卷积神经网络的发展，单图像雨条纹去除最近取得了实质性进展。然而，现有的基于深度学习的方法要么通过将输入图像分解为高频和低频信息并采用残差学习来减少映射范围来关注网络的入口和出口，要么专注于引入级联学习方案来将雨纹去除任务分解为多个阶段。这些方法将卷积神经网络视为封装的端到端映射模块，而没有深入研究神经网络设计的合理性和优越性。在本文中，我们深入研究了一种有效的端到端神经网络结构，用于更强的特征表达和空间相关性学习。具体来说，我们提出了一个非局部增强的编码器-解码器网络框架，它由一个池化索引嵌入的编码器-解码器网络组成，可以有效地学习越来越抽象的特征表示，以实现更准确的雨纹建模，同时完美地保留图像细节。所提出的编码器-解码器框架由一系列非局部增强的密集块组成，这些块被设计为不仅充分利用来自所有卷积层的分层特征，而且很好地捕获长距离依赖性和结构信息。在人工和真实数据集上的大量实验表明，该方法能有效去除不同密度的雨图像上的雨条纹，同时较好地保留了图像细节，与现有方法相比有了显著的改进.
2018-08-04 cs.CV
Channel-wise and Spatial Feature Modulation Network for Single Image Super-Resolution
通过利用深度卷积神经网络（CNN），单幅图像超分辨率的性能得到了显著的提高。深度CNN中的特征包含不同类型的信息，这些信息对图像重建做出不同的贡献。然而，大多数基于CNN的模型缺乏对不同类型信息的区分能力，并且不能平等地处理它们，这导致模型的表示能力受到限制。另一方面，随着神经网络深度的增加，来自前几层的长时信息在后几层容易被削弱或丢失，这对超分辨率图像是不利的。为了捕获更多的信息特征和保持图像超分辨率的长期信息，我们提出了一个通道和空间特征调制（CSFM）网络，其中一系列的特征调制存储器（FMM）模块级联的密集连接的结构，以将低分辨率的功能，以高信息的功能。在每个FMM模块中，我们构建了一组通道和空间注意力残差（CSAR）块，并将它们堆叠在链结构中，以全局和局部方式动态调制多级特征。这种特征调制策略能够增强高贡献信息，抑制冗余信息。同时，为了实现信息的长期持久性，在FMM模块的末端加入一个门控融合节点，通过密集跳跃连接和门控机制自适应地融合层次特征，提取更多有效信息。对基准数据集的大量定量和定性评估表明了我们所提出的方法比最先进的方法的优越性。
2018-09-28 cs.CV
Intelligent Diagnosis Using Dual-Branch Attention Network for Rare Thyroid Carcinoma Recognition with Ultrasound Imaging
Shanghai Key Laboratory of Multidimensional Information Processing, East China Normal University（上海多维信息处理重点实验室，华东师范大学）；School of Mathematics and Physics, Xi'an Jiaotong-Liverpool University（西安交通大学利物浦大学数学与物理学院）；Department of Ultrasound, Shanghai Tenth People's Hospital（上海第十人民医院超声科）；Shanghai Engineering Research Center of Ultrasound Diagnosis and Treatment, Tongji University School of Medicine（上海超声诊断与治疗工程研究中心，同济大学医学院）；Department of Mathematical Sciences, University of Liverpool（利物浦大学数学科学系）
本文提出基于双分支注意力网络的CSASN框架，通过整合EfficientNet和ViT实现罕见甲状腺癌的高效识别与分类。
2026-03-04 cs.CV eess.IV
DenseReg: Fully Convolutional Dense Shape Regression In-the-Wild
Inria（法国国家信息与自动化研究所）
在这项工作中，我们使用深度学习来建立3D对象模型和“野外”图像之间的密集对应。我们引入了“DenseReg”，这是一种全卷积神经网络（F-CNN），它在单个前馈通道中在每个前景像素处密集地回归一对U-V模板坐标。为了训练DenseReg，我们通过结合3D可变形模型拟合和2D地标注释来构造监督信号。我们定义的回归任务的内在，U-V坐标的3D可变形模型，在训练时与图像实例相对应。许多其他对象相关的任务（例如，部分分割，地标定位）被证明是这个任务的副产品，并大大改善由于它的引入。我们通过将语义分割的思想与回归网络相结合来获得高度准确的回归结果，从而产生一种“量化回归”架构，该架构首先通过分类获得位置的量化估计，然后通过残差的回归对其进行细化。我们表明，这样的网络可以提高现有的最先进的姿态估计系统的性能。首先，我们证明了我们的系统可以作为统计可变形模型的初始化，以及级联架构的一个元素，共同定位地标和估计密集的对应关系。我们还表明，所获得的密集对应可以作为“特权信息”的来源，补充和扩展纯地标级注释，加速和改善姿态估计网络的训练。我们报告了在具有挑战性的300 W面部标志定位基准和MPII和LSP人体姿态估计数据集上的最新性能。
2018-03-11 cs.CV
CHS-Net: A Deep learning approach for hierarchical segmentation of COVID-19 infected CT images
IIIT Allahabad（印度阿拉哈巴德信息技术学院）
新型SARS-CoV-2（又称COVID-19）大流行病已在全球蔓延，造成大量生命损失。医学成像，如CT、X射线等，通过呈现器官功能的视觉表示在诊断患者中起重要作用。然而，对于任何放射科医生来说，分析这样的扫描是一项繁琐且耗时的任务。新兴的深度学习技术在分析此类扫描以帮助更快地诊断疾病和病毒（如COVID-19）方面表现出了强大的实力。在本文中，提出了一种基于自动深度学习的模型，COVID-19分层分割网络（CHS-Net），其用作语义分层分割器，以使用两个级联的剩余注意力初始U-Net（RAIU-Net）模型通过CT医学成像从肺部轮廓识别COVID-19感染区域。RAIU-Net由一个带有频谱空间和深度注意力网络（SSD）的残差初始U-Net模型组成，该模型是通过dependency可分离卷积和混合池化（max和spectral pooling）的收缩和扩展阶段开发的，以有效地编码和解码语义和不同分辨率的信息。CHS-Net使用分割损失函数进行训练，该函数定义为二进制交叉熵损失和骰子损失的平均值，以惩罚假阴性和假阳性预测。该方法与最近提出的方法进行了比较，并使用标准指标进行评估，如准确性，精确度，特异性，召回率，骰子系数和Jaccard相似性以及使用GradCam++和不确定性地图对模型预测的可视化解释。通过广泛的试验，观察到所提出的方法优于最近提出的方法，并且有效地分割了肺部中…
2021-12-29 cs.CV eess.IV
MSV-Mamba: A Multiscale Vision Mamba Network for Echocardiography Segmentation
School of Computer and Information Engineering, Shanghai Polytechnic University（上海第二工业大学计算机与信息工程学院）；The First Affiliated Hospital of Jinan University（暨南大学附属第一医院）；Fudan University Huashan Hospital（复旦大学附属华山医院）
针对超声成像噪声高、结构复杂等分割难题，提出融合大窗口Mamba模块与分层特征融合的U型MSV-Mamba模型，在两个超声心动图数据集上分割精度与鲁棒性均优于现有方法。
2025-01-13 cs.CV eess.IV
