Iterative Residual Image Deconvolution
Beijing Normal University（北京师范大学）；Tianjin University（天津大学）；Sensetime Research（商汤科技研究院）
图像去模糊，又名图像去卷积从由模糊退化引起的像素叠加恢复清晰图像。很少有深度卷积神经网络（CNN）成功地解决了这一任务。在本文中，我们首先证明了最小均方误差（MMSE）的解决方案，图像去模糊可以有趣地展开成一系列的残留成分。在此基础上，提出了一种新的迭代残差反褶积算法。此外，IRD激励我们向前迈出一步，设计一个可解释的和有效的CNN架构的图像去卷积。具体而言，部署一系列残余CNN单元，然后将其中间输出级联并积分，从而产生级联残余卷积网络（CRCNet）。实验结果表明，建议CRCNet不仅实现了更好的定量指标，但也恢复了更多的视觉上合理的纹理细节相比，国家的最先进的方法。
2018-11-04 cs.CV
Improving Dermoscopic Image Segmentation with Enhanced Convolutional-Deconvolutional Networks
Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院）
皮肤镜图像上的皮肤病灶自动分割是黑色素瘤计算机辅助诊断的重要步骤。然而，由于不同患者的病变外观存在显著差异，因此这项任务具有挑战性。当处理大量图像数据时，这一挑战会进一步加剧。在本文中，我们扩展了我们以前的工作，开发了一个更深的网络架构，具有更小的内核，以提高其判别能力。此外，我们显式地包含来自多个颜色空间的颜色信息，以便于网络训练，从而进一步提高分割性能。我们在ISBI 2017皮肤病变分割挑战中广泛评估了我们的方法。通过对2000幅挑战训练图像的训练，我们的方法在600幅挑战测试图像上获得了0.765的平均Jaccard指数（JA），在挑战中排名第一
2017-09-28 cs.CV
Deconvolutional Feature Stacking for Weakly-Supervised Semantic Segmentation
Lunit Inc.（Lunit公司）
提出了一种基于约束解卷积神经网络的弱监督语义分割框架。框架中的每个反卷积层由解池化和反卷积操作组成。“Unpooling”基于由相应卷积层的池化操作定义的unpooling开关对输入特征图进行上采样。“Deconvolution”通过使用与相应卷积层的卷积操作绑定的卷积权重来卷积输入的未合并特征。解池化-去卷积组合有助于在特征提取阶段中消除较少区别的特征，因为去卷积层的输出特征是从最具区别的解池化特征而不是原始特征重建的。这导致像素级推断阶段中的假阳性减少。从整个反卷积层恢复的所有特征图可以根据不同的抽象级别构成丰富的鉴别特征集。这些功能被堆叠以有选择地用于生成特定于类别的激活图。在弱监督（图像级标签）下，所提出的框架在医学图像（胸部X射线）中的病变分割上显示出有希望的结果，并在相同的实验条件下在PASCAL VOC分割数据集上实现了最先进的性能。
2016-03-12 cs.CV
Image Restoration Using Convolutional Auto-encoders with Symmetric Skip Connections
Nanjing University（南京大学）；University of Adelaide（阿德莱德大学）
图像复原包括图像去噪、超分辨率、图像修复等，是计算机视觉和图像处理中的一个研究热点，也是低层图像建模算法的测试平台。在这项工作中，我们提出了一个非常深的全卷积自动编码器网络的图像复原，这是一个编码-解码框架与对称卷积-解卷积层。换句话说，网络由多层卷积和去卷积运算符组成，学习从损坏图像到原始图像的端到端映射。卷积层捕获图像内容的抽象，同时消除损坏。解卷积层具有对特征图进行上采样并恢复图像细节的能力。为了解决更深的网络往往更难训练的问题，我们提出了对称地将卷积层和反卷积层与跳层连接连接起来，这样训练收敛得更快，获得了更好的结果。
2016-08-30 cs.CV
Deep Recurrent Regression for Facial Landmark Detection
Sun Yat-Sen University（中山大学）；National University of Singapore（新加坡国立大学）；Nanjing University of Science and Technology（南京理工大学）
我们提出了一种用于人脸地标检测的新型端到端深度架构，该架构基于深度卷积和去卷积网络，然后是精心设计的循环网络结构。该架构的流水线由三部分组成。在第一部分中，我们通过具有堆叠卷积和去卷积层的深度网络将输入面部图像编码为分辨率保持的去卷积特征图。然后，在第二部分中，我们通过在这些去卷积特征图之上的额外卷积层来估计面部关键点的初始坐标。在最后一部分中，通过使用去卷积特征图和初始面部关键点作为输入，我们通过由多个长短期记忆（LSTM）组件组成的递归网络来细化面部关键点的坐标。在几个基准数据集上的广泛评估表明，所提出的深度架构与最先进的方法相比具有优越的性能。
2016-10-31 cs.CV
Hierarchical Convolutional-Deconvolutional Neural Networks for Automatic Liver and Tumor Segmentation
Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院）
肝脏及其肿瘤的自动分割是提取定量成像生物标志物的重要步骤，用于准确的肿瘤检测、诊断、预后和评估肿瘤对治疗的反应。MICCAI 2017肝脏肿瘤分割挑战赛（LiTS）提供了一个通用平台，用于比较对比增强腹部CT图像的不同自动算法，包括1）肝脏分割，2）肝脏肿瘤分割和3）肿瘤负荷估计。我们通过开发基于深度全卷积-解卷积神经网络（CDNN）的分层框架来参与这一挑战。首先训练一个简单的CDNN模型，在整个CT体积上提供肝脏的快速但粗略的分割，然后将另一个CDNN应用于肝脏区域，进行肝脏的精细分割。最后，分割后的肝脏区域经过直方图均衡增强，作为第三个CDNN的额外输入进行肿瘤分割。在训练CDNN模型时，采用Jaccard距离作为损失函数，消除了样本重新加权的需要。我们的框架使用LITS提供的130个挑战训练案例进行训练。对70个挑战测试用例的评估结果表明，肝脏分割的平均Dice相似系数（DSC）为0.963，肿瘤分割的平均DSC为0.657，肿瘤负荷估计的均方根误差（RMSE）为0.017，分别排名第一、第五和第三位
2017-10-12 cs.CV
What are the Receptive, Effective Receptive, and Projective Fields of Neurons in Convolutional Neural Networks?
University of Central Florida（中佛罗里达大学）；Center for Research in Computer Vision（计算机视觉研究中心）
在这项工作中，我们详细解释了如何计算卷积神经网络（CNN）的不同层（卷积或池化）中的神经元的感受野、有效感受野和投射野。虽然我们这里的重点是CNN，但相同的操作，但顺序相反，可以用来计算去卷积神经网络的这些量。这些都是重要的概念，不仅可以更好地理解和分析卷积和去卷积网络，还可以优化它们在现实应用中的性能。
2018-04-07 cs.CV
Adaptive Weighting Depth-variant Deconvolution of Fluorescence Microscopy Images with Convolutional Neural Network
University of Michigan-Shanghai Jiao Tong University Joint Institute（上海交通大学密西根学院）；Shanghai Jiao Tong University（上海交通大学）
荧光显微镜在生物医学研究中起着重要的作用。荧光显微镜的深度变点扩散函数（PSF）产生低质量的图像，特别是在厚标本的焦点外区域。传统的去卷积恢复离焦图像通常是不够的，因为一个深度不变的PSF假设。本文旨在通过基于学习的深度变PSF处理荧光显微图像，减少伪影。本文提出了一种基于自适应加权深度变反卷积（AWDVD）和离焦水平预测卷积神经网络（DelpNet）的离焦图像恢复算法。利用DelpNet算法可以得到图像块深度变化的PSF，并将其应用于后续的反卷积。AWDVD被用于整幅图像，该整幅图像在反卷积之前被逐块反卷积并被适当地裁剪。DelpNet达到了98.2%的准确率，超过了使用相同显微镜数据集的有史以来最好的一个。11个散焦水平的图像补丁后，反卷积验证的峰值信噪比和结构相似性指数的最大改善6.6 dB和11%，分别。对逐块去卷积图像的自适应加权可以消除块边界伪影并提高去卷积图像质量。该方法可以准确地估计深度变化的PSF，并有效地恢复离焦显微图像。据我们所知，这是第一次使用基于学习的深度变量PSF处理离焦显微图像的研究。针对荧光显微镜中最常见的模糊现象之一，该方法为提高图像质量提供了一种实用的技术。
2019-07-07 cs.CV eess.IV
PBGen: Partial Binarization of Deconvolution-Based Generators for Edge Intelligence
University of Notre Dame（圣母大学）；University of Science and Technology of China（中国科学技术大学）
本工作探讨了二值化的反卷积为基础的发电机在GAN的内存节省和加速图像的建设。我们的研究表明，与所有层都可以二值化的卷积神经网络（包括卷积神经网络）不同，生成器中只有部分层可以二值化，而不会造成显著的性能损失。在理论分析和实验验证的基础上，建立了一种基于反卷积操作维数的直接度量方法，该方法可用于快速判定生成器中哪些层可进行二值化。我们的研究结果还表明，生成器和二进制数应该同时进行二进制化，以平衡竞争和更好的性能。基于CelebA的实验结果表明，与原始生成器相比，直接将最先进的二值化技术应用于生成器的所有层将导致2.83 $\times$的性能损失（通过切片Wasserstein距离测量），而将它们应用于选定的层仅可以节省高达25.81 $\times$的内存消耗，在性能损失较小的情况下，推理和训练的加速比分别为1.96 $\times$和1.32 $\times$。
2020-01-27 cs.CV
Localized Traffic Sign Detection with Multi-scale Deconvolution Networks
University of Shanghai for Science and Technology（上海理工大学）；Fudan University（复旦大学）
自动驾驶正在成为一种未来实用的生活方式，深度学习在很大程度上推动了这种生活方式。具体来说，通过深度学习进行有效的交通标志检测对交通标志识别起着至关重要的作用。然而，不同国家的交通标志设置不同，使得本地化的交通标志识别模型训练成为一项繁琐而艰巨的任务。针对交通标志定位识别算法复杂、计算量大、模糊和亚像素图像检测率低的问题，提出了多尺度反卷积网络（MDN），将多尺度卷积神经网络与反卷积子网络灵活结合，实现了高效可靠的交通标志定位识别模型训练。在中国交通标志数据集（CTSD）和德国交通标志基准测试（GTSRB）上的实验结果表明，与经典算法相比，MDN是有效的.
2018-05-03 cs.CV
Global Deconvolutional Networks for Semantic Segmentation
语义图像分割是计算机视觉中的一个主要问题，其目的是将图像中的每个像素正确地分类到一个语义标签中。它在许多领域的广泛应用，包括医学成像和自动驾驶，近年来促进了广泛的研究。解决这一任务的经验性改进主要是由于成功利用了预先训练用于图像分类和对象识别的卷积神经网络（CNN）。然而，使用CNN进行像素级标记有其独特的挑战：（1）将低分辨率输出准确地解卷积或上采样为更高分辨率的分割掩码，以及（2）在本地提取的特征中包含全局信息或上下文。为了解决这些问题，我们提出了一种新的架构，在全球范围内进行等效的反卷积操作，并获得密集的预测。我们证明，它导致最先进的语义分割模型在PASCAL VOC 2012基准测试中的性能提高，在测试集上达到74.0%的平均IU准确度。
2016-08-13 cs.CV
Deconvolution-and-convolution Networks
Lakehead University（湖首大学）；Vector Institute（向量研究所）；University of Windsor（温莎大学）
2D卷积神经网络（CNN）可以说已经成为计算机视觉任务的事实标准。然而，最近的研究结果表明，CNN可能不是1D模式识别的最佳选择，特别是对于具有超过1 M训练样本的数据集，例如，现有的用于1D信号的基于CNN的方法高度依赖于人的预处理。通常的做法包括利用离散傅立叶变换（DFT）将1D信号重构为2D阵列。为了增加现有的知识，本文提出了一种新的1D数据处理算法，通过学习深度解卷积-卷积网络进行1D大数据分析。我们采用反卷积层将1D信号转换为2D数据，而不是采用基于人类的技术。在去卷积模型之上，通过2D CNN识别数据。与现有的一维信号处理算法相比，DCNet具有人工推理少、泛化性能高等优点。我们的实验结果从不同数量的训练模式（50 K至11 M）的分类和回归证明了我们的新方法的可取性。
2021-03-22 cs.AI cs.CV
Blind Deconvolution Microscopy Using Cycle Consistent CNN with Explicit PSF Layer
Seoul National University College of Medicine（首尔大学医学院）；KAIST（韩国科学技术院）
解卷积显微术已被广泛用于提高宽视场荧光显微术的分辨率。传统的方法，通常需要点扩展函数（PSF）测量或盲估计，然而，计算昂贵。最近，基于CNN的方法已被探索为快速且高性能的替代方案。在本文中，我们提出了一种新的无监督深度神经网络的盲反卷积的基础上，循环一致性和PSF建模层。与最近的CNN方法相比，显式PSF建模层提高了算法的鲁棒性。实验结果证实了该算法的有效性。
2019-04-05 cs.CV cs.LG stat.ML
Isotropic reconstruction of 3D fluorescence microscopy images using convolutional neural networks
Max Planck Institute of Molecular Cell Biology and Genetics（马克斯·普朗克分子细胞生物学与遗传学研究所）；Center for Systems Biology Dresden（德累斯顿系统生物学中心）；Faculty of Computer Science, Technical University Dresden（德累斯顿工业大学计算机科学系）
荧光显微镜图像通常显示严重的轴向与横向分辨率的各向异性。这妨碍了下游处理，即定量生物数据的自动提取。虽然存在解卷积方法和其他技术来解决这个问题，但它们要么应用起来很耗时，要么在去除各向异性的能力方面受到限制。我们提出了一种方法来恢复各向同性分辨率从容易获得的各向异性数据。我们使用一个卷积神经网络来实现这一点，该网络是从我们后来应用该网络的相同各向异性数据体进行端到端训练的。该网络通过在经过训练的样本特定图像先验下恢复图像，有效地学习恢复完整的各向同性分辨率。我们将我们的方法应用于$3$合成和$3$真实数据集，并表明我们的结果改善了反卷积和最先进的超分辨率技术的结果。最后，我们证明了一个标准的3D分割管道在我们的网络输出上的执行精度与在完整的各向同性数据上的执行精度相当。
2017-04-05 cs.CV
Extend the shallow part of Single Shot MultiBox Detector via Convolutional Neural Network
Peking University（北京大学）
Single Shot MultiBox Detector（SSD）是当前目标检测领域中速度最快的算法之一，它利用完全的卷积神经网络来检测图像中所有缩放的目标。反卷积Single Shot检测器（DSSD）是一种通过在SSD中加入反卷积模块来引入更多上下文信息的方法。DSSD在PASCAL VOC 2007上的平均精度（mAP）由SSD的77.5%提高到78.6%。虽然DSSD获得的mAP比SSD高1.1%，但每秒帧数（FPS）从46降至11.8。在本文中，我们提出了一个单阶段的端到端的图像检测模型，称为ESSD，以克服这一困境。我们对这个问题的解决方案是巧妙地扩展更好的上下文信息的最佳单级（例如SSD）检测器的浅层。实验结果表明，我们的模型可以达到79.4%的mAP，这是高于DSSD和SSD分别为0.8和1.9点。同时，我们的测试速度是25 FPS在泰坦X GPU这是两倍以上的原始DSSD。
2018-01-18 cs.CV
Blind Image Deconvolution using Deep Generative Priors
Information Technology University（信息技术大学）
本文提出了一种新的方法来正则化\textit{ill-posed}和\textit{non-linear}盲图像反卷积（盲去模糊）使用深度生成网络作为先验。我们采用了两个独立的生成模型-一个被训练来生成清晰的图像，而另一个被训练来从低维参数生成模糊核。为了去模糊，我们提出了一个交替的梯度下降方案，该方案在每个预训练生成模型的潜在低维空间中运行。我们的实验表明，即使在大的模糊和严重的噪声图像上的去模糊效果很好。为了解决生成模型的缺点，如模式坍塌，我们增加了我们的生成先验与经典的图像先验和复杂的图像数据集上的性能提高报告。去模糊性能取决于生成器的范围如何跨越图像类。有趣的是，我们的实验表明，即使是未经训练的结构化（卷积）生成网络也可以在图像去模糊上下文中充当图像先验，从而使我们能够将结果扩展到更多样化的自然图像数据集。
2019-02-26 cs.CV
On the Global Geometry of Sphere-Constrained Sparse Blind Deconvolution
Cornell University（康奈尔大学）；Columbia University（哥伦比亚大学）
盲去卷积是从卷积核$\boldsymbol a_0$和激活信号$\boldsymbol x_0$的卷积$\boldsymbol y = \boldsymbol a_0 \circledast \boldsymbol x_0$中恢复它们的问题。这个问题是不适定的，没有进一步的约束或先验。本文研究了激活信号中非零项稀疏随机分布的情形。我们规范化的卷积核有单位Frobenius范数和铸造稀疏盲反卷积问题作为一个非凸优化问题的领域。有了这个球面约束，在某些假设下，每个虚假的局部最小值都接近于地面真值的某个有符号移位截断。这种良性的属性激发了一个有效的两阶段算法，该算法从次优局部最小值提供的部分信息中恢复地面实况。这种几何启发的算法恢复地面真理某些显微镜的问题，也表现出良好的性能，在更具挑战性的图像去模糊问题。我们对全局几何和两阶段算法的见解扩展到卷积字典学习问题，其中观察到多个卷积信号的叠加。
2019-01-07 cs.CV cs.LG
Efficient Yet Deep Convolutional Neural Networks for Semantic Segmentation
Center for Cognitive Skill Enhancement（认知技能提升中心）；Independent University Bangladesh（孟加拉国独立大学）
使用深度卷积神经网络的语义分割对任何GPU密集型任务提出了更复杂的挑战。由于它必须计算数百万个参数，这导致了巨大的内存消耗。此外，提取更精细的特征和进行监督训练往往会增加复杂性。随着全卷积神经网络的引入，它使用更精细的步幅并利用反卷积层进行上采样，它已经成为任何图像分割任务的首选。在本文中，我们提出了两个分割架构，不仅需要三分之一的参数计算，但也提供了更好的精度比类似的架构。模型权重从流行的神经网络如VGG 19和VGG 16中转移，这些神经网络在Imagenet分类数据集上训练。然后我们将所有的全连接层转换为卷积层，并使用扩张卷积来减少参数。最后，我们添加更精细的步幅，并附加四个跳跃架构，这些架构是逐步与解卷积层进行元素求和的。我们在不同的稀疏和精细数据集上进行了训练和测试，如Pascal VOC 2012，Pascal-Context和NYUDv 2，并展示了我们的模型在这些任务中的表现。另一方面，我们的模型具有更快的推理时间，并且在NVIDIA Pascal GPU上进行训练和测试时消耗更少的内存，使其更高效，更少的内存消耗架构用于像素分割。
2018-07-28 cs.CV
Pixel Deconvolutional Networks
Washington State University（华盛顿州立大学）
解卷积层已广泛用于各种用于上采样的深度模型中，包括用于语义分割的编码器-解码器网络和用于无监督学习的深度生成模型。反卷积运算的一个关键限制是它们会导致所谓的棋盘问题。这是由于输出特征图上的相邻像素之间不存在直接关系造成的。为了解决这个问题，我们提出了像素去卷积层（PixelDCL），以建立上采样特征图上相邻像素之间的直接关系。我们的方法是基于一个新的解释，定期反卷积操作。由此产生的PixelDCL可用于以即插即用的方式替换任何解卷积层，而不会损害原始模型的完全可训练能力。建议的PixelDCL可能会导致效率略有下降，但这可以通过实现技巧来克服。语义分割的实验结果表明，PixelDCL可以考虑空间特征，如边缘和形状，并产生更准确的分割输出比去卷积层。当用于图像生成任务时，我们的PixelDCL可以在很大程度上克服常规反卷积操作所遇到的棋盘问题。
2017-11-27 cs.CV cs.LG cs.NE
Network Deconvolution
University of Maryland（马里兰大学）
卷积是卷积神经网络（CNN）中的核心操作，其将核应用于跨图像移位的重叠区域。然而，由于真实世界图像数据中的强相关性，卷积核实际上是在重新学习冗余数据。在这项工作中，我们表明，这种冗余使得神经网络训练具有挑战性，并提出网络反卷积，一个程序，最佳地消除像素和通道的相关性之前，数据被送入每一层。网络去卷积可以以卷积层的计算成本的一小部分有效地计算。我们还表明，网络第一层的去卷积滤波器类似于大脑视觉区域生物神经元中的中心-环绕结构。用这样的核滤波会导致稀疏表示，这是神经网络训练中所缺少的一种期望属性。从稀疏表示中学习可以促进更快的收敛和更好的结果，而无需使用批量归一化。我们将我们的网络反卷积操作应用于10个现代神经网络模型，在每个模型中替换批量归一化。广泛的实验表明，网络去卷积操作能够在CIFAR-10、CIFAR-100、MNIST、Fashion-MNIST、Cityscapes和ImageNet数据集上的所有情况下提供性能改进。
2020-02-25 cs.CV cs.LG cs.NE
A Deep Generative Deconvolutional Image Model
Duke University（杜克大学）；Bell Labs（贝尔实验室）
基于分层卷积字典学习框架，开发了一种用于图像表示和分析的深度生成模型。随机{ \em unpooling}用于链接模型中的连续层，从而产生自上而下的图像生成。一个贝叶斯支持向量机被链接到顶层功能，产生最大的边缘歧视。在测试时采用深度去卷积推理，以推断潜在特征，并且将顶层特征与最大间隔分类器连接以用于区分任务。该模型使用蒙特卡洛期望最大化（MCEM）算法进行有效训练，并在图形处理器单元（GPU）上实现，以实现有效的大规模学习和快速测试。在包括ImageNet在内的几个基准数据集上获得了出色的结果，表明所提出的模型与类似大小的卷积神经网络相比具有很强的竞争力。
2015-12-23 cs.CV cs.LG stat.ML
Learning Discriminative Shrinkage Deep Networks for Image Deconvolution
National Taiwan University（台湾大学）；Nanjing University of Science and Technology（南京理工大学）；Google Research（谷歌研究院）；University of California, Merced（加州大学默塞德分校）；Yonsei University（延世大学）
现有的非盲解卷积方法通常将非盲解卷积问题转化为最大后验框架，通过人工设计清晰潜像的各种正则化项和数据项来解决。然而，显式地设计这两项是相当具有挑战性的，通常会导致复杂的优化问题，难以解决。在本文中，我们提出了一种有效的非盲反卷积方法，通过学习判别收缩函数隐式地模拟这些条款。与大多数使用深度卷积神经网络（CNN）或径向基函数来简单学习正则化项的现有方法相比，我们将数据项和正则化项都公式化，并根据乘子的交替方向方法将反卷积模型拆分为数据相关和正则化相关的子问题。我们探索了Maxout函数的属性，并开发了一个带有Maxout层的深度CNN模型来学习判别收缩函数，以直接近似这两个子问题的解决方案。此外，针对基于快速傅立叶变换的图像复原容易产生振铃效应，而基于共轭梯度的复原方法耗时较长的问题，本文提出了一种共轭梯度网络来有效地复原潜在的清晰图像。实验结果表明，该方法在效率和准确性方面优于现有方法。
2022-07-20 cs.CV
Progressive Point Cloud Deconvolution Generation Network
Nanjing University of Science and Technology（南京理工大学）
本文提出了一种有效的点云生成方法，该方法可以从一个特征向量生成多分辨率的相同形状的点云。具体来说，我们开发了一种新的渐进反卷积网络与学习为基础的双边插值。在点云的空间和特征空间中进行基于学习的双边插值，以利用点云的局部几何结构信息。从低分辨率的点云开始，通过双边插值和最大池化操作，反卷积网络可以逐步输出高分辨率的局部和全局特征图。通过连接不同分辨率的局部和全局特征图，我们采用多层感知器作为生成网络来生成多分辨率点云。为了保持不同分辨率点云的形状一致，我们提出了一种保形对抗损失来训练点云反卷积生成网络。实验结果证明了该方法的有效性。
2020-07-10 cs.CV
A Bayesian Perspective of Convolutional Neural Networks through a Deconvolutional Generative Model
Rice University（莱斯大学）；University of California at Berkeley（加州大学伯克利分校）；Baylor College of Medicine（贝勒医学院）；California Institute of Technology（加州理工学院）；NVIDIA（英伟达）
受卷积神经网络（CNN）在图像监督预测方面的成功启发，我们设计了解卷积生成模型（DGM），这是一种新的概率生成模型，其推理计算对应于给定CNN架构中的推理计算。DGM使用CNN来设计概率模型中的先验分布。此外，DGM生成从粗到细尺度的图像。它在每个尺度上引入了一小组潜变量，并通过共轭先验分布来加强所有潜变量之间的依赖关系。这种共轭先验产生了一个新的正则化器，该正则化器基于生成模型中渲染的路径来训练CNN-渲染路径归一化（RPN）。我们证明，这个正则化提高泛化，在理论和实践中。此外，DGM中的似然估计会产生CNN的训练损失，受此启发，我们设计了一种称为Max-Min交叉熵的新损失，它优于传统的交叉熵损失。Max-Min交叉熵提出了一种新的深度网络架构，即Max-Min网络，它可以从较少的标记数据中学习，同时保持良好的预测性能。我们的实验表明，DGM与RPN和Max-Min架构超过或匹配的最先进的基准，包括SVHN，CIFAR 10，和CIFAR 100的半监督和监督学习任务。
2019-12-09 cs.AI cs.CV cs.LG
DeepRLS: A Recurrent Network Architecture with Least Squares Implicit Layers for Non-blind Image Deconvolution
Skoltech（斯科尔科沃科技学院）
在这项工作中，我们研究了非盲图像反卷积的问题，并提出了一种新的经常性的网络架构，导致非常有竞争力的恢复结果的高图像质量。出于现有的大规模线性求解器的计算效率和鲁棒性，我们设法表达这个问题的解决方案作为一系列的自适应非负最小二乘问题的解决方案。这就产生了我们提出的递归最小二乘反卷积网络（RLSDN）架构，该架构由一个隐式层组成，该隐式层在其输入和输出之间施加线性约束。通过设计，我们的网络管理同时服务于两个重要目的。第一个是，它隐式地建模一个有效的图像之前，可以充分表征的一组自然图像，而第二个是，它恢复相应的最大后验概率（MAP）估计。公开可用的数据集上的实验，比较最近的国家的最先进的方法，表明我们提出的RLSDN方法实现了最好的性能报告的灰度和彩色图像的所有测试方案。此外，我们介绍了一种新的训练策略，可以通过任何网络架构，涉及解决方案的线性系统作为其管道的一部分。我们的策略完全消除了展开线性求解器所需的迭代的需要，因此，它显着减少了训练过程中的内存占用。因此，这使得能够训练更深的网络架构，这可以进一步改善重建结果。
2021-12-10 cs.CV eess.IV
Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps
Visual Geometry Group, University of Oxford（牛津大学视觉几何组）
本文讨论了使用深度卷积网络（ConvNets）学习的图像分类模型的可视化。我们考虑两种可视化技术，基于计算相对于输入图像的类分数的梯度。第一个生成图像，其最大化类得分[Erhan等人，2009]，从而可视化类的概念，由ConvNet捕获。第二种技术计算特定于给定图像和类的类显著性图。我们表明，这样的地图可以用于弱监督对象分割使用分类ConvNets。最后，我们建立了基于梯度的ConvNet可视化方法与去卷积网络之间的联系[Zeiler et al.，2013年]。
2014-04-19 cs.CV
Learning Deep Gradient Descent Optimization for Image Deconvolution
The University of Adelaide（阿德莱德大学）；Northwestern Polytechnical University（西北工业大学）
作为盲图像去模糊的一个重要组成部分，非盲反卷积去除具有给定模糊核的图像模糊，这是必要的，但由于逆问题的不适定性而困难。主要的方法是基于正则化函数的优化，这些正则化函数要么是手动设计的，要么是从例子中学习的。现有的基于学习的方法已经显示出优越的恢复质量，但由于其有限的和静态的模型设计是不够实用的。他们只专注于学习先验知识，并需要知道去卷积的噪声水平。我们通过学习一个通用的梯度下降优化器来解决基于优化和基于学习的方法之间的差距。我们提出了一种递归梯度下降网络（RGDN），它通过系统地将深度神经网络整合到完全参数化的梯度下降方案中。跨步骤共享的超无参数更新单元用于基于卷积神经网络从当前估计生成更新。通过对不同样本的训练，递归梯度下降网络通过递归监督学习隐式图像先验和通用更新规则。学习的优化器可以重复使用，以提高不同的退化观测的质量。该方法具有较强的可解释性和较高的推广性。在合成基准和具有挑战性的真实世界图像上进行的大量实验表明，所提出的深度优化方法是有效的和鲁棒的，可以产生有利的结果，并且对于真实世界的图像去模糊应用是实用的。
2020-02-17 cs.CV
Image Super-Resolution Using Attention Based DenseNet with Residual Deconvolution
Beijing Technology and Business University（北京工商大学）
图像的超分辨率是一个具有挑战性的课题，已经引起了研究和工业界越来越多的关注。在本文中，我们提出了一种新的端到端的基于注意力的DenseNet与残留反卷积命名为ADRD。在我们的ADRD中，一个加权的密集块，其中当前层接收加权功能从所有以前的水平，提出了捕捉有价值的功能依赖于密集层自适应。提出了一种新的空间注意模块，用于生成一组注意图，以强调信息区域。此外，我们设计了一种创新的策略，通过反卷积层对残差信息进行上采样，从而可以准确地对高频细节进行上采样。在公开数据集上进行的大量实验表明，所提出的ADRD在定量和定性方面都具有良好的性能。
2019-07-03 cs.CV cs.LG eess.IV
Face Destylization
Australian National University（澳大利亚国立大学）；Data61/CSIRO（Data61/澳大利亚联邦科学与工业研究组织）
到目前为止，已经提出了许多产生肖像艺术风格的风格转移方法。然而，将风格化的肖像转换回现实面孔的逆问题还有待深入研究。将艺术肖像还原为原始照片般逼真的人脸图像具有促进人类感知和身份分析的潜力。在本文中，我们提出了一种新的人脸去风格化神经网络（FDNN）从风格化的恢复潜在的照片级真实感的脸。我们开发了一个由卷积层、全连接层和去卷积层组成的风格去除网络。卷积层被设计为从风格化的面部图像中提取面部成分。相应地，全连接层将提取的风格化图像的特征图转换为对应的真实面部的特征图，并且解卷积层从转换的特征图生成真实面部。为了使去风格化的人脸与真实的人脸图像相似，我们采用了一个判别网络，该网络由卷积层和全连接层组成。我们通过对大量合成图像进行实验来证明我们的网络的有效性。此外，我们证明了我们的网络可以从风格化的肖像和真实的绘画中恢复人脸，而在训练阶段无法获得风格化的数据。
2018-02-05 cs.CV
Video Saliency Detection by 3D Convolutional Neural Networks
Jiangxi University of Finance and Economics（江西财经大学）
与静止图像显著性目标检测方法不同，视频显著性检测的一个关键挑战是如何提取和组合空间和时间特征。提出了一种基于三维卷积神经网络的视频序列显著目标检测方法。首先，我们设计了一个3D卷积网络（Conv3DNet），输入为三个视频帧，以学习视频序列的时空特征。然后，我们设计了一个3D去卷积网络（Deconv3DNet）来结合时空特征来预测视频序列的最终显著性图。实验结果表明，与现有的显著性检测方法相比，本文提出的显著性检测模型具有更好的显著性预测效果。
2018-07-12 cs.CV
Understanding learned CNN features through Filter Decoding with Substitution
Computer Vision Center（计算机视觉中心）；UAB（巴塞罗那自治大学）
在CNN成功解决视觉问题的同时，人们对开发理解和可视化这些网络内部表示的方法越来越感兴趣。如何训练的CNN的响应编码的视觉信息是计算机和人类视觉研究的一个基本问题。由第一卷积层提供的图像表示以及由最大轮询操作提供的分辨率变化很容易理解，然而，一旦在表示中添加第二个和更多的卷积层，就失去了任何直观性。处理这个问题的一种常用方法是定义去卷积网络，以某种方式允许探索图像空间中最重要的激活的内部表示，其中去卷积被假设为与转置滤波器的卷积。然而，这个假设并不是逆卷积的最佳近似。在本文中，我们提出了一种基于滤波器替换的新假设来反转卷积层的编码。这为我们提供了一个新的工具，可以直接将任何CNN单个神经元可视化为第一层中的滤波器，这是在图像空间方面。
2015-11-17 cs.CV
Dense semantic labeling of sub-decimeter resolution images with convolutional neural networks
University of Zurich（苏黎世大学）
超高分辨率图像（<10 cm）中的语义标注（或像素级土地覆盖分类）需要能够从空间数据中学习高级概念的统计模型，具有较大的外观变化。卷积神经网络（CNN）通过有区别地学习抽象程度不断提高的表示层次来实现这一目标。在本文中，我们提出了一个基于CNN的系统依赖于下采样，然后上采样架构。具体来说，它首先通过卷积学习高级表示的粗略空间映射，然后通过去卷积学习将它们上采样回原始分辨率。通过这样做，CNN学会以图像的原始分辨率密集地标记每个像素。这导致许多优点，包括i）最先进的数值精度，ii）改进的预测几何精度和iii）推理时间的高效率。我们在Vaihingen和波茨坦分分米分辨率数据集上测试了所提出的系统，分别涉及9厘米和5厘米分辨率的航空图像的语义标记。这些数据集由许多大的和完全注释的图块组成，允许利用空间信息对模型进行无偏评估。我们这样做是通过比较两个标准的CNN架构的建议：标准补丁分类，预测局部标签补丁只采用卷积和完整的补丁标记采用反卷积。所有的系统都比得上或优于依赖于超像素和强大的外观描述符的最先进的基线。所提出的完整补丁标记CNN大大优于这些模型，也显示出非常吸引人的推理时间。
2016-10-10 cs.CV
Rethinking Deconvolution for 2D Human Pose Estimation Light yet Accurate Model for Real-time Edge Computing
Toyota Motor Corporation（丰田汽车公司）；Sigfoss Corporation（Sigfoss公司）
在这项研究中，我们提出了一个实用的轻量级姿态估计模型。我们的模型可以使用低功耗嵌入式设备实现实时的【形】预测。该系统被发现非常准确，在COCO测试数据集上使用仅3.8%的计算成本实现了SOTA HRNet 256 x192的94.5%准确度。我们的模型采用编码器-解码器架构，并经过精心缩小以提高其效率。我们特别关注优化去卷积层，并观察到去卷积层的通道减少显著有助于减少计算资源消耗，而不会降低该系统的精度。我们还结合了最近的模型不可知技术，如DarkPose和蒸馏训练，以最大限度地提高模型的效率。此外，我们应用模型量化来利用多/混合精度特征。我们的FP 16 'ed模型（COCO AP 70.0）在NVIDIA Jetson AGX Xavier上的运行速度约为60 fps，在NVIDIA Quadro RTX 6000上的运行速度约为200 fps。
2021-11-08 cs.CV cs.RO
Accurate Pulmonary Nodule Detection in Computed Tomography Images Using Deep Convolutional Neural Networks
School of EECS, Peking University（北京大学信息科学技术学院）
早期发现肺癌是提高患者生存机会的最有希望的方法。准确检测CT图像中的肺结节是诊断肺癌的关键步骤。本文受深度卷积神经网络（DCNN）在自然图像识别中的成功应用启发，提出了一种基于DCNN的肺结节检测方法。我们首先将解卷积结构引入到更快的基于区域的卷积神经网络（Faster R-CNN）中，用于轴向切片上的候选检测。然后，提出了一种三维DCNN，用于后续的假阳性减少。2016年肺结节分析（LUNA 16）挑战赛的实验结果证明了所提出的方法在结节检测方面的卓越检测性能（平均FRAC分数为0.891，在所有提交的结果中排名第一）。
2017-08-29 cs.CV
[Re] Network Deconvolution
Old Dominion University（奥多明尼昂大学）；IST, Pennsylvania State University（宾夕法尼亚州立大学 IST）
本研究通过367个实验复现《Network Deconvolution》，验证 network deconvolution 替代批归一化可提升CNN性能，并公开代码、数据及训练耗时结果。
2024-10-02 cs.CV cs.DL cs.LG
Convolutional Deblurring for Natural Imaging
University of Toronto（多伦多大学）
在本文中，我们提出了一种新的设计，图像去模糊的形式，一次卷积滤波，可以直接卷积与自然模糊的图像进行恢复。光学模糊的问题是许多遭受光学缺陷的成像应用的共同缺点。尽管有许多以包含或排除形式盲目估计模糊的去卷积方法，但由于高计算成本和低图像重建质量，它们实际上是具有挑战性的。高精度和高速度是数字存档中高通量成像平台的先决条件。在这样的平台中，在图像采集之后，在被存储、预览或处理以用于高级解释之前，需要去模糊。因此，这种图像的即时校正对于避免可能的时间延迟、减轻计算费用以及提高图像感知质量是重要的。我们通过将去卷积内核合成为有限脉冲响应（FIR）偶导数滤波器的线性组合来弥合这一差距，该滤波器可以直接与模糊输入图像进行卷积，以提高与光学模糊相关的点扩散函数（PSF）的频率下降。我们采用高斯低通滤波器解耦的图像去噪问题的图像边缘去模糊。此外，我们提出了一种盲方法来估计两个高斯和拉普拉斯模型，这是常见的许多成像管道的PSF统计。彻底的实验设计，以测试和验证所提出的方法的效率，使用2054自然模糊的图像在6个成像应用程序和7个国家的最先进的反卷积方法。
2019-07-19 cs.CV eess.IV
DELAD: Deep Landweber-guided deconvolution with Hessian and sparse prior
Technical University of Munich（慕尼黑工业大学）；Helmholtz AI（亥姆霍兹人工智能中心）；GEOMAR Helmholtz Centre for Ocean Research Kiel（基尔亥姆霍兹海洋研究中心（GEOMAR））
我们提出了一个非盲图像去卷积模型，将经典的迭代方法融入深度学习应用程序中。我们没有使用大型过参数化生成网络来创建清晰的图像表示，而是基于迭代Landweber反卷积算法构建网络，该算法与可训练卷积层集成，以增强恢复的图像结构和细节。除了数据保真度项之外，我们还添加了Hessian和稀疏约束作为正则化项，以提高图像重建质量。我们提出的模型是\textit{self-supervised}和收敛到一个解决方案的基础上，纯粹的输入模糊图像和各自的模糊内核，而不需要任何预训练。我们使用标准的计算机视觉基准数据集以及通过我们的增强景深（EDOF）水下显微镜获得的真实显微镜图像来评估我们的技术，展示了我们的模型在现实世界应用中的能力。定量结果表明，我们的方法与最先进的非盲图像去模糊方法相比具有竞争力，尽管只有一小部分参数并且没有经过预训练，这证明了在深度网络中嵌入经典反卷积方法的效率和功效。
2022-09-30 cs.CV eess.IV
Design of Efficient Convolutional Layers using Single Intra-channel Convolution, Topological Subdivisioning and Spatial "Bottleneck" Structure
University of Central Florida（中佛罗里达大学）
深度卷积神经网络以高计算复杂性为代价实现了卓越的视觉识别性能。在本文中，我们基于三种方案设计了一种新的高效卷积层。卷积层中的3D卷积操作可以被认为是同时在每个通道中执行空间卷积和跨通道的线性投影。通过解开它们并顺序排列空间卷积，所提出的层由单个通道内卷积和线性通道投影组成，其中计算可以忽略不计。采用拓扑细分的方法减少了输入输出通道之间的连接。此外，我们还引入了一个空间“瓶颈”结构，利用卷积-投影-反卷积流水线来利用输入中相邻像素之间的相关性。我们的实验表明，所提出的层在准确度/复杂度比方面明显优于标准卷积层。我们的模型实现了与VGG，ResNet-50，ResNet-101相似的精度，同时分别需要42，4.5，6.5倍的计算量。
2017-01-24 cs.CV
Learning Uncertain Convolutional Features for Accurate Saliency Detection
Dalian University of Technology（大连理工大学）
深度卷积神经网络（CNN）在许多计算机视觉任务中提供了卓越的性能。在本文中，我们提出了一种新的深度全卷积网络模型，用于精确的显著目标检测。这项工作的关键贡献是学习深度不确定卷积特征（UCF），这有助于显著性检测的鲁棒性和准确性。我们通过在特定卷积层之后引入重新定义的dropout（R-dropout）来构建内部特征单元的不确定集合来实现这一点。此外，我们提出了一种有效的混合上采样方法，以减少我们的解码器网络中的反卷积算子的棋盘伪影。所提出的方法也可以应用于其他深度卷积网络。与现有的显著性检测方法相比，所提出的UCF模型能够将不确定性纳入更准确的对象边界推断。大量的实验表明，我们提出的显着性模型表现良好，对国家的最先进的方法。不确定特征学习机制以及上采样方法可以显着提高其他像素视觉任务的性能。
2017-08-07 cs.CV
Face Parsing via a Fully-Convolutional Continuous CRF Neural Network
在这项工作中，我们解决了面部解析任务与全卷积连续CRF神经网络（FC-CNN）架构。与之前数百次应用基于区域的子网络的人脸解析方法相比，我们的FC-CNN是完全卷积的，具有很高的分割精度。为了实现这一目标，FC-CNN将三个子网络，一元网络，成对网络和连续条件随机场（C-CRF）网络集成到一个统一的框架中。跨不同卷积层的高级语义信息和低级细节由一元网络中的卷积和解卷积结构捕获。通过成对网络分支学习语义边缘上下文，以构建像素级亲和力。基于可微超像素池化层和可微C-CRF层，通过一种新的连续CRF网络将一元网络和成对网络相结合，以实现深度神经网络训练和测试过程的空间一致性。对LFW-PL和HELEN数据集的综合评估表明，FC-CNN在具有挑战性的图像上准确标记人脸方面的性能优于其他最先进的技术。
2017-08-12 cs.CV
CNN for License Plate Motion Deblurring
Brno University of Technology（布尔诺理工大学）
在这项工作中，我们探讨了以前提出的直接盲反卷积和去噪的方法与卷积神经网络的模糊内核部分约束的情况下。我们专注于模糊图像从现实生活中的交通监控系统，我们，第一次，证明了神经网络训练人工数据提供优越的重建质量的真实图像相比，传统的盲反卷积方法。训练数据很容易通过使用预期模糊核的非常粗略的近似来模糊来自目标系统的清晰照片来获得，从而允许针对特定应用（图像内容和模糊范围）训练自定义CNN。此外，我们还评估了CNN在模糊方向范围和长度方面的行为和限制。
2016-02-25 cs.CV
Recurrent Attentional Networks for Saliency Detection
Nanyang Technological University（南洋理工大学）
可以采用卷积-去卷积网络来执行端到端显著性检测。但是，它们不能很好地处理多尺度的对象。为了克服这样的限制，在这项工作中，我们提出了一个经常性的注意力卷积-去卷积网络（RACDNN）。使用空间Transformer和递归网络单元，RACDNN能够迭代地关注选定的图像子区域，以逐步执行显著性细化。除了解决规模问题外，RACDNN还可以从过去的迭代中学习上下文感知特征，以增强未来迭代中的显着性细化。在几个具有挑战性的显著性检测数据集上的实验验证了RACDNN的有效性，并表明RACDNN优于最先进的显著性检测方法。
2016-04-12 cs.CV cs.LG stat.ML
A Convolution Tree with Deconvolution Branches: Exploiting Geometric Relationships for Single Shot Keypoint Detection
University of Maryland-College Park（马里兰大学帕克分校）
最近，深度卷积网络（DCNN）已被应用于人脸对齐任务，并显示出学习改进特征表示的潜力。虽然更深的层可以捕获像姿势这样的抽象概念，但很难捕获DCNN中关键点之间的几何关系。在本文中，我们提出了一种新的卷积-反卷积网络的人脸关键点检测。我们的模型预测关键点的2D位置及其单独的可见性以及3D头部姿势，同时利用不同关键点之间的空间关系。与现有的建模方法不同，我们提出了可学习的转换函数，它在特征级捕获关键点之间的关系。然而，由于姿势的广泛变化，并不是所有这些关系的行为一次，因此，我们提出了一个基于姿势的路由功能，隐式模型的活动关系。转换功能和路由功能都是通过多任务框架中的卷积来实现的。我们的方法提出了一个单镜头的关键点检测方法，使它不同于许多现有的级联回归为基础的方法。我们还表明，学习这些关系显着提高关键点检测的准确性，在野外人脸图像从具有挑战性的数据集，如AFW和AFLW。
2017-04-06 cs.CV
Fully Convolutional Networks for Dense Semantic Labelling of High-Resolution Aerial Imagery
Defence Science & Technology Group（国防科学技术集团）
高分辨率遥感图像的趋势促进了从土地使用分类向物体一级场景理解的过渡。而不是纯粹依赖于光谱内容，基于外观的图像特征发挥作用。在这项工作中，深度卷积神经网络（CNN）应用于高分辨率遥感数据的语义标记。全卷积网络（FCN）的最新进展适用于开销数据，并与其他领域一样有效。使用深度FCN推断全分辨率标记，无需下采样，从而无需反卷积或插值。为了更好地利用图像特征，预先训练的CNN在混合网络环境中对遥感数据进行微调，与从头开始训练的网络相比，结果更好。所提出的方法适用于高分辨率航空影像，精细的边界细节是很重要的标签的问题。密集的标签为ISPRS Vaihingen和波茨坦基准数据集提供了最先进的准确性。
2016-06-08 cs.CV
Neural Blind Deconvolution Using Deep Priors
Tianjin University（天津大学）；Harbin Institute of Technology（哈尔滨工业大学）
盲解卷积是一个经典而又具有挑战性的低层次视觉问题，具有许多实际应用。传统的基于最大后验（MAP）的方法严重依赖于固定的和手工的先验，这在表征干净图像和模糊核方面肯定是不够的，并且通常采用专门设计的交替最小化来避免琐碎的解决方案。相比之下，现有的深度运动去模糊网络从大量训练图像中学习到干净图像或模糊核的映射，但在处理各种复杂和大尺寸的模糊核方面受到限制。为了连接MAP和深度模型，本文提出了两个生成网络，分别对干净图像和模糊核的深度先验进行建模，并提出了一种无约束神经优化盲反卷积解决方案。特别是，我们采用了一个不对称的自动编码器与跳跃连接产生潜在的清洁图像，和一个全连接网络（FCN）产生模糊核。此外，SoftMax非线性应用于FCN的输出层，以满足非负和等式约束。神经优化的过程可以解释为一种“zero-shot”的生成网络的自监督学习，因此我们提出的方法被称为SelfDeflur。实验结果表明，我们的SelfDeflur可以实现显着的定量增益，以及更直观的去模糊结果相比，最先进的盲反卷积方法的基准数据集和真实世界的模糊图像。源代码可在https://github.com/csdwren/SelfDeblur上获得
2020-03-18 cs.CV
End-to-End Learning for Image Burst Deblurring
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）
提出了一种多帧盲反卷积的神经网络模型方法。判别方法采用并结合了两个最近的技术，图像去模糊到一个单一的神经网络架构。我们提出的混合架构结合了显式预测的反卷积滤波器和非平凡的平均傅立叶系数在频域中。为了充分利用一个突发中所有图像中包含的信息，所提出的网络嵌入了较小的网络，这明确允许模型在早期层的图像之间传输信息。我们的系统使用标准反向传播在一组人工生成的训练样本上进行端到端训练，从而在多帧盲反卷积中实现具有竞争力的性能，无论是在质量还是运行时间方面。
2016-09-06 cs.CV
Chained Predictions Using Convolutional Neural Networks
University of California, Berkeley（加州大学伯克利分校）；Google Inc（谷歌公司）
在本文中，我们提出了一个适应的序列到序列模型的结构化输出预测的视觉任务。在这个模型中，给定输入的输出变量使用神经网络顺序预测。每个输出变量的预测不仅取决于输入，还取决于先前预测的输出变量。该模型应用于空间定位任务，并使用卷积神经网络（CNN）处理输入图像和多尺度解卷积架构，在每个时间步进行空间预测。我们探讨了权重共享与连续预测之间的经常性连接矩阵的影响，并将其与这些权重不绑定的公式进行比较。Untied权重特别适合于具有固定大小结构的问题，其中在不同的步骤中预测不同类别的输出。我们表明，链式预测在从单个图像和视频中进行人体姿态估计方面取得了最佳效果。
2016-10-23 cs.CV
A Unified Multi-scale Deep Convolutional Neural Network for Fast Object Detection
UC San Diego（加州大学圣迭戈分校）；IBM T. J. Watson Research（IBM T. J. Watson 研究院）
提出了一种统一的深度神经网络，表示为多尺度CNN（MS-CNN），用于快速多尺度目标检测。MS-CNN由建议子网络和检测子网络组成。在建议的子网络中，在多个输出层执行检测，以便感受野匹配不同尺度的对象。这些互补的尺度特定的检测器相结合，以产生一个强大的多尺度对象检测器。通过优化多任务丢失，统一网络是端到端学习的。通过反卷积的特征上采样也被探索，作为输入上采样的替代方案，以减少存储器和计算成本。最先进的目标检测性能，高达15 fps，报告的数据集，如KITTI和加州理工学院，包含大量的小对象。
2016-07-25 cs.CV
Comparison of the Deep-Learning-Based Automated Segmentation Methods for the Head Sectioned Images of the Virtual Korean Human Project
Nagoya University（名古屋大学）；Ajou University School of Medicine（亚洲大学医学院）
提出了一种基于深度卷积神经网络（DCNN）的可视韩国人（VKH）项目头部切片图像的端到端全自动分割方法。通过将分类网络转换为全卷积网络（FCN），可以创建比原始输入图像更小的粗预测图，用于分割目的。为了细化该地图并获得密集的像素级输出，标准的FCN使用反卷积层来对粗略的地图进行上采样。然而，基于反卷积的上采样增加了网络参数的数量，并且由于插值而导致细节损失。另一方面，扩张卷积是最近引入的一种新技术，它试图在不增加网络参数的情况下捕获多尺度上下文信息，同时保持预测图的高分辨率。我们使用标准FCN和基于扩张卷积的FCN对VKH数据集的头部切片图像进行语义分割。定量结果表明，当使用扩张卷积的FCN时，分割精度提高了约20%。
2017-03-15 cs.CV
The Treasure beneath Convolutional Layers: Cross-convolutional-layer Pooling for Image Classification
The University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）
最近的一些研究表明，在大型数据集上预训练的深度卷积神经网络（DCNN）可以用作通用图像描述，这在许多视觉分类任务中具有惊人的性能。这些研究中的大多数（如果不是全部的话）采用DCNN的全连接层的激活作为图像或区域表示，并且认为卷积层激活的区分性较低。然而，本文主张，如果使用得当，卷积层激活可以变成一个强大的图像表示，它比全连接层激活具有许多优势。这是通过采用本文提出的称为交叉卷积层池化的新技术来实现的。更具体地说，它提取一个卷积层的特征图的子阵列作为局部特征，并在连续卷积层的特征图的指导下将提取的特征合并。与在局部特征设置中应用DCNN的方法相比，所提出的方法明显更快，因为它需要更少的DCNN前向计算次数。此外，它避免了域不匹配的问题，通常会遇到时，应用全连接层激活来描述局部区域。通过将我们的方法应用到四个流行的视觉分类任务中，证明了所提出的方法可以实现与现有的基于全连接层的图像表示相当或在某些情况下显着更好的性能，同时产生更低的计算成本。
2014-11-27 cs.CV
Equivariant spatio-hemispherical networks for diffusion MRI deconvolution
New York University（纽约大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文提出对E(3)×SO(3)群等变的空间-半球图卷积网络层，利用神经纤维对极对称性加速高维dMRI数据分析，在稀疏球面纤维反卷积中显著提升交叉纤维解析和纤维束追踪的性能与效率。
2024-11-18 cs.CV eess.IV
How convolutional neural network see the world - A survey of convolutional neural network visualization methods
George Mason University（乔治梅森大学）；Clarkson University（克拉克森大学）
如今，卷积神经网络（CNN）在许多与计算机视觉相关的任务上取得了令人印象深刻的性能，如目标检测，图像识别，图像检索等。这些成就得益于CNN具有深层神经元结构和迭代训练过程的输入特征学习能力。然而，从人类视觉的角度来看，这些学习到的特征很难识别和解释，导致人们对CNN的内部工作机制缺乏了解。为了提高CNN的可解释性，CNN可视化被很好地用作定性分析方法，其将内部特征转化为视觉上可感知的模式。许多CNN的可视化工作已经在文献中提出了解释CNN的网络结构，操作和语义概念的角度。在本文中，我们希望提供一个全面的调查几个代表性的CNN可视化方法，包括激活最大化，网络反演，反卷积神经网络（DeconvNet），和基于网络解剖的可视化。这些方法的动机，算法和实验结果。基于这些可视化方法，我们还讨论了它们的实际应用，以证明CNN可解释性在网络设计，优化，安全增强等领域的重要性。
2018-05-31 cs.CV
CycleGAN with a Blur Kernel for Deconvolution Microscopy: Optimal Transport Geometry
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Seoul National University College of Medicine（首尔大学医学院）
解卷积显微术已被广泛用于提高宽视场荧光显微术的分辨率，但经典方法的性能严重依赖于模型和优化算法的准确性。最近，卷积神经网络（CNN）方法已经被研究为快速且高性能的替代方案。不幸的是，CNN方法通常需要匹配的高分辨率图像进行监督训练。在本文中，我们提出了一种新的无监督循环一致生成对抗网络（cycleGAN），具有线性模糊核，可用于盲和非盲图像反卷积。与需要两个深度生成器的传统cycleGAN方法相比，所提出的cycleGAN方法仅需要单个深度生成器和线性模糊核，这显著提高了网络训练的鲁棒性和效率。我们表明，建议的架构确实是一个双重制定的最佳运输问题，使用一种特殊形式的惩罚最小二乘成本作为运输成本。仿真和真实实验数据的实验结果证实了该算法的有效性。
2020-07-08 cs.CV cs.LG eess.IV
Multi-Scale Dual-Branch Fully Convolutional Network for Hand Parsing
Beihang University（北京航空航天大学）；University of Durham（杜伦大学）
最近，全卷积神经网络（FCN）在图像解析（包括场景解析和对象解析）中显示出显著的性能。与一般的物体解析任务不同，由于物体尺寸小、结构复杂、自遮挡严重和纹理模糊等问题，手工解析更具挑战性。在本文中，我们提出了一种新的解析框架，多尺度双分支全卷积网络（MSDB-FCN），手解析任务。我们的网络采用双分支架构来提取手区域的特征，关注手本身。这些特征被用来生成多尺度特征与金字塔池策略。为了更好地编码多尺度特征，我们设计了一个反卷积和双线性插值块（DB-Block），用于上采样和合并不同尺度的特征。为了解决数据不平衡的问题，这是一个常见的问题，在许多计算机视觉任务，以及手解析任务，我们提出了一个推广的焦点损失，即多类平衡焦点损失，以解决数据不平衡的多类分类。在RHD-PARSING数据集上的大量实验表明，我们的MSDB-FCN已经达到了最先进的手工解析性能。
2019-05-24 cs.CV
