Identifying Corresponding Patches in SAR and Optical Images with a Pseudo-Siamese CNN
Technical University of Munich（慕尼黑工业大学）；Remote Sensing Technology Institute, German Aerospace Center（德国航空航天中心遥感技术研究所）
在这封信中，我们提出了一个伪连体卷积神经网络（CNN）的架构，能够解决识别相应的补丁在超高分辨率（VHR）的光学和合成孔径雷达（SAR）遥感图像的任务。在两个并行网络流中使用八个卷积层，用于融合每个流中学习的特征的全连接层，以及基于二进制交叉熵的损失函数，我们实现了两个补丁是否对应的独热指示。该网络是在自动生成的数据集上进行训练和测试的，该数据集基于通过先前重建并随后配准的3D点云对SAR和光学图像进行确定性对齐。从卫星图像中提取组成我们数据集的补丁，显示了包含许多高架物体（即建筑物）的复杂城市场景，从而提供了最困难的实验环境之一。所取得的结果表明，该网络是能够预测相应的补丁具有较高的精度，从而表明进一步发展的潜力，对一个广义的多传感器的关键点匹配过程。索引术语-合成孔径雷达（SAR）、光学成像、数据融合、深度学习、卷积神经网络（CNN）、图像匹配、深度匹配
2018-01-25 cs.CV eess.IV
Deblurring for Spiral Real-Time MRI Using Convolutional Neural Networks
螺旋采集由于其时间效率而在实时MRI中是优选的。螺旋的一个基本限制是由于非共振导致的图像模糊，这会显著降低空气-组织边界处的图像质量。在这里，我们展示了一个简单的基于CNN的去模糊方法，用于人类语音产生的螺旋实时MRI。我们证明了基于CNN的去模糊能够恢复模糊的声道组织边界，而不需要特定于考试的场图。去模糊性能优于当前的自动校准方法，并且略逊于具有场图的完美知识的理想重建。
2020-05-30 eess.IV
Patch-CNN: Training data-efficient deep learning for high-fidelity diffusion tensor estimation from minimal diffusion protocols
University College London（伦敦大学学院）；Institute of Neurology, UCL（伦敦大学学院神经学研究所）
Patch-CNN 提出一种使用最小 3×3×3 卷积核的神经网络，仅需单个受试者训练即可从六方向 DWI 中同时改善扩散张量标量参数和纤维方向估计，从而生成更优的纤维束图。
2023-07-03 cs.CV cs.LG eess.IV
Spatially-Attentive Patch-Hierarchical Network for Adaptive Motion Deblurring
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
本文研究动态场景的运动去模糊问题。尽管端到端全卷积设计最近在非均匀运动去模糊方面取得了最新进展，但其性能-复杂度权衡仍然是次优的。现有的方法通过增加通用卷积层的数量和内核大小来实现大的感受野，但这是以增加模型大小和推理速度为代价的。在这项工作中，我们提出了一个有效的像素自适应和功能注意的设计，处理大的模糊变化在不同的空间位置和处理每个测试图像自适应。我们还提出了一个有效的内容感知的全局-局部过滤模块，不仅考虑全局依赖关系，而且通过动态利用相邻像素信息，显着提高性能。我们使用由上述模块组成的补丁分层注意架构，该模块隐式地发现输入图像中存在的模糊中的空间变化，进而执行中间特征的局部和全局调制。广泛的定性和定量比较与现有技术的去模糊基准表明，我们的设计提供了显着的改进，在国家的最先进的精度以及速度。
2020-04-11 cs.CV eess.IV
CycleGAN with a Blur Kernel for Deconvolution Microscopy: Optimal Transport Geometry
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Seoul National University College of Medicine（首尔大学医学院）
解卷积显微术已被广泛用于提高宽视场荧光显微术的分辨率，但经典方法的性能严重依赖于模型和优化算法的准确性。最近，卷积神经网络（CNN）方法已经被研究为快速且高性能的替代方案。不幸的是，CNN方法通常需要匹配的高分辨率图像进行监督训练。在本文中，我们提出了一种新的无监督循环一致生成对抗网络（cycleGAN），具有线性模糊核，可用于盲和非盲图像反卷积。与需要两个深度生成器的传统cycleGAN方法相比，所提出的cycleGAN方法仅需要单个深度生成器和线性模糊核，这显著提高了网络训练的鲁棒性和效率。我们表明，建议的架构确实是一个双重制定的最佳运输问题，使用一种特殊形式的惩罚最小二乘成本作为运输成本。仿真和真实实验数据的实验结果证实了该算法的有效性。
2020-07-08 cs.CV cs.LG eess.IV
Convolution-Free Medical Image Segmentation using Transformers
Harvard Medical School（哈佛医学院）
与计算机视觉中的其他应用一样，医学图像分割是使用依赖卷积运算作为主要构建块的深度学习模型最成功地解决的。卷积具有重要的性质，如稀疏交互，权重共享和平移等方差。这些属性为卷积神经网络（CNN）提供了一个强大而有用的视觉任务归纳偏差。在这项工作中，我们证明了一种不同的方法，完全基于相邻图像块之间的自我注意力，没有任何卷积运算，可以实现竞争力或更好的结果。给定一个3D图像块，我们的网络将其划分为$n^3$ 3D补丁，其中$n=3 \text{ or } 5$并为每个补丁计算1D嵌入。该网络基于这些块嵌入之间的自关注来预测块的中心块的分割图。我们表明，所提出的模型可以在三个数据集上实现比最先进的CNN更好的分割精度。我们还提出了在大型未标记图像语料库上预训练该模型的方法。我们的实验表明，通过预训练，当标记的训练数据很小时，我们提出的网络相对于CNN的优势可能很明显。
2022-04-03 cs.CV eess.IV
BaMBNet: A Blur-aware Multi-branch Network for Defocus Deblurring
Harbin Institute of Technology（哈尔滨工业大学）；Wuhan University（武汉大学）
有限的光圈尺寸和曝光时间引起的散焦去模糊是计算摄影中的一个重要问题。这是非常具有挑战性的，因为模糊核是空间变化的，难以估计的传统方法。由于卷积神经网络在底层任务上的巨大突破，它被引入到散焦去模糊问题中，并取得了重大进展。然而，它们对散焦模糊图像的不同区域应用相同的核，因此难以处理这些非均匀模糊图像。为此，本研究设计了一种新的模糊感知多分支网络（BaMBNet），其中不同的区域（具有不同的模糊量）应区别对待。特别地，我们通过DP数据的内部几何约束来估计不同区域的模糊量，该DP数据测量左右视图之间的散焦视差。基于不同模糊量的图像区域具有不同的去模糊难度的假设，我们利用具有不同容量（\emph{i.e.}参数）的不同网络来处理不同的图像区域。此外，我们引入了一个元学习散焦掩模生成算法来分配每个像素到一个适当的分支。通过这种方式，我们可以期望在恢复模糊区域的丢失细节的同时很好地保持清晰区域的信息。定量和定性实验都表明，我们的BaMBNet优于最先进的方法。源代码将在https://github.com/junjun-jiang/BaMBNet上提供。
2021-05-31 cs.CV eess.IV
EvBS: Event-guided Blur Synthesis for Domain-adaptive Motion Deblurring
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出事件引导模糊合成框架EvBS，通过解耦运动与内容生成多样训练对，提升预训练去模糊模型的域自适应性能，经多基准实验验证其可增强模型在未见测试集上的鲁棒性。
2026-08-11 cs.CV eess.IV
Deep Super-Resolution Network for Single Image Super-Resolution with Realistic Degradations
University of Udine（乌迪内大学）
单图像超分辨率（SISR）的目的是生成一个给定的低分辨率（LR）图像的高分辨率（HR）图像。现有的大多数基于卷积神经网络（CNN）的SISR方法通常假设LR图像只是HR图像的双三次下采样版本。然而，LR图像的真实退化（即LR图像是HR图像的双三次下采样、模糊和噪声版本）超出了广泛使用的双三次假设，这使得SISR问题具有逆问题的高度不适定性质。为了解决这个问题，我们提出了一个深度SISR网络，它适用于不同大小的模糊内核，以及统一的基于残差CNN的去噪网络中的不同噪声水平，这显着改善了实际应用中基于CNN的超解析器。在合成LR数据集和真实图像上的大量实验结果表明，我们提出的方法不仅可以在更真实的退化上产生更好的结果，而且对实际的SISR应用具有计算效率。
2019-09-09 cs.CV eess.IV
Introducing Hann windows for reducing edge-effects in patch-based image segmentation
Uppsala University（乌普萨拉大学）；SciLifeLab（瑞典国家生命科学实验室）
可以使用计算要求高的方法（例如卷积神经网络（CNN））来处理的图像的大小存在限制。一些成像模式-特别是生物和医学-可以产生高达几千亿像素的图像，这意味着它们必须被分成更小的部分或补丁进行处理。然而，当执行图像分割时，这可能导致不期望的伪影，诸如最终重新组合的图像中的边缘效应。我们从信号处理中引入加窗方法来有效地减少这种边缘效应。假设图像块的中心部分通常比其边和角拥有更丰富的上下文信息，我们通过重叠根据二维窗口加权的块来重建预测。我们比较了四种不同的窗口的结果：Hann，Barton-Hann，Triangular和Cui等人最近提出的窗口，并显示基于余弦的Hann窗口实现了由结构相似性指数（SSIM）测量的最佳改善。所提出的窗口方法可以与任何CNN模型一起用于分割而无需任何修改，并且显着提高了网络预测。
2019-10-17 cs.CV eess.IV
Convolutional 3D to 2D Patch Conversion for Pixel-wise Glioma Segmentation in MRI Scans
Shenzhen University（深圳大学）
结构磁共振成像（MRI）已被广泛用于分析和诊断脑部疾病。脑肿瘤的自动分割是一个具有挑战性的任务，计算机辅助诊断，由于低组织对比度的肿瘤子区域。为了克服这一点，我们设计了一种新的逐像素分割框架，通过卷积3D到2D MR补丁转换模型来预测输入滑动补丁中的中心像素的类标签。准确地说，我们首先从每个模态中提取3D补丁，通过挤压和激励（SE）块校准切片。然后，SE块的输出被直接馈送到后续瓶颈层，以减少通道的数量。最后，校准的2D切片被连接以通过用于预测中心像素的2D卷积神经网络（CNN）获得多模态特征。在我们的架构中，局部切片间和全局切片内特征被联合利用，通过2D CNN分类器来预测给定块中中心体素的类标签。我们通过可训练参数隐式地应用所有模态，为每个序列的分割贡献分配权重。在多模态MRI扫描（BraTS'19）中分割脑肿瘤的实验结果表明，我们提出的方法可以有效地分割肿瘤区域。
2020-10-20 cs.CV eess.IV
Light Field Reconstruction Using Convolutional Network on EPI and Extended Applications
Northeastern University（东北大学）；Tsinghua University（清华大学）；Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）
在本文中，一种新的卷积神经网络（CNN）为基础的框架开发的光场重建从稀疏集的意见。我们表明，重建可以有效地建模为对极平面图像（EPI）的角度恢复。在EPI上直接重建的主要问题涉及空间维度和角度维度之间的信息不对称，其中角度维度中的详细部分被欠采样损坏。在角度维度上直接上采样或超分辨光场会导致重影效果。为了抑制这些重影的影响，我们贡献了一个新的“模糊恢复去模糊”的框架。首先，应用“模糊”步骤，通过将每个EPI切片与选定的模糊核卷积来提取空间维度中的光场的低频分量。然后，“恢复”步骤由CNN实现，其被训练以恢复EPI的角度细节。最后，我们使用非盲“去模糊”操作来恢复被EPI模糊抑制的空间高频。我们在几个数据集上评估了我们的方法，包括合成场景，真实场景和具有挑战性的显微镜光场数据。我们证明了高性能和鲁棒性所提出的框架相比，国家的最先进的算法。我们进一步展示了扩展的应用程序，包括深度增强和非结构化输入的插值。更重要的是，提出了一种新的渲染方法，通过结合所提出的框架和深度信息来处理大的差异。
2021-03-24 cs.CV eess.IV
Rotaflip: A New CNN Layer for Regularization and Rotational Invariance in Medical Images
AstraZeneca（阿斯利康）；University of Cambridge（剑桥大学）
卷积神经网络（CNN）中的正则化通常使用dropout层来解决。然而，在CNN的卷积部分中，dropout有时是有害的，因为它只是将特征图中的像素百分比设置为零，在训练过程中添加了不具有代表性的示例。在这里，我们提出了一个CNN层，它通过在每个卷积层之后将反射的随机旋转应用于一小部分特征图来执行正则化。我们证明了这个概念是如何有益的图像与方向对称性，如在医学图像，因为它提供了一定程度的旋转不变性。我们在两个数据集中测试了这种方法，一组基于补丁的组织病理学图像（PatchCamelyon）使用通用DenseNet进行分类，一组角膜内皮的镜面显微镜图像使用定制的U形网进行分割，提高了两种情况下的性能。
2021-08-05 cs.CV cs.LG eess.IV
Robust CNN Multi-Nested-LSTM Framework with Compound Loss for Patch-based Multi-Push Ultrasound Shear Wave Imaging and Segmentation
提出一种两阶段深度学习流水线，结合Resnet3D编码器、嵌套CNN LSTM与双解码器去噪网络，通过多目标损失实现多推式超声剪切波成像的高质量重建、去噪与分割，在含噪数据上表现优越。
2024-07-30 eess.IV q-bio.QM
SDT-DCSCN for Simultaneous Super-Resolution and Deblurring of Text Images
University of Gabes（加贝斯大学）；University of Sfax（斯法克斯大学）；University of Zaragoza（萨拉戈萨大学）；University of Johannesburg（约翰内斯堡大学）；Taif University（塔伊夫大学）；King Saud University（沙特国王大学）；University of Monastir（莫纳斯提尔大学）
SDT-DCSCN通过深度CNN架构同时实现文本图像的超分辨率和去模糊，具有高效且高精度的性能。
2022-01-15 cs.CV eess.IV
Adversarial Patch Attacks on Monocular Depth Estimation Networks
Graduate School of Engineering, Nagoya University（名古屋大学大学院工学研究科）；Tokyo Institute of Technology（东京工业大学）；Aalborg University（奥尔堡大学）
得益于深度卷积神经网络（CNN）出色的学习能力，近年来使用CNN的单目深度估计取得了巨大成功。然而，从单目图像单独的深度估计基本上是一个不适定的问题，因此，似乎这种方法将具有固有的弱点。为了揭示这一局限性，我们提出了一种对抗性补丁攻击的单目深度估计的方法。更具体地说，我们生成了人工模式（对抗补丁），可以欺骗目标方法估计放置模式的区域的不正确深度。我们的方法可以在现实世界中实现物理放置在真实场景中的印刷图案。我们还分析了攻击下的单眼深度估计的行为，通过可视化的激活水平的中间层和区域的潜在影响的对抗攻击。
2020-10-06 cs.CR cs.CV eess.IV
DeepIlluminance: Contextual Illuminance Estimation via Deep Neural Networks
Hefei University of Technology（合肥工业大学）；Harbin Institute of Technology（哈尔滨工业大学）
计算颜色恒常性是指对场景照明的估计，使感知的颜色在变化的照明下相对稳定。在过去的几年中，深度卷积神经网络（CNN）在光源估计方面表现出色。几种有代表性的方法通过使用CNN学习图像块的局部外观将其表述为多标签预测问题。然而，这些方法不可避免地使不正确的估计模糊补丁的影响，他们的邻域背景。不准确的局部估计在组合成全局预测时可能会带来性能下降。为了解决上述问题，我们提出了一个上下文深度网络，用于基于块的照明估计，并配备了细化。首先，上下文网络与中心环绕架构提取局部上下文特征的图像补丁，并产生初始照明估计和相应的颜色校正补丁。基于具有大色差的像素很好地描述照明的观察来对补丁进行采样。然后，细化网络结合使用中间特征将输入补丁与校正补丁集成以提高性能。为了训练这样一个网络与众多的参数，我们提出了一个阶段明智的训练策略，其中的功能和预测的发光体从以前的阶段提供给下一个学习阶段，更精细的估计恢复。实验表明，我们的方法获得了竞争力的性能在两个光源估计基准。
2019-07-11 cs.AI cs.CV eess.IV
Patch Reordering: a Novel Way to Achieve Rotation and Translation Invariance in Convolutional Neural Networks
University of Science and Technology of China（中国科学技术大学）；University of Technology Sydney（悉尼科技大学）
卷积神经网络（CNN）在许多视觉识别任务中表现出了最先进的性能。然而，卷积和池化操作的组合仅对输入中有意义的对象中的小的局部位置变化示出不变性。有时，这种网络使用数据增强来训练，以将这种不变性编码到参数中，这限制了模型学习这些对象内容的能力。更有效地使用参数预算是将旋转或平移不变性编码到模型架构中，这使模型无需学习它们。为了使模型能够专注于学习对象的内容而不是它们的位置，我们建议在将它们馈送到下一层之前对特征图进行补丁排名。当补丁排名与卷积和池化操作相结合时，尽管输入中有意义的对象的位置，我们还是获得了一致的表示。我们表明，补丁排名模块提高了CNN在许多基准任务，包括MNIST数字识别，大规模图像识别和图像检索的性能。该代码可在https://github.com//jasonustc/caffe-multigpu/tree/TICNN上获得。
2019-11-28 cs.CV cs.LG eess.IV
