Brain Segmentation from k-space with End-to-end Recurrent Attention Network
Siemens Healthineers（西门子医疗）；Rutgers University（罗格斯大学）
医学图像分割的任务通常涉及图像重建步骤，以在任何分析之前将采集的原始数据转换为图像。然而，由于重建过程中的噪声，伪影和信息丢失几乎是不可避免的，这损害了分割的最终性能。我们提出了一种新的学习框架，直接从k空间数据进行磁共振脑图像分割。端到端的框架包括一个独特的任务驱动的注意力模块，该模块反复利用中间分割估计，以促进从原始数据中的图像域特征提取，从而紧密地桥接重建和分割任务。此外，为了解决手动标记的挑战，我们引入了一种新的工作流程，通过利用成像模态模拟器和数字幻影生成标记的训练数据进行分割。大量的实验结果表明，该方法优于几个国家的最先进的方法。
2019-07-21 cs.CV
Recurrent Segmentation for Variable Computational Budgets
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
用于语义图像分割的最先进的系统使用具有固定计算成本的前馈流水线。构建一个在一系列计算预算中工作的图像分割系统是具有挑战性和时间密集型的，因为必须为每个计算设置设计和训练新的架构。为了解决这个问题，我们开发了一个递归神经网络，每次迭代都能连续提高预测质量。重要的是，RNN可以通过仅运行模型进行可变次数的迭代来部署在一系列计算预算中。我们发现，这种架构是唯一适合有效地分割视频。通过利用过去帧的分割，与最先进的图像分割方法相比，RNN可以以类似的质量执行视频分割，但降低了计算成本。当应用于PASCAL VOC 2012和Cityscapes分割数据集中的静态图像时，RNN描绘出一条速度-精度曲线，该曲线在最先进的分割方法的性能附近饱和。
2018-03-15 cs.CV
Combining Fully Convolutional and Recurrent Neural Networks for 3D Biomedical Image Segmentation
University of Notre Dame（圣母大学）
三维图像分割是生物医学图像分析中的一个基本问题。深度学习（DL）方法已经实现了最先进的分割性能。为了利用使用神经网络的3D上下文，已知的DL分割方法（包括3D卷积、与2D图像切片正交的平面上的2D卷积以及多个方向上的LSTM）都与常见3D生物医学图像中的高度各向异性尺寸不兼容。在本文中，我们提出了一种新的用于3D图像分割的DL框架，该框架基于全卷积网络（FCN）和递归神经网络（RNN）的组合，它们分别负责利用切片内和切片间上下文。据我们所知，这是第一个明确利用3D图像各向异性的3D图像分割DL框架。使用ISBI神经元结构分割挑战赛的数据集和内部图像堆栈进行3D真菌分割进行评估，与已知的基于DL的3D分割方法相比，我们的方法取得了令人鼓舞的结果。
2016-09-06 cs.CV
Reformulating Level Sets as Deep Recurrent Neural Network Approach to Semantic Segmentation
Carnegie Mellon University（卡内基梅隆大学）
变分水平集（LS）是一种广泛应用于医学图像分割的方法。然而，它在处理现实世界中的多实例对象时受到限制。此外，它的分割结果是相当敏感的初始设置和高度依赖于迭代次数。为了解决这些问题并将经典的变分LS方法提升到可学习的深度学习方法的新水平，我们提出了一种新的轮廓演化定义，称为递归水平集（RLS）}，以在变分LS泛函的能量最小化下使用门控递归单元。RLS中的曲线变形过程是一个隐态演化过程，通过最小化由拟合力和轮廓长度组成的能量泛函来更新。通过在完全端到端的可训练框架中共享卷积特征，我们将RLS扩展到上下文RLS（CRLS），以解决野外的语义分割。实验结果表明，我们提出的RLS提高了计算时间和分割精度对经典的变化LS为基础的方法，而完全端到端的系统CRLS实现竞争力的性能相比，国家的最先进的语义分割方法。
2017-04-12 cs.CV
Learning Video Instance Segmentation with Recurrent Graph Neural Networks
Linköping University（林雪平大学）；Zenseact；SAAB（萨博）；ETH Zürich（苏黎世联邦理工学院）
大多数现有的视频实例分割方法包括多个模块，这些模块被逐层组合以产生最终输出。相反，制定一个纯粹的基于学习的方法，该方法对时间方面以及解决视频实例分割任务所需的通用跟踪管理进行建模，这是一个非常具有挑战性的问题。在这项工作中，我们提出了一种新的学习公式，其中整个视频实例分割问题是联合建模。我们将一个灵活的模型拟合到我们的公式中，在图神经网络的帮助下，处理每个帧中所有可用的新信息。过去的信息通过循环连接进行考虑和处理。我们证明了所提出的方法在综合实验的有效性。我们的方法，在超过25 FPS的操作，优于以前的视频实时方法。我们进一步进行详细的烧蚀实验，验证我们的方法的不同方面。
2020-12-07 cs.CV
Semantic Video Segmentation by Gated Recurrent Flow Propagation
Lund University（隆德大学）
语义视频分割是具有挑战性的，因为为了构建准确的模型，需要处理和标记大量的数据。在本文中，我们提出了一种深度的端到端可训练的视频分割方法，该方法能够利用未标记数据中的信息来改进语义估计。我们的模型结合了卷积架构和时空Transformer递归层，它们能够通过光流在时间上传播标记信息，并根据其局部估计的不确定性进行自适应门控。流、识别和门控时间传播模块可以端到端地联合训练。我们的模型的时间，门控经常流传播组件可以插入到任何静态语义分割架构，并把它变成一个弱监督的视频处理。我们在具有挑战性的CityScapes和Camvid数据集中进行了大量实验，并基于多个深度架构，结果表明，所产生的模型可以利用未标记的时间帧，紧挨着标记的时间帧，以提高视频分割的准确性和时间标记的一致性，无需额外的注释成本，只需很少的额外计算。
2017-10-02 cs.CV
Recurrent Iterative Gating Networks for Semantic Segmentation
University of Manitoba（曼尼托巴大学）；Ryerson University（瑞尔森大学）；Vector Institute（向量研究所）
在本文中，我们提出了一种称为RIGNet的递归迭代门控方法。RIGNet的核心元素涉及以自上而下的方式控制神经网络中信息流的循环连接，并考虑了核心结构的不同变体。这种机制的迭代性质允许门控在空间范围和特征空间中扩展。这是一个强大的机制，与现有的网络具有广泛的兼容性。分析显示了门控如何与不同的网络特征相互作用，我们还表明，更浅的网络与门控可能会比更深的网络，不包括RIGNet模块，以执行更好。
2018-11-20 cs.CV
End-to-end semantic face segmentation with conditional random fields as convolutional, recurrent and adversarial networks
Radboud University, Donders Institute for Brain, Cognition and Behaviour（拉德堡德大学，唐德斯脑、认知与行为研究所）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Computer Vision Center（计算机视觉中心）；Universitat de Barcelona（巴塞罗那大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）
近年来，在语义分割方面取得了显著的进展。在这里，我们通过利用这些进步的各自优势来解决这个问题。也就是说，我们将四连通图上的条件随机场表示为端到端可训练的卷积和递归网络，并通过对抗过程对其进行估计。重要的是，我们的模型不仅学习一元势，还学习成对势，同时聚合多尺度上下文并控制高阶不一致性。我们在两个标准的语义人脸分割基准数据集上评估了我们的模型，在这两个数据集上都取得了最先进的结果。
2017-03-09 cs.CV
FocusNet: An attention-based Fully Convolutional Network for Medical Image Segmentation
University of York（约克大学）
我们提出了一种新的技术，将注意力纳入卷积神经网络使用由一个单独的卷积自动编码器生成的特征图。我们的注意力架构非常适合与深度卷积网络结合。我们在皮肤癌分割和肺部病变分割的基准分割数据集上评估了我们的模型。结果显示，与U-Net及其残差变体相比，具有很强的竞争力。
2019-02-08 cs.CV
BiSeg: Simultaneous Instance Segmentation and Semantic Segmentation with Fully Convolutional Networks
我们提出了一个简单而有效的框架，同时语义分割和实例分割与全卷积网络（FCN）。该方法称为BiSeg，预测实例分割作为贝叶斯推理的后验，其中语义分割用作先验。我们扩展了最近的方法中使用的位置敏感的得分地图的想法，在不同的尺度和分区模式的多个得分地图的融合，并采用它作为一个强大的可能性实例分割推理。由于贝叶斯推理和地图融合都是按像素执行的，因此BiSeg是一种完全卷积的端到端解决方案，继承了FCN的所有优点。我们展示了PASCAL VOC的最先进的实例分割精度。
2017-07-18 cs.CV
Recurrent Multimodal Interaction for Referring Image Segmentation
Johns Hopkins University（约翰斯·霍普金斯大学）；Adobe Research（Adobe 研究院）
在本文中，我们感兴趣的问题，图像分割给定的自然语言的描述，即引用表达式。现有的作品解决这个问题，首先建模图像和句子独立，然后分割图像结合这两种类型的表示。我们认为，从联合建模图像分割任务的两种模态的意义上说，学习单词到图像的交互更原生，我们提出了卷积多模态LSTM来编码单个单词，视觉信息和空间信息之间的顺序交互。我们表明，我们提出的模型优于基准数据集上的基线模型。此外，我们还分析了所提出的多模态LSTM方法的中间输出，并实证解释了这种方法如何实现更有效的文字到图像的交互。
2017-08-04 cs.CV
Learning Spectral-Spatial-Temporal Features via a Recurrent Convolutional Neural Network for Change Detection in Multispectral Imagery
German Aerospace Center (DLR)（德国航空航天中心）；Technical University of Munich (TUM)（慕尼黑工业大学）；University of Trento（特伦托大学）
变化检测是地球观测的核心问题之一，近几十年来得到了广泛的研究。在本文中，我们提出了一种新的循环卷积神经网络（ReCNN）架构，它被训练学习一个联合的频谱-空间-时间特征表示在一个统一的框架中的变化检测多光谱图像。为此，我们将卷积神经网络（CNN）和递归神经网络（RNN）合并为一个端到端网络。前者能够生成丰富的光谱-空间特征表示，而后者有效地分析了双时图像的时间依赖性。与以往的变化检测方法相比，该网络结构具有三个显著的特点：1）它是端到端的可训练的，与大多数现有的方法相比，其组件是单独训练或计算的; 2）它自然地利用已被证明有利于变化检测任务的空间信息; 3）它能够自适应地学习多时间图像之间的时间依赖性，而不像大多数算法使用相当简单的操作，如图像差分或堆叠。据我们所知，这是第一次提出用于多时相遥感图像分析的递归卷积网络架构。该网络在实际多光谱数据集上进行了验证。实验结果的可视化和定量分析表明，在所提出的模式具有竞争力的性能。
2018-03-07 cs.CV
Iterative Deep Convolutional Encoder-Decoder Network for Medical Image Segmentation
在本文中，我们提出了一种新的医学图像分割使用迭代深度学习框架。我们结合了迭代学习方法和编码器-解码器网络来改善分割结果，这使得能够以迭代方式精确定位包括医学图像的复杂形状或详细纹理的感兴趣区域（ROI）。所提出的迭代深度卷积编码器-解码器网络由两个主要路径组成：卷积编码器路径和具有迭代学习的卷积解码器路径。实验结果表明，所提出的迭代深度学习框架能够为各种医学图像产生优异的医学图像分割性能。通过与现有医学图像分割方法的比较，证明了该方法的有效性。
2017-08-11 cs.CV
LiDAR-based Recurrent 3D Semantic Segmentation with Temporal Memory Alignment
Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；AUDI AG（奥迪股份公司）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Fraunhofer IOSB（弗劳恩霍夫光学、系统技术与图像利用研究所）
理解和解释3d环境是自动驾驶汽车面临的一个关键挑战。三维点云的语义分割将三维信息与语义相结合，从而为这项任务做出了有价值的贡献。在许多实际应用中，点云是由激光雷达传感器以连续的方式生成的。使用时间序列而不是单个和独立的帧可以利用时间信息。因此，我们提出了一个经常性的分割架构（RNN），它需要一个单一的范围图像帧作为输入，并利用递归聚合的时间信息。对齐策略，我们称之为时间记忆对齐，使用自我运动在特征空间中的连续帧之间的时间对齐的记忆。研究了残差网络和ConvGRU用于存储器更新。我们在两个大规模数据集上展示了所提出的方法的好处，并将其与几种最先进的方法进行了比较。我们的方法在SemanticKITTI多扫描基准测试中排名第一，并在单扫描基准测试中实现了最先进的性能。此外，评估表明，利用时间信息显着提高分割结果相比，一个单一的帧的方法。
2021-03-03 cs.CV
Fully Convolutional Instance-aware Semantic Segmentation
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
我们为实例感知语义分割任务提出了第一个完全卷积的端到端解决方案。它继承了FCN在语义分割和实例掩码建议方面的所有优点。它联合执行实例掩码预测和分类。底层卷积表示在两个子任务之间以及所有感兴趣区域之间完全共享。所提出的网络是高度集成的，并实现了最先进的性能，在准确性和效率。在COCO 2016细分市场竞争中以较大优势胜出。代码将在\url{https://github.com/daijifeng001/TA-FCN}发布。
2017-04-10 cs.CV
Recurrent Generic Contour-based Instance Segmentation with Progressive Learning
University of Science and Technology of China（中国科学技术大学）；Zhangjiang Laboratory（张江实验室）；The University of Adelaide（阿德莱德大学）；Australian Institute for Machine Learning（澳大利亚机器学习研究所）
本文提出 PolySnake 循环轮廓细化网络，通过迭代更新与语义表示实现通用实例分割，并在场景文本和车道检测任务上验证其泛化优势。
2024-01-22 cs.CV
Fully Convolutional Networks for Semantic Segmentation
UC Berkeley（加州大学伯克利分校）
卷积网络是一种强大的视觉模型，可以产生层次结构的特征。我们证明了卷积网络本身，经过端到端，像素到像素的训练，在语义分割方面超过了最先进的技术。我们的关键见解是构建“全卷积”网络，该网络接受任意大小的输入，并通过有效的推理和学习产生相应大小的输出。我们定义并详细描述了全卷积网络的空间，解释了它们在空间密集预测任务中的应用，并绘制了与先验模型的连接。我们将当代分类网络（AlexNet，VGG网络和GoogLeNet）适应于完全卷积网络，并通过微调将其学习的表示转移到分割任务中。然后，我们定义了一种新的架构，结合语义信息从一个深，粗层与外观信息从一个浅，细层，以产生准确和详细的分割。我们的全卷积网络实现了PASCAL VOC（2012年平均IU为62.2%，相对提高了20%），NYUDv2和SIFT Flow的最先进分割，而典型图像的推理时间为三分之一秒。
2015-03-08 cs.CV
Densely Connected Recurrent Residual (Dense R2UNet) Convolutional Neural Network for Segmentation of Lung CT Images
Washington University School of Medicine（华盛顿大学医学院）
深度学习网络已经为语义分割提供了最先进的性能。这些技术被广泛应用于医学检测、分割和分类。基于U-Net的架构的出现对于该应用已经变得特别流行。本文提出了基于U-Net模型结构的递归残差卷积神经网络（Dense R2 U CNN），它是递归CNN、残差网络和稠密卷积网络的综合。残差单元有助于训练更深的网络，而密集的递归层增强了分割所需的特征传播。在基准肺部病变数据集上测试的所提出的模型在分割任务上表现出比其等效模型更好的性能。
2021-02-01 cs.CV cs.LG eess.IV
End-to-End Instance Segmentation with Recurrent Attention
University of Toronto（多伦多大学）；Canadian Institute for Advanced Research（加拿大高级研究院）
虽然卷积神经网络最近在解决语义分割等结构化预测问题方面取得了令人印象深刻的成功，但区分场景中的单个对象实例仍然是一个挑战。实例分割在各种应用中非常重要，例如自动驾驶、图像字幕和视觉问答。已经提出了将大型图形模型与低级视觉相结合的技术来解决这个问题;然而，我们提出了一个端到端的递归神经网络（RNN）架构，该架构具有注意力机制来模拟类似人类的计数过程，并产生详细的实例分割。该网络被联合训练以顺序地产生感兴趣的区域以及每个区域内的主要对象分割。该模型在CVPPP、KITTI和Cityscapes数据集上取得了有竞争力的结果。
2017-07-13 cs.CV cs.LG
Recurrent Instance Segmentation
University of Oxford（牛津大学）
实例分割是检测和描绘图像中出现的每个不同的感兴趣对象的问题。当前的实例分割方法由彼此独立训练的模块集合组成，因此错过了联合学习的机会。在这里，我们提出了一个新的实例分割范例，包括在一个端到端的方法，学习如何分段实例顺序。该模型基于一个递归神经网络，该网络一次一个地顺序查找对象及其分割。这个网络提供了一个空间存储器，可以跟踪已经解释的像素，并允许遮挡处理。为了训练模型，我们设计了一个原则性的损失函数，准确地表示实例分割问题的属性。在进行的实验中，我们发现我们的方法在多人分割方面优于最近的方法，并且在植物表型数据集上进行叶子计数的所有最先进的方法。
2016-10-24 cs.AI cs.CV
Skin Cancer Segmentation and Classification with NABLA-N and Inception Recurrent Residual Convolutional Networks
University of Dayton（代顿大学）
在过去的几年中，深度学习（DL）在不同形式的生物医学图像分析中表现出卓越的性能。已经提出了几种DL架构用于医学成像和计算病理学中的分类、分割和检测任务。在本文中，我们提出了一种新的DL架构，NABLA-N网络，具有更好的特征融合技术，在解码单元皮肤镜图像分割任务。NABLA-N网络在分割任务方面有一些进步。首先，该模型确保了更好的特征表示语义分割与低到高级别的特征图的组合。其次，与其他方法相比，该网络在相同或更少的网络参数下显示出更好的定量和定性结果。此外，初始递归残差卷积神经网络（IRRCNN）模型用于皮肤癌分类。建议的NABLA-N网络和IRRCNN模型在国际皮肤成像合作组织2018（ISIC-2018）的基准数据集上进行皮肤癌分割和分类评估。实验结果表明，与递归残差U-网（R2 U-网）相比，该算法在分割任务上具有更好的性能。分类模型在ISIC 2018数据集上显示皮肤镜皮肤癌分类的测试准确率约为87%。
2019-04-25 cs.CV eess.IV
RDCNet: Instance segmentation with a minimalist recurrent residual network
Friedrich Miescher Institute for Biomedical Research (FMI)（弗里德里希·米歇勒生物医学研究所（FMI））；Faculty of Sciences, University of Basel（巴塞尔大学理学院）；University of Basel（巴塞尔大学）
实例分割是定量显微镜的关键步骤。虽然已经提出了几种基于机器学习的方法来解决这个问题，但它们中的大多数依赖于在代理任务上训练的计算复杂的模型。基于端到端可训练实例分割的最新发展，我们提出了一种称为递归扩张卷积网络（RDCNet）的最小递归网络，由一个共享的堆栈扩张卷积（sSDC）层组成，该层迭代地细化其输出，从而生成可解释的中间预测。它重量轻，有几个关键的超参数，这可能与物理方面，如对象的大小或密度。我们进行了灵敏度分析的主要参数，我们证明了它的通用性3个任务与不同的成像模式：核分割的H&E幻灯片，从光片荧光显微镜的3D各向异性堆栈和叶片分割的顶视图图像的植物。它在3个数据集中的2个上达到了最先进的水平。
2020-10-02 cs.CV cs.LG
Image segmentation with traveling waves in an exactly solvable recurrent neural network
Western University（韦仕敦大学）；Western Institute for Neuroscience（韦仕敦神经科学研究所）；Western Academy for Advanced Research（韦仕敦高等研究院）；University of Amsterdam（阿姆斯特丹大学）
本文提出一种基于复数状态循环神经网络行波动力学的方法，通过精确数学解揭示图像分割机制，并证明单一固定权重网络可泛化分割从简单几何图形到自然图像的目标。
2023-11-28 cs.CV cs.LG cs.NE
R2U3D: Recurrent Residual 3D U-Net for Lung Segmentation
University of Dayton（代顿大学）；St. Jude Children's Research Hospital（圣裘德儿童研究医院）；Microsoft（微软）
3D肺部分割是必不可少的，因为它处理肺部的体积信息，去除扫描的不必要区域，并在3D体积中分割肺部的实际区域。最近，深度学习模型（如U-Net）在生物医学图像分割方面优于其他网络架构。在本文中，我们提出了一种新的模型，即，经常性残差三维U-网络（R2U3D），三维肺分割任务。特别是，该模型将3D卷积集成到基于U-Net的递归残差神经网络中。它有助于学习3D中的空间依赖性，并增加3D体积信息的传播。建议的R2U3D网络在公开可用的数据集LUNA16上进行训练，并且在LUNA16（测试集）和VESSEL 12数据集上都达到了最先进的性能。此外，我们还证明了用较少数量的CT扫描来训练R2U3D模型，即，100次扫描，在没有应用数据增强的情况下实现了0.9920的软骰子相似系数（Soft-DSC）的出色结果。
2021-05-05 cs.CV eess.IV
Abdominal Multi-Organ Segmentation Based on Feature Pyramid Network and Spatial Recurrent Neural Network
Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）
针对超声图像分割，考虑器官尺寸差异和空间关系，提出结合FPN与SRNN的模型，以提升腹部多器官分割的准确性和稳健性。
2023-08-29 cs.AI cs.CV
Recurrent Feature Propagation and Edge Skip-Connections for Automatic Abdominal Organ Segmentation
Shenzhen University（深圳大学）；Tianjin University（天津大学）
针对CT图像腹部器官分割中复杂器官交互和模糊边界问题，提出包含边缘检测器、边缘跳跃连接和循环特征传播头的3D网络，通过显式边缘先验和空间上下文建模显著提升小而复杂器官的分割性能。
2023-05-19 cs.CV eess.IV
Virtual Temporal Samples for Recurrent Neural Networks: applied to semantic segmentation in agriculture
University of Bonn（波恩大学）
本文探讨了在农业机器人的背景下，没有时间标记的数据进行时间语义分割的潜力。我们实现这一点，建议从标记的静态图像生成虚拟的时间样本。通过利用相对静态的场景，并假设机器人（摄像机）移动，我们能够生成虚拟标记的时间序列，无需额外的注释工作。通常，为了训练递归神经网络（RNN），需要来自视频（时间）序列的标记样本，这是费力的并且阻碍了该方向的工作。通过生成虚拟时间样本，我们证明了训练一个轻量级的RNN对两个具有挑战性的农业数据集进行语义分割是可能的。我们的研究结果表明，通过使用虚拟样本训练时间语义分割器，我们可以分别在甜椒和甜菜数据集上增加$4.6$和$4.9$的绝对量。这表明，我们的虚拟数据增强技术是能够准确地分类农业图像的时间，而不使用复杂的合成数据生成技术，也没有标记大量的时间序列的开销。
2021-09-05 cs.CV cs.RO
Sparse Convolutional Recurrent Learning for Efficient Event-based Neuromorphic Object Detection
TU Delft（代尔夫特理工大学）；imec（imec研究所）；University of Twente（特文特大学）；TU Eindhoven（埃因霍温理工大学）；Maastricht University（马斯特里赫特大学）
针对稀疏事件数据处理计算量大、难以部署在边缘端的问题，提出稀疏事件高效检测器SEED与稀疏卷积循环学习方法，实现超92%激活稀疏度，在数据集上验证了其在保持mAP的同时大幅降低运算量，为长时程事件目标检测提供了高效神经形态部署方案。
2025-06-16 cs.CV cs.NE
ReSeg: A Recurrent Neural Network-based Model for Semantic Segmentation
Politecnico di Milano（米兰理工大学）；Montreal Institute for Learning Algorithms (MILA)（蒙特利尔学习算法研究所（MILA））；University of Montreal（蒙特利尔大学）；Center for Data Science, New York University（纽约大学数据科学中心）；New York University（纽约大学）
我们提出了一个结构化的预测架构，它利用本地通用功能提取的卷积神经网络和递归神经网络（RNN）检索遥远的依赖关系的能力。建议的架构，称为ReSeg，是基于最近推出的ReNet模型的图像分类。我们修改和扩展它，以执行更具挑战性的任务的语义分割。每个ReNet层由四个RNN组成，它们在两个方向上水平和垂直扫描图像，编码补丁或激活，并提供相关的全局信息。此外，ReNet层堆叠在预训练的卷积层之上，受益于通用局部特征。上采样层跟随ReNet层，以在最终预测中恢复原始图像分辨率。所提出的ReSeg架构是高效、灵活的，并且适合于各种语义分割任务。我们在几个广泛使用的语义分割数据集上评估了ReSeg：Weizmann Horse，Oxford Flower和CamVid;实现了最先进的性能。结果表明，ReSeg可以作为一个合适的架构用于语义分割任务，并可能在其他结构化预测问题中有进一步的应用。源代码和模型超参数可在https://github.com/fvisin/reseg上获得。
2016-05-24 cs.CV cs.LG
Robust Semantic Segmentation in Adverse Weather Conditions by means of Fast Video-Sequence Segmentation
Ulm University（乌尔姆大学）
语义分割等计算机视觉任务在良好的天气条件下表现非常好，但如果天气转坏，它们在这些条件下实现这种性能就有问题了。在恶劣天气条件下获得更稳健和可靠结果的一种可能性是使用视频分割方法而不是常用的单图像分割方法。视频分割方法除了捕获当前图像信息之外还捕获先前视频帧的时间信息，因此，它们对干扰更鲁棒，特别是如果它们仅发生在视频序列的几个帧中。然而，视频分割方法，这往往是基于递归神经网络，不能应用于实时应用程序了，因为他们在网络中的递归结构是计算昂贵的。例如，LSTM-ICNet的推理时间，其中在单一分割方法ICNet中将重复单元放置在适当的位置，与基本ICNet相比增加了61%。因此，在这项工作中，LSTM-ICNet通过修改网络的循环单元来加速，以便它再次具有实时能力。在不同数据集和各种天气条件下的实验表明，通过这些修改，推理时间可以减少约23%，而它们的性能与LSTM-ICNet相似，并且在恶劣天气条件下大大优于单分割方法。
2020-07-01 cs.CV cs.LG eess.IV
Recurrent U-Net for Resource-Constrained Segmentation
EPFL（洛桑联邦理工学院）
最先进的分割方法依赖于非常深的网络，这些网络在没有非常大的训练数据集的情况下并不总是容易进行训练，并且在标准GPU上运行往往相对较慢。在本文中，我们介绍了一种新的递归U-Net架构，它保留了原始U-Net的紧凑性，同时大幅提高了其性能，使其在几个基准测试中的性能超过了最先进的水平。我们将证明其有效性的几个任务，包括手分割，视网膜血管分割，道路分割。我们还介绍了一个大规模的数据集的手分割。
2019-06-11 cs.CV
ReNet: A Recurrent Neural Network Based Alternative to Convolutional Networks
Politecnico di Milano（米兰理工大学）；University of Montreal（蒙特利尔大学）
在本文中，我们提出了一个深度神经网络架构的对象识别基于递归神经网络。该网络被称为ReNet，它用四个循环神经网络取代了深度卷积神经网络中无处不在的卷积+池化层，这些循环神经网络在图像的两个方向上水平和垂直扫描。我们在三个广泛使用的基准数据集上评估了建议的ReNet; MNIST，CIFAR-10和SVHN。结果表明，ReNet是深度卷积神经网络的可行替代方案，需要进一步研究。
2015-07-23 cs.CV
Improving Deep Pancreas Segmentation in CT and MRI Images via Recurrent Neural Contextual Learning and Direct Loss Function
University of Florida（佛罗里达大学）；National Institutes of Health Clinical Center（国立卫生研究院临床中心）
深度神经网络已经证明了对具有挑战性的器官（例如，胰腺）进行腹部CT和MRI扫描。当前的深度学习方法通过对每个图像进行深度、密集的每像素掩蔽来独立地处理2D图像切片的序列来进行胰腺分割，而不对连续切片的分割明确地实施空间一致性约束。我们提出了一种新的卷积/递归神经网络架构来解决上下文学习和分割一致性问题。首先从头开始设计和预训练深度卷积子网络。然后，该网络模块的输出层连接到递归层，并且可以以端到端的方式针对上下文学习进行微调。我们的递归子网络是一种长短期记忆（LSTM）网络，它通过整合其相邻切片分割预测来对图像进行分割，其形式是依赖序列处理。此外，提出了一种新的分段直接损失函数（称为Jaccard损失），并训练深度网络以直接优化Jaccard指数（JI）。进行了大量的实验，以验证我们提出的深度模型，定量胰腺分割使用CT和MRI扫描。我们的方法分别优于CT [11]和MRI胰腺分割[1]的最新工作。
2017-07-18 cs.CV
TricorNet: A Hybrid Temporal Convolutional and Recurrent Network for Video Action Segmentation
University of Rochester（罗切斯特大学）
近年来，动作分割作为构建自动系统以理解未修剪视频的里程碑受到了相当大的关注。它通常被建模为序列标记问题，但包含与文本解析或语音处理相比的内在和充分的差异。在本文中，我们介绍了一种新的混合时间卷积和递归网络（TricorNet），它具有编码器-解码器架构：编码器由一个层次的时间卷积内核组成，可以捕获不同动作的局部运动变化;解码器是一个层次的递归神经网络，能够在编码阶段之后学习和记忆长期动作依赖关系。我们的模型很简单，但在视频序列标记方面非常有效。在三个公共行为分割数据集上的实验结果表明，该模型的性能优于现有技术。
2017-05-22 cs.CV
Spatially Supervised Recurrent Convolutional Neural Networks for Visual Object Tracking
University of Missouri（密苏里大学）；TCL Research America（TCL美国研究院）
在本文中，我们开发了一种新的方法，空间监督递归卷积神经网络的视觉目标跟踪。我们的递归卷积网络利用了位置的历史以及深度神经网络学习的独特视觉特征。受最近用于目标检测的限界框回归方法的启发，我们研究了时间域中长短期记忆（LSTM）的回归能力，并提出将卷积网络产生的高级视觉特征与区域信息连接起来。与现有的基于深度学习的跟踪器相比，这些跟踪器对区域候选者使用二进制分类，我们使用回归来直接预测卷积层和递归单元的跟踪位置。我们在具有挑战性的基准视频跟踪数据集上与最先进的跟踪方法进行了广泛的实验结果和性能比较，结果表明，我们的跟踪器更准确，更强大，同时保持较低的计算成本。对于大多数测试视频序列，我们的方法实现了最好的跟踪性能，往往优于第二个最好的大幅度。
2016-07-19 cs.CV
Convolutional Neural Networks with Gated Recurrent Connections
University of Oxford（牛津大学）；Tsinghua University（清华大学）
卷积神经网络（CNN）已成为解决许多计算机视觉问题的基本模型。近年来，受动物视觉系统中丰富的循环连接的启发，提出了一类新的CNN，循环卷积神经网络（RCNN）。RCNN的关键元素是递归卷积层（RCL），它在标准卷积层中包含神经元之间的递归连接。随着循环计算次数的增加，RCL中神经元的感受野（RF）无限扩展，这与生物学事实不符。我们建议通过在递归连接中引入门来调节神经元的RF。门控制输入到神经元的上下文信息的量，并且神经元的RF因此变得自适应。生成的层称为门控递归卷积层（GRCL）。多个GRCL构成一个称为门控RCNN（GRCNN）的深度模型。GRCNN在几个计算机视觉任务上进行了评估，包括目标识别，场景文本识别和目标检测，并获得了比RCNN更好的结果。此外，当与其他自适应RF技术相结合时，GRCNN在这些任务的基准数据集上表现出与最先进模型的竞争性能。代码在\href{https://github.com/Jianf-Wang/GRCNN}{https://github.com/Jianf-Wang/GRCNN}发布。
2021-06-05 cs.CV
Consistent Recurrent Neural Networks for 3D Neuron Segmentation
Harvard University（哈佛大学）
我们提出了一个递归网络的神经元的三维重建，顺序生成二进制掩码的图像中的每个对象的时空一致性。我们的网络模型在两个部分中的一致性：（i）局部，这允许通过双向递归来探索非遮挡和时间相邻的对象关系。(ii)非本地的，这允许在时间域中利用跳过连接来探索长距离对象关系。我们提出的网络是从输入图像到对象掩码序列的端到端可训练的，并且与依赖于对象边界的方法相比，其输出不需要后处理。我们在神经元分割的三个基准上评估了我们的方法，并在SNEMI3D挑战中实现了最先进的性能。
2021-02-01 cs.CV
Deeply-Supervised Recurrent Convolutional Neural Network for Saliency Detection
Harbin Institute of Technology（哈尔滨工业大学）
本文提出了一种新的显著性检测方法，通过开发一个深度监督的递归卷积神经网络（DSRCNN），它执行一个完整的图像到图像的显著性预测。对于显著性检测，显著对象的局部、全局和上下文信息对于获得高质量的显著性图是重要的。为了实现这一目标，DSRCNN基于VGGNet-16设计。首先，将递归连接合并到每个卷积层中，这可以使模型更强大地学习上下文信息。其次，增加侧输出层进行深度监督操作，通过影响中间层，使模型学习到更具鉴别力和鲁棒性的特征。最后，对所有的侧输出进行融合，综合局部和全局信息，得到最终的显著性检测结果。因此，DSRCNN结合了递归卷积神经网络和深度监督网络的优点。在5个基准数据集上对DSRCNN模型进行了测试，实验结果表明，该方法在所有测试数据集上的显著性检测性能均明显优于现有的显著性检测方法。
2016-08-18 cs.CV
Adaptive Detrending to Accelerate Convolutional Gated Recurrent Unit Training for Contextual Video Recognition
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Okinawa Institute of Science and Technology Graduate University（冲绳科学技术大学院大学）
随着图像识别技术的发展，视频识别技术成为当前研究的热点。然而，大多数现有的方法都集中在短期而不是长期的视频识别，称为上下文视频识别。为了解决上下文视频识别问题，我们使用具有丰富时空信息处理能力的卷积递归神经网络（ConvRNN），但ConvRNN需要大量计算，这会减慢训练速度。在本文中，受归一化和去趋势方法的启发，我们提出了用于时间归一化的自适应去趋势（AD），以加速ConvRNN的训练，特别是卷积门控递归单元（ConvGRU）。AD通过减去趋势来去除递归神经网络（RNN）中每个神经元的序列内的内部协变量偏移。在ConvGRU的上下文识别实验中，结果表明：（1）ConvGRU明显优于前馈神经网络，（2）AD始终提供显着的训练加速和泛化改进，（3）AD通过与现有的归一化方法合作得到进一步改进。
2017-05-24 cs.CV
Few-Shot Segmentation via Rich Prototype Generation and Recurrent Prediction Enhancement
Dalian University of Technology（大连理工大学）
原型学习和解码器构造是Few-Shot分割的关键。然而，现有的方法只使用单一的原型生成模式，这不能处理的棘手问题，对象的各种规模。此外，以前的方法所采用的单向前向传播可能会导致信息稀释注册的功能在解码过程中。在这项研究中，我们提出了一个丰富的原型生成模块（RPGM）和一个经常性的预测增强模块（RPEM），以加强原型学习范式和建立一个统一的内存增强解码器的Few-Shot分割，分别。具体而言，RPGM结合超像素和K均值聚类，以生成具有互补尺度关系的丰富原型特征，并适应支持图像和查询图像之间的尺度差距。RPEM利用递归机制设计了一个双向传播解码器。以这种方式，注册的特征可以连续地提供对象感知信息。实验结果表明，该方法在PASCAL- ${{5}^{i}}$和COCO- ${{20}^{i}}$两个常用的基准测试中的性能始终优于其他竞争者.
2022-10-03 cs.CV
Inception Recurrent Convolutional Neural Network for Object Recognition
University of Dayton（代顿大学）；Comcast Labs（康卡斯特实验室）
深度卷积神经网络（DCNN）是用于解决机器学习和计算机视觉领域中的各种问题的有影响力的工具。在本文中，我们介绍了一种新的深度学习模型，称为Inception- Recurrent卷积神经网络（IRCNN），它利用了DCNN架构中结合递归层的Inception网络的功能。我们使用不同的基准数据集（如MNIST，CIFAR-10，CIFAR- 100和SVHN）对所提出的IRCNN模型的识别性能进行了经验评估。实验结果表明，与大多数流行的DCNN（包括RCNN）相比，识别精度相似或更高。此外，我们还使用CIFAR-100数据集研究了IRCNN与等效的Inception Networks和Inception-Residual Networks的性能。我们报告了与RCNN，等效的Inception Networks和Inception- Residual Networks相比，在增强的CIFAR- 100数据集上分别提高了约3.5%，3.47%和2.54%的分类精度。
2017-04-25 cs.CV
Recurrent neural networks for aortic image sequence segmentation with sparse annotations
Imperial College London（帝国理工学院）；UK Dementia Research Institute（英国痴呆症研究所）
图像序列的分割是医学图像分析中的一项重要任务，它使临床医生能够评估运动器官的解剖结构和功能。然而，将分割算法直接应用于序列的每个时间帧可能会忽略序列中固有的时间连续性。在这项工作中，我们提出了一种图像序列分割算法，通过结合一个完全卷积网络与递归神经网络，它将空间和时间信息的分割任务。训练该网络的一个关键挑战是可用的手动注释在时间上是稀疏的，这禁止端到端训练。我们通过在注释上执行非刚性标签传播并引入指数加权的损失函数进行训练来解决这一挑战。主动脉MR图像序列的实验表明，该方法显着提高了准确性和时间平滑的分割，相比，基线方法，仅利用空间信息。它实现了升主动脉的平均Dice度量为0.960，降主动脉的平均Dice度量为0.953。
2018-08-01 cs.CV
Convolutional Recurrent Network for Road Boundary Extraction
Uber Advanced Technologies Group（优步先进技术集团）；MIT（麻省理工学院）；University of Toronto（多伦多大学）
创建包含场景静态元素精确信息的高清地图对于使自动驾驶汽车能够安全驾驶至关重要。在本文中，我们解决的问题，可行驶的道路边界提取激光雷达和摄像机图像。为了实现这一目标，我们设计了一个结构化模型，其中一个完全卷积的网络获得编码道路边界的位置和方向的深度特征，然后，卷积递归网络输出每个道路边界的一个递归表示。重要的是，我们的方法是全自动的，不需要用户参与循环。我们展示了我们的方法在北美一个大城市，我们获得完美的道路边界拓扑结构的99.3%的时间在一个高精度和召回的有效性。
2020-12-21 cs.CV
RVOS: End-to-End Recurrent Network for Video Object Segmentation
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）
多目标视频对象分割是一项具有挑战性的任务，特别是对于zero-shot的情况下，当没有对象掩模在初始帧中给出，模型必须沿着序列找到要分割的对象。在我们的工作中，我们提出了一个用于多对象视频对象分割（RVOS）的递归网络，它是完全端到端可训练的。我们的模型在两个不同的域上结合了递归：（i）空间域，它允许在一个帧内发现不同的对象实例，以及（ii）时间域，它允许保持分割对象在时间上的一致性。我们训练RVOS进行zero-shot视频对象分割，并且是第一个报告DAVIS-2017和YouTube-VOS基准测试定量结果的公司。此外，我们适应RVOS单镜头视频对象分割通过使用在以前的时间步骤中获得的掩模作为输入由递归模块处理。我们的模型达到了与YouTube-VOS基准测试中最先进的技术相当的结果，并且在DAVIS-2017基准测试中优于所有以前不使用在线学习的视频对象分割方法。此外，我们的模型实现了比以前的方法更快的推理运行时间，在P100 GPU上达到44 ms/帧。
2019-05-21 cs.CV
Pancreas segmentation with probabilistic map guided bi-directional recurrent UNet
Shanghai Jiao Tong University（上海交通大学）；Ruijin Hospital, Shanghai Jiao Tong University School of Medicine（上海交通大学医学院附属瑞金医院）；Rutgers University（罗格斯大学）
医学图像中的胰腺分割对于临床胰腺诊断和治疗具有重要意义。然而，胰腺形状和体积的巨大群体差异会导致巨大的分割困难，即使对于利用全卷积神经网络（FCN）的最新算法也是如此。具体地，胰腺分割遭受2D方法中的空间信息的损失和3D方法的高计算成本。为了缓解这些问题，我们提出了一个概率图引导的双向递归UNet（PBR-UNet）架构，它将切片内信息和切片间概率图融合到一个局部3D混合正则化方案中，然后进行双向递归网络优化。PBR-UNet方法由一个用于有效提取像素级概率图的初始估计模块和一个用于通过2.5D U-Net架构传播混合信息的主要分割模块组成。具体地，通过将输入图像与相邻切片的概率图组合成多通道混合数据，然后分层地聚合整个分割网络的混合信息来推断局部3D信息。此外，一个双向的递归优化机制，开发的混合信息在向前和向后两个方向上更新。这使得所提出的网络能够充分和最佳地利用本地上下文信息。在NIH胰腺CT数据集上进行了定量和定性评估，与其他最先进的方法相比，我们提出的PBR-UNet方法以更少的计算成本获得了更好的分割结果。
2022-08-11 cs.CV
Curriculum Learning for Recurrent Video Object Segmentation
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）
视频对象分割可以被理解为一个序列到序列的任务，它可以从课程学习策略中受益，以更好更快地训练深度神经网络。这项工作探讨了不同的时间表采样和跳帧的变化，显着提高性能的经常性架构。我们对KITTI-MOTS挑战赛的汽车类的结果表明，令人惊讶的是，反向时间表采样是一个更好的选择比一个经典的前进。此外，在训练期间渐进跳过帧是有益的，但仅当使用地面真实掩码而不是预测掩码进行训练时。源代码和训练模型可在http://imatge-upc.github.io/rvos-mots/上获得。
2020-08-15 cs.CV
Conditional Random Fields as Recurrent Neural Networks for 3D Medical Imaging Segmentation
INESC-ID；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；Instituto de Telecomunicações（电信研究所）
作为递归神经网络层的条件随机场是最近提出的一种算法，旨在置于现有的全卷积神经网络之上，以提高语义分割的质量。在本文中，我们测试这种算法，这是改善语义分割的2D RGB图像，是能够提高分割质量的3D多模态医学图像。我们开发了一个实现的算法，适用于任何数量的空间维度，输入/输出图像通道，和参考图像通道。据我们所知，这是第一个公开的这种实现。我们用两个不同的3D医学成像数据集测试了该算法，我们得出的结论是，观察到的性能差异在统计学上不显著。最后，在本文的讨论部分，我们将探讨为什么这种技术从自然图像到医学图像的转换效果很差的原因。
2018-07-19 cs.CV
Shape Inpainting using 3D Generative Adversarial Network and Recurrent Convolutional Networks
University of Southern California（南加州大学）；US Army Research Laboratory（美国陆军研究实验室）
卷积神经网络的最新进展已经在3D形状完成中显示出有希望的结果。但由于GPU内存的限制，这些方法只能产生低分辨率的输出。为了用语义可扩展性和上下文细节来修补3D模型，我们引入了一个混合框架，该框架结合了3D编码器-解码器生成对抗网络（3D-ED-GAN）和长期递归卷积网络（LRCN）。3D-ED-GAN是一种3D卷积神经网络，采用生成对抗范式进行训练，以低分辨率填充缺失的3D数据。LRCN采用递归神经网络架构来最大限度地减少GPU内存使用，并将编码器-解码器对纳入长短期记忆网络。通过将3D模型处理为2D切片序列，LRCN将粗略的3D形状转换为更完整和更高分辨率的体积。虽然3D-ED-GAN捕获3D形状的全局上下文结构，但LRCN定位细粒度细节。在真实世界和合成数据上的实验结果表明，从损坏的模型重建得到完整和高分辨率的3D对象。
2017-11-17 cs.CV
Recurrent Mask Refinement for Few-Shot Medical Image Segmentation
University of California, Irvine（加州大学欧文分校）
虽然在医学图像分割方面取得了巨大成功，但深度卷积神经网络通常需要带有手动注释的大型数据集进行训练，并且难以推广到不可见的类别。少样本学习有可能通过仅从几个标记的示例学习新的类来解决这些挑战。在这项工作中，我们提出了一个新的框架Few-Shot医学图像分割的基础上原型网络。我们的创新在于两个关键模块的设计：1）上下文关系编码器（CRE），使用相关性来捕获前景和背景区域之间的局部关系特征;和2）循环掩码细化模块，重复使用CRE和原型网络来捕获上下文关系的变化并迭代地细化分割掩码。在两个腹部CT数据集和一个腹部MRI数据集上的实验表明，该方法在DSC方面分别比现有方法平均提高了16.32%、8.45%和6.24%。代码是公开的。
2021-08-04 cs.CV
Residual Recurrent CRNN for End-to-End Optical Music Recognition on Monophonic Scores
Ping An Technology(Shenzhen) Co.,Ltd（平安科技（深圳）有限公司）；University College London（伦敦大学学院）
光学音乐识别任务的挑战之一是将相机捕获的图像的符号转录成数字音乐符号。以前的端到端模型是作为卷积递归神经网络开发的，它不能从全尺度上探索足够的上下文信息，仍然有很大的改进空间。我们提出了一个创新的框架，它结合了一个块的残差递归卷积神经网络与一个经常性的编码器-解码器网络映射一个序列的单声道音乐符号对应的符号存在于图像中。残差递归卷积块可以提高模型丰富上下文信息的能力。实验结果以一个名为CAMERA-PRIMUS的公开数据集为基准，这表明我们的方法超过了使用卷积递归神经网络的最先进的端到端方法。
2021-08-04 cs.CV
Learning Contextual Dependencies with Convolutional Hierarchical Recurrent Neural Networks
Nanyang Technological University（南洋理工大学）
现有的深度卷积神经网络（CNN）在图像分类方面取得了巨大成功。CNN主要由卷积层和池化层组成，这两个层都是在局部图像区域上执行的，而不考虑不同图像区域之间的依赖性。然而，这种依赖关系是非常重要的生成显式的图像表示。相比之下，循环神经网络（RNN）以其在序列数据中编码上下文信息的能力而闻名，并且它们只需要有限数量的网络参数。一般的RNN很难直接应用于非序列数据。因此，我们提出了层次RNN（HRNN）。在HRNN中，每个RNN层专注于对来自相同尺度但不同位置的图像区域之间的空间依赖性进行建模。而交叉RNN尺度连接的目标是对同一位置但不同尺度的区域之间的尺度依赖关系进行建模。具体来说，我们提出了两种递归神经网络模型：1）层次简单递归网络（HSRN），它具有速度快、计算量小的特点; 2）层次长短期记忆递归网络（HLSTM），它的性能优于HSRN，但代价是计算量大。在本文中，我们将CNN与HRNN集成，并开发端到端卷积分层循环神经网络（C-HRNN）。C-HRNN不仅利用了CNN的表示能力，而且还有效地编码了不同图像区域之间的空间和尺度依赖性。在四个最具挑战性的对象/场景图像分类基准测试中，我们的C-HRNN在Places 205、SUN 397、MIT室内测试中取得了最先进的结果，在ILSVRC 2012上取得了有竞争力的结果。
2016-02-07 cs.CV
Towards End-to-end Text Spotting with Convolutional Recurrent Neural Networks
The University of Adelaide（阿德莱德大学）
在这项工作中，我们共同解决基于卷积循环神经网络的自然场景图像中的文本检测和识别问题。我们提出了一个统一的网络，它可以通过一次向前传递同时定位和识别文本，避免了图像裁剪和特征重新计算、单词分离或字符分组等中间过程。与现有的将文本检测和识别视为两个不同任务并逐个解决的方法相比，所提出的框架同时解决了这两个任务。整个框架可以进行端到端的训练，只需要图像，地面实况边界框和文本标签。通过端到端的训练，学习到的特征可以提供更多信息，从而提高整体性能。卷积特征仅计算一次，并由检测和识别共享，这节省了处理时间。我们提出的方法在几个基准数据集上取得了有竞争力的性能。
2017-07-13 cs.CV
Extracting 3D Vascular Structures from Microscopy Images using Convolutional Recurrent Networks
University of Oxford（牛津大学）；Perspectum Diagnostics
血管系统被认为具有重要的生物学意义，特别是在癌症研究中。因此，相当大的努力集中在医学和临床前图像中的脉管系统的自动测量和分析上。特别是在肿瘤中，血管网络可能非常不规则，单个血管的外观可能不符合血管外观的经典描述。通常，通过分割和细化流水线或通过直接跟踪来提取血管。这两种方法都不适合肿瘤血管的显微镜图像。为了解决这个问题，我们提出了一种方法，直接提取一个中间表示的血管使用卷积神经网络。然后，我们表明，这些二维中心线可以有意义地扩展到三维各向异性和复杂的显微镜图像，使用最近流行的卷积长短期记忆单位（ConvLSTM）。我们证明了这种混合卷积递归架构在2D和3D卷积比较器上的有效性。
2017-05-26 cs.CV
Long-term Recurrent Convolutional Networks for Visual Recognition and Description
UC Berkeley（加州大学伯克利分校）；International Computer Science Institute（国际计算机科学研究所）；UT Austin（德克萨斯大学奥斯汀分校）；UMass Lowell（马萨诸塞大学洛厄尔分校）
基于深度卷积网络的模型主导了最近的图像判读任务;我们研究了也是循环的或“时间深度”的模型是否对涉及序列、视觉和其他方面的任务有效。我们开发了一种新的递归卷积架构，适用于端到端可训练的大规模视觉学习，并展示了这些模型在基准视频识别任务、图像描述和检索问题以及视频叙事挑战上的价值。与假设固定的时空感受野或简单的时间平均用于顺序处理的当前模型相比，递归卷积模型是“双深”的，因为它们可以在空间和时间“层”中组合。当目标概念复杂和/或训练数据有限时，这样的模型可能具有优势。当非线性被纳入网络状态更新时，学习长期依赖性是可能的。长期RNN模型的吸引力在于它们可以直接映射可变长度的输入（例如，视频帧）到可变长度输出（例如，自然语言文本），并且可以对复杂的时间动态进行建模;然而，它们可以用反向传播进行优化。我们的周期性长期模型直接连接到现代视觉convnet模型，并且可以联合训练，以同时学习时间动态和卷积感知表示。我们的研究结果表明，这些模型具有明显的优势，国家的最先进的模型识别或生成的单独定义和/或优化。
2016-05-31 cs.CV
