Deeply-Supervised Recurrent Convolutional Neural Network for Saliency Detection
Harbin Institute of Technology（哈尔滨工业大学）
本文提出了一种新的显著性检测方法，通过开发一个深度监督的递归卷积神经网络（DSRCNN），它执行一个完整的图像到图像的显著性预测。对于显著性检测，显著对象的局部、全局和上下文信息对于获得高质量的显著性图是重要的。为了实现这一目标，DSRCNN基于VGGNet-16设计。首先，将递归连接合并到每个卷积层中，这可以使模型更强大地学习上下文信息。其次，增加侧输出层进行深度监督操作，通过影响中间层，使模型学习到更具鉴别力和鲁棒性的特征。最后，对所有的侧输出进行融合，综合局部和全局信息，得到最终的显著性检测结果。因此，DSRCNN结合了递归卷积神经网络和深度监督网络的优点。在5个基准数据集上对DSRCNN模型进行了测试，实验结果表明，该方法在所有测试数据集上的显著性检测性能均明显优于现有的显著性检测方法。
2016-08-18 cs.CV
Adaptive Detrending to Accelerate Convolutional Gated Recurrent Unit Training for Contextual Video Recognition
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Okinawa Institute of Science and Technology Graduate University（冲绳科学技术大学院大学）
随着图像识别技术的发展，视频识别技术成为当前研究的热点。然而，大多数现有的方法都集中在短期而不是长期的视频识别，称为上下文视频识别。为了解决上下文视频识别问题，我们使用具有丰富时空信息处理能力的卷积递归神经网络（ConvRNN），但ConvRNN需要大量计算，这会减慢训练速度。在本文中，受归一化和去趋势方法的启发，我们提出了用于时间归一化的自适应去趋势（AD），以加速ConvRNN的训练，特别是卷积门控递归单元（ConvGRU）。AD通过减去趋势来去除递归神经网络（RNN）中每个神经元的序列内的内部协变量偏移。在ConvGRU的上下文识别实验中，结果表明：（1）ConvGRU明显优于前馈神经网络，（2）AD始终提供显着的训练加速和泛化改进，（3）AD通过与现有的归一化方法合作得到进一步改进。
2017-05-24 cs.CV
Inception Recurrent Convolutional Neural Network for Object Recognition
University of Dayton（代顿大学）；Comcast Labs（康卡斯特实验室）
深度卷积神经网络（DCNN）是用于解决机器学习和计算机视觉领域中的各种问题的有影响力的工具。在本文中，我们介绍了一种新的深度学习模型，称为Inception- Recurrent卷积神经网络（IRCNN），它利用了DCNN架构中结合递归层的Inception网络的功能。我们使用不同的基准数据集（如MNIST，CIFAR-10，CIFAR- 100和SVHN）对所提出的IRCNN模型的识别性能进行了经验评估。实验结果表明，与大多数流行的DCNN（包括RCNN）相比，识别精度相似或更高。此外，我们还使用CIFAR-100数据集研究了IRCNN与等效的Inception Networks和Inception-Residual Networks的性能。我们报告了与RCNN，等效的Inception Networks和Inception- Residual Networks相比，在增强的CIFAR- 100数据集上分别提高了约3.5%，3.47%和2.54%的分类精度。
2017-04-25 cs.CV
Convolutional Recurrent Network for Road Boundary Extraction
Uber Advanced Technologies Group（优步先进技术集团）；MIT（麻省理工学院）；University of Toronto（多伦多大学）
创建包含场景静态元素精确信息的高清地图对于使自动驾驶汽车能够安全驾驶至关重要。在本文中，我们解决的问题，可行驶的道路边界提取激光雷达和摄像机图像。为了实现这一目标，我们设计了一个结构化模型，其中一个完全卷积的网络获得编码道路边界的位置和方向的深度特征，然后，卷积递归网络输出每个道路边界的一个递归表示。重要的是，我们的方法是全自动的，不需要用户参与循环。我们展示了我们的方法在北美一个大城市，我们获得完美的道路边界拓扑结构的99.3%的时间在一个高精度和召回的有效性。
2020-12-21 cs.CV
Shape Inpainting using 3D Generative Adversarial Network and Recurrent Convolutional Networks
University of Southern California（南加州大学）；US Army Research Laboratory（美国陆军研究实验室）
卷积神经网络的最新进展已经在3D形状完成中显示出有希望的结果。但由于GPU内存的限制，这些方法只能产生低分辨率的输出。为了用语义可扩展性和上下文细节来修补3D模型，我们引入了一个混合框架，该框架结合了3D编码器-解码器生成对抗网络（3D-ED-GAN）和长期递归卷积网络（LRCN）。3D-ED-GAN是一种3D卷积神经网络，采用生成对抗范式进行训练，以低分辨率填充缺失的3D数据。LRCN采用递归神经网络架构来最大限度地减少GPU内存使用，并将编码器-解码器对纳入长短期记忆网络。通过将3D模型处理为2D切片序列，LRCN将粗略的3D形状转换为更完整和更高分辨率的体积。虽然3D-ED-GAN捕获3D形状的全局上下文结构，但LRCN定位细粒度细节。在真实世界和合成数据上的实验结果表明，从损坏的模型重建得到完整和高分辨率的3D对象。
2017-11-17 cs.CV
Residual Recurrent CRNN for End-to-End Optical Music Recognition on Monophonic Scores
Ping An Technology(Shenzhen) Co.,Ltd（平安科技（深圳）有限公司）；University College London（伦敦大学学院）
光学音乐识别任务的挑战之一是将相机捕获的图像的符号转录成数字音乐符号。以前的端到端模型是作为卷积递归神经网络开发的，它不能从全尺度上探索足够的上下文信息，仍然有很大的改进空间。我们提出了一个创新的框架，它结合了一个块的残差递归卷积神经网络与一个经常性的编码器-解码器网络映射一个序列的单声道音乐符号对应的符号存在于图像中。残差递归卷积块可以提高模型丰富上下文信息的能力。实验结果以一个名为CAMERA-PRIMUS的公开数据集为基准，这表明我们的方法超过了使用卷积递归神经网络的最先进的端到端方法。
2021-08-04 cs.CV
Learning Contextual Dependencies with Convolutional Hierarchical Recurrent Neural Networks
Nanyang Technological University（南洋理工大学）
现有的深度卷积神经网络（CNN）在图像分类方面取得了巨大成功。CNN主要由卷积层和池化层组成，这两个层都是在局部图像区域上执行的，而不考虑不同图像区域之间的依赖性。然而，这种依赖关系是非常重要的生成显式的图像表示。相比之下，循环神经网络（RNN）以其在序列数据中编码上下文信息的能力而闻名，并且它们只需要有限数量的网络参数。一般的RNN很难直接应用于非序列数据。因此，我们提出了层次RNN（HRNN）。在HRNN中，每个RNN层专注于对来自相同尺度但不同位置的图像区域之间的空间依赖性进行建模。而交叉RNN尺度连接的目标是对同一位置但不同尺度的区域之间的尺度依赖关系进行建模。具体来说，我们提出了两种递归神经网络模型：1）层次简单递归网络（HSRN），它具有速度快、计算量小的特点; 2）层次长短期记忆递归网络（HLSTM），它的性能优于HSRN，但代价是计算量大。在本文中，我们将CNN与HRNN集成，并开发端到端卷积分层循环神经网络（C-HRNN）。C-HRNN不仅利用了CNN的表示能力，而且还有效地编码了不同图像区域之间的空间和尺度依赖性。在四个最具挑战性的对象/场景图像分类基准测试中，我们的C-HRNN在Places 205、SUN 397、MIT室内测试中取得了最先进的结果，在ILSVRC 2012上取得了有竞争力的结果。
2016-02-07 cs.CV
Towards End-to-end Text Spotting with Convolutional Recurrent Neural Networks
The University of Adelaide（阿德莱德大学）
在这项工作中，我们共同解决基于卷积循环神经网络的自然场景图像中的文本检测和识别问题。我们提出了一个统一的网络，它可以通过一次向前传递同时定位和识别文本，避免了图像裁剪和特征重新计算、单词分离或字符分组等中间过程。与现有的将文本检测和识别视为两个不同任务并逐个解决的方法相比，所提出的框架同时解决了这两个任务。整个框架可以进行端到端的训练，只需要图像，地面实况边界框和文本标签。通过端到端的训练，学习到的特征可以提供更多信息，从而提高整体性能。卷积特征仅计算一次，并由检测和识别共享，这节省了处理时间。我们提出的方法在几个基准数据集上取得了有竞争力的性能。
2017-07-13 cs.CV
Extracting 3D Vascular Structures from Microscopy Images using Convolutional Recurrent Networks
University of Oxford（牛津大学）；Perspectum Diagnostics
血管系统被认为具有重要的生物学意义，特别是在癌症研究中。因此，相当大的努力集中在医学和临床前图像中的脉管系统的自动测量和分析上。特别是在肿瘤中，血管网络可能非常不规则，单个血管的外观可能不符合血管外观的经典描述。通常，通过分割和细化流水线或通过直接跟踪来提取血管。这两种方法都不适合肿瘤血管的显微镜图像。为了解决这个问题，我们提出了一种方法，直接提取一个中间表示的血管使用卷积神经网络。然后，我们表明，这些二维中心线可以有意义地扩展到三维各向异性和复杂的显微镜图像，使用最近流行的卷积长短期记忆单位（ConvLSTM）。我们证明了这种混合卷积递归架构在2D和3D卷积比较器上的有效性。
2017-05-26 cs.CV
Long-term Recurrent Convolutional Networks for Visual Recognition and Description
UC Berkeley（加州大学伯克利分校）；International Computer Science Institute（国际计算机科学研究所）；UT Austin（德克萨斯大学奥斯汀分校）；UMass Lowell（马萨诸塞大学洛厄尔分校）
基于深度卷积网络的模型主导了最近的图像判读任务;我们研究了也是循环的或“时间深度”的模型是否对涉及序列、视觉和其他方面的任务有效。我们开发了一种新的递归卷积架构，适用于端到端可训练的大规模视觉学习，并展示了这些模型在基准视频识别任务、图像描述和检索问题以及视频叙事挑战上的价值。与假设固定的时空感受野或简单的时间平均用于顺序处理的当前模型相比，递归卷积模型是“双深”的，因为它们可以在空间和时间“层”中组合。当目标概念复杂和/或训练数据有限时，这样的模型可能具有优势。当非线性被纳入网络状态更新时，学习长期依赖性是可能的。长期RNN模型的吸引力在于它们可以直接映射可变长度的输入（例如，视频帧）到可变长度输出（例如，自然语言文本），并且可以对复杂的时间动态进行建模;然而，它们可以用反向传播进行优化。我们的周期性长期模型直接连接到现代视觉convnet模型，并且可以联合训练，以同时学习时间动态和卷积感知表示。我们的研究结果表明，这些模型具有明显的优势，国家的最先进的模型识别或生成的单独定义和/或优化。
2016-05-31 cs.CV
Adapting Visualization Techniques for Time-Series Anomaly Detection: From Convolutional Neural Networks to Convolutional-Recurrent Neural Networks
Université Paris 8（巴黎第八大学）；IUT de Montreuil（蒙特勒伊大学技术学院）；LIASD（LIASD实验室）
本文针对CNN+RNN视频异常检测模型的可解释性问题，将显著性图和Grad-CAM等静态图像可视化技术适配到循环架构，提供过渡性解决方案。
2026-09-28 cs.CV
Recurrent Residual Convolutional Neural Network based on U-Net (R2U-Net) for Medical Image Segmentation
University of Dayton（代顿大学）；Comcast Labs（康卡斯特实验室）
基于深度学习（DL）的语义分割方法在过去几年中一直提供最先进的性能。更具体地，这些技术已经成功地应用于医学图像分类、分割和检测任务。其中一种深度学习技术U-Net已成为这些应用程序中最受欢迎的技术之一。本文提出了一种基于U-Net的递归卷积神经网络（RCNN）和一种基于U-Net模型的递归残差卷积神经网络（RRCNN），分别命名为RU-Net和R2 U-Net。所提出的模型利用了U-Net、残差网络以及RCNN的强大功能。这些建议的架构分割任务有几个优点。首先，残差单元有助于训练深层架构。其次，使用递归残差卷积层进行特征积累，确保了分割任务的更好特征表示。第三，它允许我们设计更好的U-Net架构，具有相同数量的网络参数，具有更好的医学图像分割性能。所提出的模型进行了测试，在三个基准数据集，如视网膜图像中的血管分割，皮肤癌分割，肺部病变分割。实验结果表明，与包括U-Net和残差U-Net（ResU-Net）在内的等效模型相比，该模型在分割任务上具有更好的性能。
2018-05-29 cs.CV
Deep EndoVO: A Recurrent Convolutional Neural Network (RCNN) based Visual Odometry Approach for Endoscopic Capsule Robots
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）；Universidade de Coimbra（科英布拉大学）
可摄取无线胶囊式内窥镜是一种新兴的微创诊断技术，用于检查胃肠道和诊断各种疾病和病理。医疗器械公司和许多研究小组最近在将被动胶囊内窥镜转换为主动胶囊机器人方面取得了实质性进展，从而能够更准确，精确和直观地检测病变区域的位置和大小。由于一个可靠的实时的位姿估计功能是至关重要的主动控制内窥镜胶囊机器人，在这项研究中，我们提出了一个单目视觉里程计（VO）方法内窥镜胶囊机器人操作。我们的方法依赖于深度递归卷积神经网络（RCNN）用于视觉里程计任务的应用，其中卷积神经网络（CNN）和递归神经网络（RNN）分别用于跨帧的特征提取和动态推断。对一个真实的猪胃数据集进行了详细的分析和评估，证明了我们的系统对不同类型的内窥镜胶囊机器人轨迹实现了高的平移和旋转精度。
2017-09-08 cs.CV
Breast Cancer Classification from Histopathological Images with Inception Recurrent Residual Convolutional Neural Network
University of Dayton（代顿大学）
深度卷积神经网络（DCNN）是最强大和最成功的深度学习方法之一。DCNN已经在不同的医学成像模式中提供了卓越的性能，包括乳腺癌分类，分割和检测。乳腺癌是影响全世界妇女的最常见和最危险的癌症之一。在本文中，我们提出了一种方法，乳腺癌分类的初始复发残差卷积神经网络（IRRCNN）模型。IRRCNN是一个强大的DCNN模型，它结合了Inception Network（Inception-v4）、Residual Network（ResNet）和Recurrent卷积神经网络（RCNN）的优势。IRRCNN在对象识别任务中表现出优于等效的Inception Networks，Residual Networks和RCNN的性能。在本文中，IRRCNN方法应用于两个公开可用的数据集，包括BreakHis和乳腺癌分类挑战2015的乳腺癌分类。实验结果与现有的机器学习和基于深度学习的方法进行比较，基于图像，基于块，图像级和患者级分类。IRRCNN模型在灵敏度、曲线下面积（AUC）、ROC曲线和全局准确性方面提供了优于现有方法的分类性能。
2018-11-10 cs.CV
A Log-likelihood Regularized KL Divergence for Video Prediction with A 3D Convolutional Variational Recurrent Network
A*STAR（新加坡科技研究局）
潜变量模型的使用已被证明是对序列的概率分布建模的有力工具。在本文中，我们介绍了一种新的变分模型，扩展了经常性网络的视频帧预测任务的两种方式。首先，我们在所有模块中引入3D卷积，包括用于未来帧预测的递归模型，在每个时间步输入和输出视频帧序列。这使我们能够更好地利用变分递归模型中的时空信息，从而生成高质量的预测。其次，我们通过引入最大似然估计，除了KL散度，这是常用的变分模型的潜在损失。这个简单的扩展在变分自编码器损失函数中充当更强的正则化器，并且使我们获得更好的结果和可推广性。实验表明，我们的模型优于现有的视频预测方法在几个基准，而需要更少的参数。
2020-12-11 cs.CV
Language Identification Using Deep Convolutional Recurrent Neural Networks
Hasso Plattner Institute, University of Potsdam（波茨坦大学哈索·普拉特纳研究院）
语言识别（LID）系统用于对来自给定音频样本的口头语言进行分类，并且通常是许多口头语言处理任务（诸如自动语音识别（ASR）系统）的第一步。如果没有自动语言检测，就无法正确解析语音发音，也无法应用语法规则，从而导致后续的语音识别步骤失败。我们提出了一个LID系统，解决了图像域中的问题，而不是音频域。我们使用一个混合卷积递归神经网络（CRNN），它对所提供的音频片段的频谱图图像进行操作。在大量的实验中，我们表明，我们的模型适用于一系列嘈杂的场景，可以很容易地扩展到以前未知的语言，同时保持其分类精度。我们向社区发布了我们的代码和LID系统的大规模训练集。
2017-08-16 cs.CV
End-to-end semantic face segmentation with conditional random fields as convolutional, recurrent and adversarial networks
Radboud University, Donders Institute for Brain, Cognition and Behaviour（拉德堡德大学，唐德斯脑、认知与行为研究所）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Computer Vision Center（计算机视觉中心）；Universitat de Barcelona（巴塞罗那大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）
近年来，在语义分割方面取得了显著的进展。在这里，我们通过利用这些进步的各自优势来解决这个问题。也就是说，我们将四连通图上的条件随机场表示为端到端可训练的卷积和递归网络，并通过对抗过程对其进行估计。重要的是，我们的模型不仅学习一元势，还学习成对势，同时聚合多尺度上下文并控制高阶不一致性。我们在两个标准的语义人脸分割基准数据集上评估了我们的模型，在这两个数据集上都取得了最先进的结果。
2017-03-09 cs.CV
Learning Spectral-Spatial-Temporal Features via a Recurrent Convolutional Neural Network for Change Detection in Multispectral Imagery
German Aerospace Center (DLR)（德国航空航天中心）；Technical University of Munich (TUM)（慕尼黑工业大学）；University of Trento（特伦托大学）
变化检测是地球观测的核心问题之一，近几十年来得到了广泛的研究。在本文中，我们提出了一种新的循环卷积神经网络（ReCNN）架构，它被训练学习一个联合的频谱-空间-时间特征表示在一个统一的框架中的变化检测多光谱图像。为此，我们将卷积神经网络（CNN）和递归神经网络（RNN）合并为一个端到端网络。前者能够生成丰富的光谱-空间特征表示，而后者有效地分析了双时图像的时间依赖性。与以往的变化检测方法相比，该网络结构具有三个显著的特点：1）它是端到端的可训练的，与大多数现有的方法相比，其组件是单独训练或计算的; 2）它自然地利用已被证明有利于变化检测任务的空间信息; 3）它能够自适应地学习多时间图像之间的时间依赖性，而不像大多数算法使用相当简单的操作，如图像差分或堆叠。据我们所知，这是第一次提出用于多时相遥感图像分析的递归卷积网络架构。该网络在实际多光谱数据集上进行了验证。实验结果的可视化和定量分析表明，在所提出的模式具有竞争力的性能。
2018-03-07 cs.CV
Recurrent Convolutional Neural Network Regression for Continuous Pain Intensity Estimation in Video
University of Oulu（奥卢大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
疼痛强度的自动估计在医疗保健领域具有重要的地位。传统的静态方法倾向于从视频中的帧中单独提取特征，这会导致相邻帧之间的不稳定变化和峰值。为了克服这个问题，我们提出了一个实时回归框架的基础上，经常性的卷积神经网络自动帧级疼痛强度估计。给定AAM扭曲的面部图像的向量序列，我们使用滑动窗口策略来获得递归网络的固定长度的输入样本。然后，我们仔细设计了递归网络的架构，以输出连续值的疼痛强度。所提出的端到端疼痛强度回归框架可以通过考虑足够大的历史帧来预测每个帧的疼痛强度，同时限制模型内参数的规模。我们的方法在已发表的UNBC-McMaster肩关节疼痛表达档案数据库上的准确性和运行速度方面都取得了令人满意的结果。
2016-05-03 cs.CV
Deep Recurrent Convolutional Networks for Video-based Person Re-identification: An End-to-End Approach
The University of Adelaide（阿德莱德大学）
在本文中，我们提出了一个端到端的方法，同时学习时空特征和相应的相似性度量，基于视频的人重新识别。给定一个人的视频序列，从深度卷积网络的所有级别提取的每帧特征可以保持更高的空间分辨率，我们可以从中建模更精细的运动模式。这些低层次的视觉感知被利用到一个变体的递归模型来表征时间步长之间的时间变化。然后，使用时间池来总结来自所有时间步骤的特征，以产生完整序列的总体特征表示。深度卷积网络、递归层和时间池被联合训练，以从时间序列的输入对中提取可比较的隐藏单元表示，以计算它们相应的相似度值。该框架将时间序列建模和度量学习相结合，共同学习相关特征和人的时间序列之间的相似性度量。实验表明，我们的方法实现了最先进的性能，基于视频的人重新识别的iLIDS-VID和PRID 2011，两个主要的公共数据集，用于此目的。
2016-06-12 cs.CV
Learning with Rethinking: Recurrently Improving Convolutional Neural Networks through Feedback
Tsinghua University（清华大学）；National University of Singapore（新加坡国立大学）
近年来，基于卷积神经网络（CNN）的模型在计算机视觉领域取得了巨大的成功。CNN能够以端到端的训练方式从图像中学习分层抽象的特征。然而，大多数现有的CNN模型仅通过前馈结构学习特征，并且没有利用从顶层到底层的反馈信息来使网络能够改进自己。在本文中，我们提出了一个“学习与反思”的算法。通过添加反馈层并产生强调向量，该模型能够基于先前的预测循环地提高性能。特别是，它可以用来增强任何预先训练的模型。该算法在CIFAR-100、CIFAR-10、MNIST背景图像和ILSVRC-2012数据集上进行了测试。这些结果证明了用所提出的反馈机制训练CNN模型的优点。
2017-08-15 cs.CV
Spatiotemporal Recurrent Convolutional Networks for Recognizing Spontaneous Micro-expressions
Northwestern Polytechnical University（西北工业大学）；Chinese Academy of Sciences（中国科学院）；University of Oulu（奥卢大学）
近年来，自发性面部微表情的识别任务因其在现实世界中的广泛应用而备受关注。大量的手工或学习的功能已被用于各种分类器，并取得了良好的性能识别微表情。然而，由于微表情的细微时空变化，微表情识别仍然具有挑战性。为了充分利用深度学习的优点，本文提出了一种基于深度递归卷积网络的微表情识别方法，该方法捕捉微表情序列的时空变形。具体而言，所提出的深度模型由用于提取视觉特征的几个递归卷积层和用于识别的分类层组成。它通过端到端的方式进行优化，避免了手动特征设计。为了处理序列数据，我们采用了两种类型的跨时间域扩展卷积网络的连接性，其中时空变形分别在面部外观和几何形状的视图中建模。此外，为了克服训练样本有限和不平衡的缺点，我们的深度网络联合使用了时间数据增强策略以及平衡损失。通过在三个自发的微表情数据集上进行实验，我们验证了我们提出的微表情识别方法的有效性相比，国家的最先进的方法。
2019-01-15 cs.CV
Analysis of Convolutional Decoder for Image Caption Generation
National Institute of Technology, Silchar（锡尔卡尔国家理工学院）
最近，卷积神经网络已被提出用于序列建模任务，如图像标题生成。然而，与递归神经网络不同，卷积神经网络作为图像字幕生成的解码器的性能还没有被广泛研究。在这项工作中，我们分析了基于卷积神经网络的解码器的各个方面，如网络复杂性和深度，数据增强的使用，注意力机制，训练过程中使用的句子长度等对模型性能的影响。我们使用Flickr8k和Flickr30k图像描述数据集进行实验，并观察到与基于递归神经网络的解码器不同，用于图像描述的卷积解码器通常不会受益于网络深度的增加，以堆叠卷积层的形式，以及数据增强技术的使用。此外，使用注意力机制也为卷积解码器提供了有限的性能增益。此外，我们观察到卷积解码器仅在使用包含多达15个单词的较小长度的句子进行训练时才显示出与递归解码器相当的性能，但在使用更长的句子长度进行训练时，它们具有局限性，这表明卷积解码器可能无法有效地对长期依赖性进行建模。此外，与递归解码器相比，卷积解码器通常在CIDEr评估度量上表现不佳。
2021-03-08 cs.CV
Multimodal Classification with Deep Convolutional-Recurrent Neural Networks for Electroencephalography
Tsinghua University（清华大学）
脑电（EEG）已成为基于脑机接口（BCI）的系统的最重要的输入信号。然而，由于传统方法不能充分利用多模态信息，很难获得令人满意的分类精度。在这里，我们提出了一种新的方法来建模认知事件从EEG数据减少到一个视频分类问题，这是为了保持多模态信息的EEG。此外，还引入了光流来表示脑电信号的变异信息。我们通过使用EEG视频和光流，使用卷积神经网络（CNN）和递归神经网络（RNN）训练训练深度神经网络（DNN）用于EEG分类任务。实验结果表明，该方法具有较好的鲁棒性和准确性。根据我们的方法，我们设计了一个混合BCI为基础的康复支持系统，以帮助中风患者进行一些基本的操作。
2018-07-24 cs.CV
Recurrent Multiresolution Convolutional Networks for VHR Image Classification
甚高分辨率（VHR）卫星图像的分类有三个主要挑战：1）固有的低类内和高类间光谱相似性，2）可用波段的不匹配分辨率，以及3）需要正则化噪声分类图。传统方法通过采用图像融合、特征提取和分类后映射正则化的单独阶段来解决这些挑战。然而，这些处理阶段并没有联合优化手头的分类任务。在这项研究中，我们提出了一个单阶段框架，将处理阶段嵌入到以端到端方式训练的递归多分辨率卷积网络中。该网络的前馈版本称为FuseNet，旨在使用卷积层与相应的下采样和上采样操作来匹配VHR图像中全色和多光谱波段的分辨率。上下文标签信息通过称为ReuseNet的经常性版本并入FuseNet。我们将FuseNet和ReuseNet与使用单独的处理步骤进行图像融合进行比较，例如通过插值进行泛锐化和恢复，以及使用条件随机场进行地图正则化。我们进行了我们的实验上的土地覆盖分类任务使用Worldview-03图像奎松市，菲律宾和ISPRS的2D语义标记基准数据集Vaihingen，德国。FuseNet和ReuseNet在定量和定性结果方面都超过了基线方法。
2018-06-15 cs.CV
Recurrent Convolutional Fusion for RGB-D Object Recognition
Automation and Control Institute (ACIN), TU Wien（维也纳技术大学自动化与控制研究所）；Italian Institute of Technology（意大利理工学院）
为机器提供像人类一样识别物体的能力一直是机器视觉的主要目标之一。RGB-D相机的推出为这一方向的重大飞跃铺平了道路，这要归功于这些传感器提供的丰富信息。然而，机器视觉社区仍然缺乏一种有效的方法来协同使用RGB和深度数据来提高对象识别。为了朝着这个方向迈出一步，我们引入了一种用于RGB-D对象识别的新型端到端架构，称为递归卷积融合（RCFusion）。我们的方法通过结合互补RGB和代表不同抽象级别的深度信息来生成紧凑且具有高度区分力的多模态特征。在两个流行的数据集RGB-D Object Dataset和JHUIT-50上进行的大量实验表明，RCFusion在对象分类和实例识别任务中的性能明显优于最先进的方法。
2019-02-24 cs.CV
Delineation of Skin Strata in Reflectance Confocal Microscopy Images using Recurrent Convolutional Networks with Toeplitz Attention
Northeastern University（东北大学）；Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）；Caliber I.D. Inc.（Caliber I.D.公司）
反射共聚焦显微镜（RCM）是一种有效的，非侵入性的皮肤癌诊断预筛选工具，但它需要广泛的培训和经验，以准确评估。有几个定量工具可用于标准化图像采集和分析，和那些可用的是不可解释的。在这项研究中，我们使用一个递归神经网络，关注卷积网络的特征。我们应用它来描绘皮肤层的垂直取向堆栈的横向RCM图像切片在一个可解释的方式。我们引入了一种新的注意力机制，称为Toeplitz注意力，它限制注意力图具有Toeplitz结构。在504个RCM堆栈的专家标记数据集上测试我们的模型，我们实现了88.17%的图像分类准确率，这是目前最先进的。
2017-12-01 cs.CV
Robust neural circuit reconstruction from serial electron microscopy with convolutional recurrent networks
Carney Institute for Brain Science（卡尼脑科学研究所）；Brown University（布朗大学）
最近在深度学习方面的成功已经开始影响神经科学。特别重要的是，声称目前的分割算法在被称为连接组学的领域达到了“超人”的准确性。然而，正如我们将要展示的那样，这些算法并不能有效地推广到用于训练的特定来源和脑组织之外，这严重限制了它们在更广泛的神经科学界的可用性。为了填补这一空白，我们描述了一种新的神经元源和组织不可知重建（STAR）的连接组学挑战，这种挑战有利于广泛的泛化而不是拟合特定的数据集。我们首先证明了目前最先进的神经元分割方法在挑战中表现不佳。我们进一步描述了一种新的卷积递归神经网络模块，该模块结合了处理阶段内的短程水平连接和阶段之间的长程自上而下连接。由此产生的架构建立了STAR挑战的最新技术水平，并代表了迈向广泛可用和全自动连接组学分析的重要一步。
2020-01-16 cs.CV
Memory Matters: Convolutional Recurrent Neural Network for Scene Text Recognition
National University of Defense Technology（国防科技大学）
自然场景中的文本识别是一个具有挑战性的问题，因为影响文本外观的因素很多。在本文中，我们提出了一种方法，直接转录场景文本图像的文本，而不需要复杂的字符分割。我们利用深度神经网络的最新进展来模拟具有时间动态的场景文本图像的外观。具体来说，我们集成了卷积神经网络（CNN）和循环神经网络（RNN），这是通过观察两个模型的互补建模能力来实现的。这项工作的主要贡献是调查时间记忆如何帮助在这个特定的问题的分割自由的方式。通过使用长短期记忆（LSTM）块作为隐藏单元，我们的模型可以保留长期记忆，而HSTOM只保持短期状态依赖。我们进行实验街景门牌号码数据集包含高度可变的数字图像。实验结果表明，该方法优于传统的基于HMM的方法。
2016-01-06 cs.CV
Target-Quality Image Compression with Recurrent, Convolutional Neural Networks
Google Research（谷歌研究院）
我们介绍了一个停止码容忍（SCT）的方法来训练经常性的卷积神经网络的有损图像压缩。我们的方法引入了多遍训练方法，以结合停止码掩蔽周围区域以及高度详细区域中高质量重建的训练目标。这些方法对于给定的递归计数导致较低的真实比特率，无论是前熵编码还是后熵编码，甚至使用非结构化LZ 77代码压缩。前LZ 77增益是通过修剪停止代码实现的。LZ 77后的增益是由于SCT架构中0/1码的高度不均匀分布。通过这些代码压缩，SCT架构在所有压缩率下都能保持或超过Kodak数据集上的JPEG和RNN自动编码器的图像质量。此外，SCT编码导致图像质量在整个图像范围内的较低变化，这是一个已经被证明在图像质量的人类评级中很重要的特性
2017-05-18 cs.CV
Fully Convolutional Recurrent Network for Handwritten Chinese Text Recognition
South China University of Technology（华南理工大学）
提出了一种用于手写体中文文本识别的端到端框架--全卷积递归网络。与严重依赖分割的传统方法不同，我们的FCRN直接使用在线文本数据进行训练，并学会将笔尖轨迹与字符序列相关联。FCRN由四部分组成：用于从输入笔尖轨迹提取签名特征的路径签名层、用于学习信息表示的全卷积网络、用于对输入序列进行每帧预测的序列建模层以及用于将预测转换为标签序列的转录层。FCRN是端到端可训练的，而传统方法的组件是单独训练和调整的。我们还提出了一种改进的束搜索方法，有效地集成了语言模型解码的FCRN和显着提高识别结果。在CASIA-OLHWDB数据库和ICDAR 2013中国手写体识别大赛的测试集上，我们对所提方法的性能进行了评估，正确率分别达到96.40%和95.00%。
2016-04-18 cs.CV
Enriched Long-term Recurrent Convolutional Network for Facial Micro-Expression Recognition
Multimedia University（多媒体大学）；Shanghai Jiao Tong University（上海交通大学）
人脸微表情识别由于其动作的细微性和数据库的有限性，给研究人员提出了巨大的挑战。最近，手工制作的技术在微表情识别方面取得了优异的性能，但代价是域特异性和繁琐的参数调整。在本文中，我们提出了一种丰富的长期递归卷积网络（ELRCN），该网络首先通过CNN模块将每个微表情帧编码为特征向量，然后通过长短期记忆（LSTM）模块传递特征向量来预测微表情。该框架包含两种不同的网络变体：（1）输入数据的逐层堆叠以进行空间富集，（2）特征的逐层堆叠以进行时间富集。我们证明，所提出的方法是能够实现相当好的性能，没有数据增强。此外，我们还提出了消融研究的框架和可视化什么CNN“看到”时，预测微表情类。
2018-05-22 cs.CV
Recurrent Convolutional Neural Networks for Scene Parsing
场景解析是一种技术，它根据图像中的所有像素所属的类别对其进行标记。为了保证良好的视觉一致性和高的类准确性，场景解析器必须捕获图像的长程依赖性。在前馈架构中，这可以简单地通过考虑在要标记的每个像素周围的足够大的输入上下文补丁来实现。我们提出了一种方法，包括一个经常性的卷积神经网络，它允许我们考虑一个大的输入上下文，同时限制了模型的容量。与大多数标准方法相反，我们的方法不依赖于任何分割方法，也不依赖于任何特定于任务的特征。该系统以端到端的方式在原始像素上进行训练，并以低推理成本对复杂的空间依赖性进行建模。当上下文大小随着内置的递归而增加时，系统会识别并纠正自己的错误。我们的方法在斯坦福背景数据集和SIFT流数据集上都具有最先进的性能，同时在测试时保持非常快的速度。
2013-06-12 cs.CV
Multimodal Fusion of Glucose Monitoring and Food Imagery for Caloric Content Prediction
针对2型糖尿病管理中热量摄入估算难的问题，提出融合CGM数据、人口统计学/微生物组数据与食物图像的多模态深度学习框架，在40余人的数据集上实现0.2544的RMSRE，性能超基线50%以上，助力慢性病饮食评估工具优化。
2025-05-20 cs.CV cs.LG
Densely Connected Recurrent Residual (Dense R2UNet) Convolutional Neural Network for Segmentation of Lung CT Images
Washington University School of Medicine（华盛顿大学医学院）
深度学习网络已经为语义分割提供了最先进的性能。这些技术被广泛应用于医学检测、分割和分类。基于U-Net的架构的出现对于该应用已经变得特别流行。本文提出了基于U-Net模型结构的递归残差卷积神经网络（Dense R2 U CNN），它是递归CNN、残差网络和稠密卷积网络的综合。残差单元有助于训练更深的网络，而密集的递归层增强了分割所需的特征传播。在基准肺部病变数据集上测试的所提出的模型在分割任务上表现出比其等效模型更好的性能。
2021-02-01 cs.CV cs.LG eess.IV
Comparing recurrent and convolutional neural networks for predicting wave propagation
Imperial College London（帝国理工学院）；The University of Edinburgh（爱丁堡大学）
动力系统可以用偏微分方程来建模，数值计算在科学和工程中无处不在。在这项工作中，我们研究了递归和卷积深度神经网络架构预测表面波的性能。该系统由圣维南方程控制。我们改进了以前的方法的长期预测，同时保持推理时间在一小部分的数值模拟。我们还表明，卷积网络在这项任务中的表现至少与递归网络一样好。最后，我们通过在较长的时间范围内和不同的物理环境中进行外推来评估每个网络的泛化能力。
2020-04-20 cs.CV cs.LG stat.ML
Recurrent convolutional neural networks for mandible segmentation from computed tomography
University Medical Center Groningen（格罗宁根大学医学中心）；University of Groningen（格罗宁根大学）；Department of Oral and Maxillofacial Surgery（口腔颌面外科）；Medical Imaging Center (MIC)（医学影像中心）；D Lab（3D实验室）
最近，基于深度学习方法的CT扫描中的精确下颌骨分割引起了广泛关注。然而，仍然存在两个主要的挑战，即下颌骨之间的金属伪影和个体之间的形状或大小的巨大差异。为了解决这两个挑战，我们提出了一种递归分割卷积神经网络（RSegCNN），它将分割卷积神经网络（SegCNN）嵌入递归神经网络（RNN）中，以实现下颌骨的鲁棒和准确分割。系统的这种设计考虑了CT扫描中相邻图像切片中捕获的下颌骨形状的相似性和连续性。RSegCNN基于具有嵌入式编码器-解码器分割（SegCNN）组件的递归结构来推断下颌骨信息。循环结构引导系统利用相邻切片的相关和重要信息，而SegCNN组件则专注于单个CT切片的下颌骨形状。我们进行了广泛的实验，以评估两个头部和颈部CT数据集上提出的RSegCNN。实验结果表明，RSegCNN在准确分割下颌骨方面明显优于最先进的模型。
2020-03-13 cs.CV eess.IV
Visual Depth Mapping from Monocular Images using Recurrent Convolutional Neural Networks
Stanford University（斯坦福大学）
可靠的感知与规避系统对于无人机的安全自主操作至关重要。现有的感知和规避方法通常需要专用传感器，这些传感器太大或功率密集，无法在小型无人驾驶车辆上使用。本文提出了一种基于视觉图像序列估计物体距离的方法，允许使用低成本的车载单目摄像机作为简单的防撞传感器。我们提出了一种深度递归卷积神经网络和训练方法，用于从视频序列生成深度图。我们的网络使用微软AirSim模拟器生成的模拟相机和深度数据进行训练。实验结果表明，该模型比传统方法生成的模型具有更好的性能，并进一步证明了该方法可用于模拟中障碍物的感知与规避。
2018-12-10 cs.AI cs.CV
Hierarchical Recurrent Filtering for Fully Convolutional DenseNets
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Bonn（波恩大学）
生成环境的鲁棒表示是学习代理的关键能力。基于深度学习的方法极大地改善了感知系统，但在具有挑战性的情况下仍然失败。这些故障通常不能基于单个图像来解决。在这项工作中，我们提出了一个参数有效的时间滤波的概念，扩展了现有的单帧分割模型，多帧工作。由此产生的经常性架构在时间上过滤表示的所有抽象层次的分层方式，同时解耦时间依赖场景表示。使用合成数据集，我们展示了我们的模型应对数据扰动的能力，并强调了递归和分层过滤的重要性。
2018-10-15 cs.CV cs.LG
Ubicomp Digital 2020 -- Handwriting classification using a convolutional recurrent network
来自STABILO的Ubicomp Digital 2020 - Time Series Classification Challenge是关于多变量时间序列分类的挑战。这些数据收集自100名志愿者，包含15个由多个传感器测量的特征。在本文中，我们使用一个神经网络的数据分类成52类，即阿拉伯字母的小写和大写。所提出的神经网络a的架构是CNN-LSTM网络。它将卷积神经网络（CNN）用于短期上下文，同时将短期记忆层（LSTM）用于长期依赖性。我们达到了68%的准确率在我们的作家独家测试集和64.6%的盲挑战测试集，导致第二位。
2020-08-03 cs.CV cs.LG
Sparse Convolutional Recurrent Learning for Efficient Event-based Neuromorphic Object Detection
TU Delft（代尔夫特理工大学）；imec（imec研究所）；University of Twente（特文特大学）；TU Eindhoven（埃因霍温理工大学）；Maastricht University（马斯特里赫特大学）
针对稀疏事件数据处理计算量大、难以部署在边缘端的问题，提出稀疏事件高效检测器SEED与稀疏卷积循环学习方法，实现超92%激活稀疏度，在数据集上验证了其在保持mAP的同时大幅降低运算量，为长时程事件目标检测提供了高效神经形态部署方案。
2025-06-16 cs.CV cs.NE
Angular Super-Resolution in Diffusion MRI with a 3D Recurrent Convolutional Autoencoder
University of Manchester（曼彻斯特大学）；University of Sheffield（谢菲尔德大学）
高分辨率弥散MRI（dMRI）数据通常受到临床环境中有限扫描时间的限制，从而限制了下游分析技术的使用。在这项工作中，我们开发了一个3D递归卷积神经网络（RCNN），能够在角（q空间）域中超分辨dMRI体积。我们的方法制定了一个补丁式回归使用3D自动编码器的条件下，目标b向量的角度超分辨率的任务。在网络中，我们使用卷积长短期记忆（ConvLSTM）单元来模拟q空间样本之间的关系。我们比较模型的性能对基线球谐插值和一个1D的模型架构的变体。我们表明，3D模型在不同的子采样方案和b值中具有最低的错误率。3D RCNN的相对性能在非常低的角分辨率域中最大。这个项目的代码可以在https://github.com/m-lyon/dMRI-RCNN上找到。
2022-03-29 cs.CV eess.IV
Recurrent Fully Convolutional Neural Networks for Multi-slice MRI Cardiac Segmentation
King's College London（伦敦国王学院）
在心脏磁共振成像中，心脏的全自动分割使得能够进行精确的结构和功能测量，例如，从左心室的短轴MR图像。在这项工作中，我们提出了一个循环的全卷积网络（RFCN），它可以从整个2D切片堆栈中学习图像表示，并能够通过内部存储单元利用切片间的空间依赖性。RFCN将解剖检测和分割结合到一个单一的架构中，该架构是端到端训练的，从而大大减少了计算时间，简化了分割管道，并有可能实现实时应用。我们使用两个数据集，包括公开的MICCAI 2009挑战数据集的RFCN的调查报告。已经在全卷积网络和深度限制玻尔兹曼机之间进行了比较，包括利用切片间空间相关性的递归版本。我们的研究表明，RFCN产生国家的最先进的结果，并可以大大提高轮廓附近的心尖的描绘。
2016-08-13 cs.CV cs.LG stat.ML
Violence detection in videos using deep recurrent and convolutional neural networks
Université de Moncton（蒙克顿大学）
针对视频暴力检测需求，提出结合RNN与2D CNN、引入光流信息的深度学习架构，分别提取时空特征与运动信息，性能达SOTA水平，在3个数据库上验证有效。
2024-09-11 cs.AI cs.CV
Seeing in the dark with recurrent convolutional neural networks
Harvard Medical School（哈佛医学院）
经典的卷积神经网络（cCNN）非常擅长对图像中的对象进行分类。但是，与对图像中的噪声相对鲁棒的人类视觉不同，cCNN的性能随着图像质量的下降而迅速下降。在这里，我们建议在卷积层中使用递归连接，使网络对像素噪声具有鲁棒性，例如在低光照水平下成像可能产生的噪声，从而在使用模拟噪声视频序列进行测试时显着提高其性能。我们表明，cCNN对高信噪比（SNR）的图像分类良好，但在使用低SNR图像（高噪声水平）进行测试时，很容易被卷积神经网络超越，该卷积神经网络将递归添加到卷积层，此后称为gruCNN。添加贝叶斯最优时间积分以允许cCNN集成多个图像帧仍然不匹配gruCNN性能。此外，我们还表明，在低SNR下，gruCNN（校准后）预测的概率比cCNN预测的概率具有更高的置信度。我们建议将神经网络早期阶段的周期性连接作为不完美照明条件和嘈杂环境下计算机视觉的解决方案;在夜间，雨雪期间以及其他非理想情况下自动驾驶实时视频流所面临的挑战。
2018-11-21 cs.CV cs.LG stat.ML
DeepVO: Towards End-to-End Visual Odometry with Deep Recurrent Convolutional Neural Networks
University of Oxford（牛津大学）
研究了单目视觉里程计（VO）问题。大多数现有的VO算法开发下的一个标准的管道，包括特征提取，特征匹配，运动估计，局部优化等，虽然他们中的一些已经表现出优越的性能，他们通常需要仔细设计和专门微调，在不同的环境中工作良好。还需要一些先验知识来恢复单眼VO的绝对尺度。提出了一种基于深度递归卷积神经网络（RCNN）的单目视觉感知端到端框架。由于它是以端到端的方式进行训练和部署的，因此它直接从原始RGB图像（视频）序列中推断姿势，而无需采用传统VO管道中的任何模块。基于RCNN，它不仅通过卷积神经网络自动学习VO问题的有效特征表示，而且使用深度递归神经网络隐式地建模序列动态和关系。在KITTI VO数据集上进行的大量实验显示了与最先进方法相比具有竞争力的性能，验证了端到端深度学习技术可以成为传统VO系统的可行补充。
2017-09-25 cs.CV cs.RO
Recurrent Convolutional Networks for Pulmonary Nodule Detection in CT Imaging
计算机断层扫描（CT）生成覆盖身体区域的横截面图像的堆叠。由于需要处理大量信息，因此对这些图像进行视觉评估以识别潜在异常是一项具有挑战性且耗时的任务。在这篇文章中，我们提出了一种深度人工神经网络架构ReCTnet，用于CT扫描中肺结节的全自动检测。该架构学习在像素级别区分结节和正常结构，并生成三维概率图，突出显示可能包含感兴趣对象的区域。卷积和递归层相结合，学习表达图像表示利用跨轴向切片的空间依赖性。我们证明，利用切片内依赖性大大提高了检测肺结节的灵敏度，而不会增加假阳性率。在由1，018个注释CT扫描组成的公开可用的LIDC/IDRI数据集上，ReCTnet达到了90.5%的检测灵敏度，平均每次扫描有4.5个假阳性。与用于多切片分割的竞争多通道卷积神经网络和使用相同数据集的其他已发表方法的比较提供了证据，证明ReCTnet提供了显着的性能增益。
2016-09-30 cs.CV stat.ML
Graph Hierarchical Convolutional Recurrent Neural Network (GHCRNN) for Vehicle Condition Prediction
Central South University（中南大学）；Hunan University of Finance & Economics（湖南财政经济学院）；Tianjin University（天津大学）
城市车流量和车速的预测可以极大地方便人们的出行，也可以为政府相关部门的决策提供合理的建议。但由于车流量的空间性、时间性和层次性，以及天气等诸多影响因素，预测难度较大。现有的研究方法大多是从历史数据中提取道路网的空间结构信息和时间序列信息。然而，在提取空间特征时，这些方法具有较高的时间和空间复杂度，并包含大量的噪声。它很难应用在大型图上，而且只考虑了周围连通的道路节点对中心节点的影响，忽略了一个非常重要的层次关系，即相似节点特征和道路网络结构的相似信息。针对这些问题，本文提出了图层次卷积循环神经网络（GHCRNN）模型。该模型采用图卷积网络（GCN）提取空间特征，GRU（Gated Recurrent Units）提取时间特征，采用可学习的Pooling算法提取层次信息，消除冗余信息，降低复杂度。将该模型应用于深圳和洛杉矶的车流量和车速数据中得到了很好的验证，在保证精度的前提下，有效地减少了时间和内存的消耗。
2019-03-12 cs.CV physics.soc-ph
How Many Samples are Needed to Estimate a Convolutional or Recurrent Neural Network?
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
人们普遍认为，卷积神经网络（CNN）和递归神经网络（RNN）的实际成功归因于CNN和RNN使用比其全连接神经网络（FNN）对应物更紧凑的参数表示，因此需要更少的训练示例来准确估计其参数。我们开始研究严格表征估计CNN和RNN的样本复杂性。我们证明了学习CNN和RNN的样本复杂度与它们的内在维度成线性关系，并且这种样本复杂度比它们的FNN对应物小得多。对于CNN和RNN，我们还提出了下界，表明我们的样本复杂度接近对数因子。我们得出这些结果的主要技术工具是一个本地化的经验过程分析和一个新的技术引理表征卷积和经常性的结构。我们相信这些工具可能会激发对CNN和RNN的进一步理解。
2019-06-30 cs.AI cs.CV cs.LG
Dynamic Scenario Representation Learning for Motion Forecasting with Heterogeneous Graph Convolutional Recurrent Networks
Shanghai AI Lab（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）
由于动态场景中交互的复杂性和变化性，运动预测是自动驾驶中的一个具有挑战性的问题。大多数现有的作品利用静态道路图来描述场景，并在动态场景中建模不断变化的时空依赖关系方面受到限制。在本文中，我们诉诸动态异构图建模的情况下。各种场景组件，包括车辆（代理）和车道，多种类型的交互，以及它们随时间的变化联合编码。此外，我们设计了一种新的异构图卷积递归网络，聚合不同的交互信息并捕获它们的演化，以学习利用动态图中的内在时空依赖性并获得动态场景的有效表示。最后，与运动预测解码器，我们的模型预测现实和多模态的未来轨迹的代理，并优于国家的最先进的已发表的作品在几个运动预测基准。
2023-03-08 cs.AI cs.CV cs.LG
VRConvMF: Visual Recurrent Convolutional Matrix Factorization for Movie Recommendation
China University of Petroleum（中国石油大学）；East China Jiaotong University（华东交通大学）；Federation University Australia（澳大利亚联邦大学）
用户对项目评分数据的稀疏性成为推荐系统面临的挑战之一，严重影响了推荐系统的性能。幸运的是，上下文感知推荐系统可以通过利用一些辅助信息，如用户和项目的信息来缓解稀疏性问题。特别是，项目的视觉信息，如电影海报，可以被认为是对项目描述文档的补充，这有助于获得更多的项目特征。本文针对电影推荐系统，提出了一种基于概率矩阵分解的视觉递归卷积矩阵分解（VRConvMF）推荐方案，该方案利用了从描述性文本和海报中分别提取的文本特征和多层次视觉特征。我们实现了所提出的VRConvMF，并在三个常用的真实世界数据集上进行了广泛的实验，以验证其有效性。实验结果表明，所提出的VRConvMF算法性能优于现有算法.
2022-02-16 cs.CV cs.IR cs.LG
