Stable Long-Term Recurrent Video Super-Resolution
Safran Electronics & Defense（赛峰电子与防务公司）；AIM, CEA, CNRS, Université Paris-Saclay, Université de Paris（AIM实验室，法国原子能与替代能源委员会，法国国家科学研究中心，巴黎萨克雷大学，巴黎大学）；DR2I, Institut Polytechnique des Sciences Avancées（DR2I实验室，先进科学理工学院）
递归模型在基于深度学习（DL）的视频超分辨率（VSR）中得到了普及，这是由于与基于滑动窗口的模型相比，递归模型提高了计算效率、时间感受野和时间一致性。然而，当推断呈现低运动的长视频序列（即，其中场景的某些部分几乎不移动）时，递归模型通过递归处理而发散，从而产生高频伪影。据我们所知，没有关于振动时效的研究指出这种不稳定性问题，这对于一些实际应用来说是至关重要的。视频监控是一个典型的例子，在这种情况下，会出现这样的文物，因为相机和场景保持静止很长一段时间。在这项工作中，我们揭露现有的经常性VSR网络的不稳定性长序列与低运动。我们在一个新的长序列数据集准静态视频集上演示了它。最后，我们介绍了一个新的框架，经常性的VSR网络，是稳定和竞争的基础上，Lipschitz稳定性理论。我们提出了一个新的递归VSR网络，创造中间递归视频超分辨率（MRVSR），基于这个框架。我们的经验表明，其竞争力的表现，低运动的长序列。
2021-12-16 cs.CV cs.LG eess.IV
A Codec Information Assisted Framework for Efficient Compressed Video Super-Resolution
Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
对压缩视频进行在线处理以提高其分辨率越来越受到人们的广泛关注。基于递归神经网络的视频超分辨率（VSR）由于其对长时间依赖性的有效建模而成为一种很有前途的解决方案。然而，国家的最先进的经常性的VSR模型仍然需要大量的计算，以获得良好的性能，主要是因为复杂的运动估计帧/特征对齐和冗余处理的连续视频帧。本文针对压缩视频的特点，提出了一种编解码器信息辅助框架（CIAF）来增强和加速压缩视频的递归VSR模型。首先，该框架重用运动矢量的编码视频信息来建模相邻帧之间的时间关系。实验表明，基于运动矢量的对齐模型可以显着提高性能，可以忽略不计的额外计算，甚至可以与那些使用更复杂的基于光流的对齐。其次，通过进一步利用Resistance的编码视频信息，可以通知框架跳过对冗余像素的计算。实验结果表明，该框架可以节省高达70%的计算，而性能下降的H.264编码的REDS 4测试视频时，CRF为23。
2022-10-15 cs.CV
Recurrent Video Restoration Transformer with Guided Deformable Attention
ETH Zurich（苏黎世联邦理工学院）；Meta Inc.（Meta公司）；University of Wurzburg（维尔茨堡大学）
视频恢复的目的是从多个低质量帧恢复多个高质量帧。现有的视频恢复方法通常分为两种极端情况，即，它们或者并行地恢复所有帧，或者以循环的方式逐帧地恢复视频，这将导致不同的优点和缺点。通常，前者具有时间信息融合的优点。然而，它遭受大的模型大小和密集的内存消耗;后者具有相对较小的模型大小，因为它跨帧共享参数;然而，它缺乏长距离依赖建模能力和并行化能力。在本文中，我们试图通过提出一个经常性的视频恢复Transformer，即RVRT，结合这两种情况下的优点。RVRT在全局递归框架内并行处理局部相邻帧，可以在模型大小、有效性和效率之间实现良好的权衡。具体而言，RVRT将视频划分为多个片段，并使用先前推断的片段特征来估计后续片段特征。在每个剪辑中，不同的帧特征通过隐式特征聚合联合更新。在不同的剪辑中，引导变形注意力被设计用于剪辑到剪辑对齐，其从整个推断的剪辑预测多个相关位置，并通过注意力机制聚合它们的特征。视频超分辨率，去模糊和去噪的大量实验表明，所提出的RVRT在平衡模型大小，测试内存和运行时间的基准数据集上实现了最先进的性能。
2022-11-12 cs.CV eess.IV
Decoupling Degradations with Recurrent Network for Video Restoration in Under-Display Camera
Xi’an Jiaotong University（西安交通大学）；Shaanxi Yulan Jiuzhou Intelligent Optoelectronic Technology Co., Ltd（陕西玉兰九州智能光电技术有限公司）；MEGVII Technology（旷视科技）
针对屏下相机视频存在多种随光强变化的退化且需保持时间一致性的难题，提出解耦注意力模块分离耀斑与雾霭退化的D²RNet，构建大规模基准验证其性能优于现有方法。
2024-03-08 cs.CV
Sliding Window Recurrent Network for Efficient Video Super-Resolution
Uppsala University（乌普萨拉大学）；Northeastern University（东北大学）
视频超分辨率（VSR）是从一系列低分辨率输入恢复高分辨率帧的任务。与单帧图像超分辨率不同，VSR可以利用帧间的时间信息重构出更多细节的图像。近年来，随着卷积神经网络（CNN）的迅速发展，VSR问题受到越来越多的关注，许多基于CNN的方法取得了显著的效果。然而，由于计算资源和运行时间的限制，只有少数VSR方法可以应用于现实世界的移动设备。在本文中，我们提出了一个\textit{Sliding Window based Recurrent Network}（SWRN），它可以是实时推理，同时仍然实现优越的性能。具体来说，我们注意到视频帧应该具有有助于恢复细节的空间和时间关系，而关键是如何提取和聚合信息。针对这个问题，我们输入三个相邻的帧，并利用一个隐藏状态来循环存储和更新重要的时间信息。我们在REDS数据集上的实验表明，该方法可以很好地适应移动设备，并产生视觉上令人愉快的结果。
2022-08-24 cs.CV eess.IV
BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment
Nanyang Technological University（南洋理工大学）
递归结构是视频超分辨率任务的流行框架选择。最先进的方法BasicVSR采用具有特征对齐的双向传播来有效地利用来自整个输入视频的信息。在这项研究中，我们重新设计BasicVSR提出二阶网格传播和流动引导变形对齐。我们表明，通过增强传播和对齐的经常性框架，可以更有效地利用时空信息跨错位的视频帧。新的组件导致在类似的计算约束下的性能提高。特别是，我们的模型BasicVSR++在PSNR方面超过BasicVSR 0.82 dB，参数数量相似。除了视频超分辨率之外，BasicVSR++还可以很好地推广到其他视频恢复任务，如压缩视频增强。在NTIRE 2021中，BasicVSR++在视频超分辨率和压缩视频增强挑战赛中获得三名冠军和一名亚军。代码和型号将发布给MME编辑。
2021-04-27 cs.CV
Learning for Video Compression with Hierarchical Quality and Recurrent Enhancement
ETH Zürich（苏黎世联邦理工学院）
在本文中，我们提出了一种分层学习视频压缩（HLVC）的方法与三个层次的质量层和一个经常性的增强网络。通过具有最高质量的图像压缩方法压缩第一层中的帧。使用这些帧作为参考，我们提出了双向深度压缩（BDDC）网络，以相对高的质量压缩第二层。然后，第三层帧以最低的质量压缩，通过提出的单运动深度压缩（SMDC）网络，它采用一个运动图来估计多个帧的运动，从而节省比特的运动信息。在我们的深度解码器中，我们开发了加权递归质量增强（WRQE）网络，该网络将压缩帧和比特流作为输入。在WRQE的递归单元中，记忆和更新信号通过质量特征进行加权，以合理地利用多帧信息进行增强。在我们的HLVC方法中，分层质量有益于编码效率，因为高质量的信息分别有利于编码器和解码器侧的低质量帧的压缩和增强。最后，实验验证了我们的HLVC方法推进了最先进的深度视频压缩方法，并在PSNR和MS-SSIM方面优于x265的“Low-Delay P（LDP）very fast”模式。该项目的页面位于https://github.com/RenYang-home/HLVC。
2020-08-03 cs.CV eess.IV
Frame-Recurrent Video Super-Resolution
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google（谷歌）
视频超分辨率的最新进展表明，结合运动补偿的卷积神经网络能够合并来自多个低分辨率（LR）帧的信息以生成高质量图像。当前最先进的方法处理一批LR帧以生成单个高分辨率（HR）帧，并在整个视频上以滑动窗口方式运行该方案，有效地将该问题视为大量单独的多帧超分辨率任务。这种方法有两个主要的缺点：1）每个输入帧被处理和扭曲多次，增加了计算成本，以及2）每个输出帧是在输入帧的条件下独立估计的，限制了系统产生时间上一致的结果的能力。在这项工作中，我们提出了一个端到端的可训练的帧循环视频超分辨率框架，使用先前推断的HR估计超分辨率的后续帧。这自然鼓励时间一致的结果，并通过在每个步骤中仅扭曲一个图像来降低计算成本。此外，由于其经常性的性质，所提出的方法有能力吸收大量的以前的帧，而不增加计算需求。与以前的方法进行了广泛的评估和比较，验证了我们的方法的优势，并表明所提出的框架是能够显着优于目前的最先进的。
2018-03-25 cs.AI cs.CV stat.ML
Variable Rate Video Compression using a Hybrid Recurrent Convolutional Learning Framework
Veermata Jijabai Technological Institute (VJTI)（维尔马塔·吉贾巴伊技术学院（VJTI））
近年来，基于神经网络的图像压缩技术已经能够优于传统的编解码器，并为基于学习的视频编解码器的发展打开了大门。然而，为了利用视频中的高时间相关性，需要采用更复杂的架构。本文介绍了PredEncoder，一种基于预测自动编码概念的混合视频压缩框架，该框架使用预测网络对连续视频帧之间的时间相关性进行建模，然后将预测网络与渐进式编码器网络相结合，以利用空间冗余。本文提出了一种可变速率分组编码方案，该方案具有很高的质量比特率比。通过这种混合架构的联合训练和微调，PredEncoder已经能够获得比MPEG-4编解码器的显着改进，并在低到中等比特率范围内实现了比H.264编解码器更低的比特率，用于高清视频，并在大多数比特率下实现了与非高清视频相当的结果。本文旨在展示如何利用神经架构来与视频压缩领域中高度优化的传统方法相媲美。
2020-08-21 cs.CV cs.LG eess.IV
Bringing Alive Blurred Moments
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；University of Maryland, College Park（马里兰大学帕克分校）
我们提出了一个解决方案的目标提取视频从一个单一的运动模糊的图像，顺序重建清晰的视图的场景中所看到的相机在曝光的时间。我们首先通过训练卷积递归视频自动编码器网络，以无监督的方式从清晰的视频中学习运动表示，该网络执行视频重建的代理任务。一旦被训练，它被用于模糊图像的运动编码器的引导训练。该网络从模糊图像中提取嵌入的运动信息，结合训练好的递归视频解码器生成清晰的视频。作为中间步骤，我们还设计了一个高效的架构，可以实现实时单图像去模糊，并在所有因素上优于竞争方法：准确性，速度和紧凑性。在真实场景和标准数据集上的实验表明，我们的框架优于最先进的框架，并且能够生成时间上一致的清晰帧的合理序列。
2019-03-09 cs.CV
GRNN:Recurrent Neural Network based on Ghost Features for Video Super-Resolution
East China University of Science and Technology（华东理工大学）
针对视频超分辨率模型特征冗余与传统RNN梯度消失问题，提出结合Ghost模块与RNN的GRNN模型，在多个基准上提升了PSNR、SSIM指标，更好保留纹理细节。
2025-05-14 cs.AI cs.CV eess.IV
Unfolding a blurred image
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；University of Maryland, College Park（马里兰大学帕克分校）
我们提出了一个解决方案的目标提取视频从一个单一的运动模糊的图像，顺序重建清晰的视图的场景中所看到的相机在曝光的时间。我们首先通过训练卷积递归视频自动编码器网络，以无监督的方式从清晰的视频中学习运动表示，该网络执行视频重建的代理任务。一旦被训练，它被用于模糊图像的运动编码器的引导训练。该网络从模糊图像中提取嵌入的运动信息，结合训练好的递归视频解码器生成清晰的视频。作为中间步骤，我们还设计了一个高效的架构，可以实现实时单图像去模糊，并在所有因素上优于竞争方法：准确性，速度和紧凑性。在真实场景和标准数据集上的实验表明，我们的框架优于最先进的框架，并且能够生成时间上一致的清晰帧的合理序列。
2022-01-28 cs.CV
Group-based Bi-Directional Recurrent Wavelet Neural Networks for Video Super-Resolution
Sookmyung Women’s University（淑明女子大学）；Sunmoon University（鲜文大学）
视频超分辨率（VSR）的目标是从低分辨率（LR）帧估计高分辨率（HR）帧。VSR的关键挑战在于有效利用帧内的空间相关性和连续帧之间的时间依赖性。然而，大多数以前的方法相同地对待不同类型的空间特征，并从分离的模块中提取空间和时间特征。它导致缺乏获得有意义的信息和增强精细细节。在VSR中，有三种类型的时间建模框架：2D卷积神经网络（CNN）、3D CNN和递归神经网络（RNN）。其中，基于RNN的方法适用于序列数据。因此，利用相邻帧的隐藏状态可以大大提高SR性能。然而，在递归结构中的每个时间步，基于RNN的先前工作限制性地利用相邻特征。由于每个时间步长的可访问运动范围很窄，因此恢复动态或大运动的缺失细节仍然存在限制。在本文中，我们提出了一个基于组的双向递归小波神经网络（GBR-WNN），有效地利用序列数据和时空信息的VSR。提出的基于组的双向RNN（GBR）时间建模框架是建立在具有图像组（GOP）的结构良好的过程上的。我们提出了一个时间小波注意力（TWA）模块，其中注意力的空间和时间的特点。实验结果表明，该方法实现了优越的性能相比，国家的最先进的方法，在定量和定性评价。
2021-06-14 cs.AI cs.CV
iSeeBetter: Spatio-temporal video super-resolution using recurrent generative back-projection networks
Stanford University（斯坦福大学）；University of Mumbai（孟买大学）
最近，基于学习的模型已经增强了单图像超分辨率（SISR）的性能。然而，连续地将SISR应用于每个视频帧导致缺乏时间相干性。卷积神经网络（CNN）在峰值信噪比（PSNR）和结构相似性（SSIM）等图像质量指标方面优于传统方法。然而，生成对抗网络（GANs）提供了一个竞争优势，因为它能够缓解缺乏更精细纹理细节的问题，这种问题通常在CNN以大的放大因子进行超分辨率时出现。我们提出了iSeeBetter，一种新的基于GAN的时空视频超分辨率（VSR）方法，可以呈现时间一致的超分辨率视频。iSeeBetter使用循环反投影网络的概念作为其生成器，从当前和相邻帧中提取空间和时间信息。此外，为了提高超分辨率图像的“自然度”，同时消除传统算法中的伪影，我们利用了来自超分辨率生成对抗网络（SRGAN）的伪影。虽然均方误差（MSE）作为主要损失最小化目标提高了PSNR/SSIM，但是这些度量可能无法捕获图像中的细节，从而导致感知质量的错误表示。为了解决这个问题，我们使用四重（MSE，感知，对抗和总变差（TV））损失函数。我们的研究结果表明，iSeeBetter提供卓越的VSR保真度和超越国家的最先进的性能。
2020-09-30 cs.AI cs.CV cs.LG
Structured Sparsity Learning for Efficient Video Super-Resolution
Tsinghua University（清华大学）；Shanghai AI Laboratory（上海人工智能实验室）；ETH Zürich（苏黎世联邦理工学院）；ByteDance Inc（字节跳动公司）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
视频超分辨率（VSR）模型的高计算成本阻碍了它们在资源有限的设备（例如，智能手机和无人机）。现有的VSR模型包含大量的冗余过滤器，从而降低了推理效率。为了修剪这些不重要的过滤器，我们开发了一个结构化的修剪计划称为结构化稀疏学习（SSL）根据VSR的性质。在SSL中，我们为VSR模型中的几个关键组件设计了修剪方案，包括残差块，递归网络和上采样网络。具体来说，我们开发了一个剩余稀疏连接（RSC）计划的残留块的经常性网络，解放修剪限制和保留恢复信息。对于上采样网络，我们设计了一个像素重排剪枝方案来保证特征通道-空间转换的准确性。此外，我们观察到，修剪误差将被放大的隐藏状态传播与循环网络。为了缓解这个问题，我们设计了时间微调（TF）。大量的实验表明，SSL可以显着优于最近的方法定量和定性。
2023-03-25 cs.CV eess.IV
Revisiting Temporal Modeling for Video Super-resolution
Tsinghua University（清华大学）；New York University（纽约大学）；Huawei Technologies（华为技术有限公司）
视频超分辨率在监控视频分析和超高清视频显示中具有重要作用，受到了研究界和工业界的广泛关注。尽管已经提出了许多基于深度学习的VSR方法，但由于不同的损失函数和训练数据集对超分辨率结果有显著影响，因此很难直接比较这些方法。在这项工作中，我们仔细研究和比较三种时间建模方法（2D CNN与早期融合，3D CNN与缓慢融合和递归神经网络）的视频超分辨率。我们还提出了一种新的递归残差网络（RRN），用于高效的视频超分辨率，其中残差学习用于稳定RNN的训练，同时提高超分辨率性能。大量的实验表明，所提出的RRN是高度的计算效率，并产生时间一致的VSR结果与更精细的细节比其他时间建模方法。此外，该方法在几个广泛使用的基准测试中取得了最先进的结果。
2020-08-20 cs.CV eess.IV
Progressive Training of A Two-Stage Framework for Video Restoration
Alibaba Group（阿里巴巴集团）
视频复原是一个广泛研究的课题，其目的是提高视频的质量，同时消除视频中的噪声、模糊和压缩伪影。在视频压缩技术中，压缩视频质量增强和视频超分辨率是两个具有重要应用价值的主要技术。最近，递归神经网络和Transformers吸引了越来越多的研究兴趣，在这一领域，由于其令人印象深刻的能力，在序列到序列建模。然而，这些模型的训练不仅成本高昂，而且相对难以收敛，存在梯度爆炸和消失问题。为了解决这些问题，我们提出了一个两阶段的框架，包括一个多帧递归网络和一个单帧Transformer。此外，为了缩短训练时间，提高模型性能，提出了多种训练策略，如迁移学习和渐进式训练。得益于上述技术贡献，我们的解决方案在NTIRE 2022压缩视频超分辨率和质量增强挑战赛中获得两项冠军和一项亚军。代码可在https://github.com/ryanxingql/winner-ntire22-vqe上获得。
2023-02-04 cs.CV cs.MM
Fast Online Video Super-Resolution with Deformable Attention Pyramid
ETH Zürich（苏黎世联邦理工学院）；University of Würzburg（维尔茨堡大学）；KU Leuven（鲁汶大学）
视频超分辨率（VSR）有许多应用，提出严格的因果关系，实时性和延迟约束，包括视频流和电视。我们在这些设置下解决VSR问题，这带来了额外的重要挑战，因为来自未来帧的信息不可用。重要的是，设计高效的，但有效的帧对齐和融合模块仍然是核心问题。在这项工作中，我们提出了一个经常性的VSR架构的基础上变形的注意力金字塔（DAP）。我们的DAP将来自循环状态的信息对齐并整合到当前帧预测中。为了规避传统的基于注意力的方法的计算成本，我们只关注有限数量的空间位置，这是动态预测的DAP。综合实验和分析所提出的关键创新点表明我们的方法的有效性。与最先进的方法相比，我们显着降低了处理时间和计算复杂度，同时保持了高性能。在两个标准基准上，我们超过了最先进的方法EDVR-M，速度超过了$3\times$。
2022-04-06 cs.CV eess.IV
Omniscient Video Super-Resolution
Wuhan University（武汉大学）；Harbin Institute of Technology（哈尔滨工业大学）；Wuhan Institute of Technology（武汉工程大学）
最近的视频超分辨率（SR）方法要么采用迭代的方式来处理来自时间滑动窗口的低分辨率（LR）帧，要么利用先前估计的SR输出来帮助递归地重建当前帧。一些研究试图将这两种结构结合起来，形成一个混合框架，但未能充分发挥它的作用。在本文中，我们提出了一个全知的框架，不仅利用以前的SR输出，而且还利用SR输出从现在和未来。全知框架更具有一般性，因为迭代框架、递归框架和混合框架可以被视为其特例。建议的全知框架，使发电机的行为比其他框架下的同行。在公开数据集上的大量实验表明，该方法在客观度量、主观视觉效果和复杂度方面均优于现有方法。我们的代码将被公开。
2021-03-29 cs.CV eess.IV
Sync-DRAW: Automatic Video Generation using Deep Recurrent Attentive Architectures
IIT Hyderabad（印度理工学院海得拉巴分校）
本文介绍了一种新的方法，用于生成视频称为同步深度递归注意作家（Sync-DRAW）。Sync-DRAW还可以执行文本到视频的生成，据我们所知，这使其成为同类方法中的第一种。它以一种新颖的方式将变分自编码器~（VAE）与循环注意力机制相结合，以创建随时间逐渐形成的时间依赖的帧序列。Sync-DRAW中的周期性注意力机制关注同步中的视频的每个单独帧，而VAE在全局级别上学习整个视频的潜在分布。我们对Bouncing MNIST，KTH和UCF-101的实验表明，Sync-DRAW在学习视频的空间和时间信息方面是有效的，并生成具有高度结构完整性的帧，并且可以从这些数据集上的简单字幕生成视频。（作为口头论文在ACM-Multimedia 2017中被接受）
2017-10-21 cs.CV
Video captioning with recurrent networks based on frame- and video-level features and visual content classification
Aalto University School of Science（阿尔托大学理学院）
在本文中，我们描述了使用递归神经网络（RNN）生成短视频片段的文本描述的系统，我们在参加ICCV 2015的2015年大规模电影描述挑战赛时使用了该系统。我们的工作建立在基于RNN的语言模型的静态图像字幕系统的基础上，并将此框架扩展到利用静态图像特征和视频特定特征的视频。此外，我们研究的有用性的视觉内容分类器作为额外的信息源字幕生成。实验结果表明，利用基于关键帧的功能，密集的轨迹视频功能和内容分类器输出一起提供了更好的性能比任何一个单独。
2015-12-09 cs.CV
Learning Video-Story Composition via Recurrent Neural Network
Dalian University of Technology（大连理工大学）；University of California, Merced（加州大学默塞德分校）；NEC Labs America（美国电气股份有限公司实验室）；NVIDIA Research（英伟达研究院）
在本文中，我们提出了一种基于学习的方法来组成一个视频故事，从一组视频剪辑描述的活动或经验。我们通过循环神经网络（RNN）从真实视频中学习视频剪辑之间的一致性，该网络联合采用时空语义和运动动力学来生成平滑和相关的组合。我们进一步重新排列RNN生成的结果，通过子模块排名优化过程使整个视频故事与故事情节结构兼容。视频故事数据集上的实验结果表明，该算法优于国家的最先进的方法。
2018-01-31 cs.CV
Recurrent Embedding Aggregation Network for Video Face Recognition
Michigan State University（密歇根州立大学）
递归网络已经成功地分析了时间数据，并已被广泛用于视频分析。然而，对于视频人脸识别，在大规模数据上训练的基本CNN已经提供了有区别的特征，使用长短期记忆（LSTM），一种流行的递归网络，进行特征学习可能会导致过度拟合并降低性能。我们提出了一个递归嵌入聚合网络（REAN）集到集人脸识别。与LSTM相比，REAN对过拟合具有鲁棒性，因为它只学习如何聚合预训练的嵌入，而不是从头开始学习表示。与质量感知的聚合方法相比，REAN可以利用上下文信息来规避冗余视频帧引入的噪声。在三个公共领域视频人脸识别数据集IJB-S、YTF和PaSC上的实验结果表明，所提出的REAN显著优于朴素CNN-LSTM结构和质量感知聚合方法。
2019-06-25 cs.CV
Recurrent Deconvolutional Generative Adversarial Networks with Application to Text Guided Video Generation
University of Chinese Academy of Sciences（中国科学院大学）；The Institute of Microelectronics, Tsinghua University（清华大学微电子研究所）；Chinese Academy of Sciences Artificial Intelligence Research（中国科学院人工智能研究院）
本文提出了一种新的视频生成模型，特别是尝试处理从文本描述生成视频的问题，即，合成以给定文本为条件的逼真视频。现有的视频生成方法不能很容易地适应处理这个任务，由于帧的不连续性问题和它们的无文本生成方案。为了解决这些问题，我们提出了一种递归解卷积生成对抗网络（RD-GAN），它包括一个递归解卷积网络（RDN）作为生成器和一个3D卷积神经网络（3D-CNN）作为神经网络。RDN是传统递归神经网络的去卷积版本，它可以很好地建模生成的视频帧的长距离时间依赖性，并充分利用条件信息。该模型可以通过推动RDN生成逼真的视频来进行联合训练，以便3D-CNN无法将它们与真实视频区分开来。我们提出的RD-GAN应用到一系列的任务，包括传统的视频生成，条件视频生成，视频预测和视频分类，并证明其有效性，实现良好的性能。
2020-08-13 cs.CV
Higher Order Recurrent Space-Time Transformer for Video Action Prediction
NVIDIA AI Technology Center（英伟达人工智能技术中心）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
赋予视觉代理预测能力是实现大规模视频智能的关键一步。这方面的主要建模范例是序列学习，主要通过LSTM实现。前馈Transformer架构已经取代了语言处理ML应用中的循环模型设计，也部分取代了计算机视觉。在本文中，我们研究了视频预测任务的变压器式架构的竞争力。要做到这一点，我们提出了HORST，一种新的高阶递归层设计，其核心元素是一个时空分解的视频自我注意。HORST在“某物-某物”早期动作识别和“史诗-奇趣”动作预测方面达到了最先进的竞争性能，显示了我们归因于自我注意的周期性高阶设计的预测能力的证据。
2021-09-21 cs.CV
Recurrent Video Masked Autoencoders
Google DeepMind（谷歌DeepMind）
本文提出递归视频掩码自编码器(RVM)，通过递归计算建模视频数据的时序结构，利用非对称掩码目标和基于Transformer的递归神经网络，在仅需简单像素重建损失的情况下，实现了高效且通用的视频表示学习。
2026-04-21 cs.CV
Top-down Attention Recurrent VLAD Encoding for Action Recognition in Videos
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
最近的视频动作识别方法利用深度架构将视频剪辑编码为固定长度的表示向量，然后用于分类。为了取得成功，网络必须能够抑制不相关的场景背景，并从视频中最具区别性的部分提取表示。我们的贡献建立在观察到的时空模式特征的动作在视频中是高度相关的对象和它们在视频中的位置。我们提出了自上而下的注意力动作VLAD（TA-VLAD），这是一种具有内置空间注意力的深度递归架构，可以执行时间聚合的VLAD编码，用于视频中的动作识别。我们采用自上而下的注意力方法，通过使用从深度CNN获得的类特定激活图，该深度CNN为图像分类进行预训练，在使用门控递归单元将其编码为固定长度的视频描述符之前对外观特征进行加权。我们的方法在HMDB 51和UCF 101基准测试中达到了最先进的识别精度。
2018-08-29 cs.CV
A Log-likelihood Regularized KL Divergence for Video Prediction with A 3D Convolutional Variational Recurrent Network
A*STAR（新加坡科技研究局）
潜变量模型的使用已被证明是对序列的概率分布建模的有力工具。在本文中，我们介绍了一种新的变分模型，扩展了经常性网络的视频帧预测任务的两种方式。首先，我们在所有模块中引入3D卷积，包括用于未来帧预测的递归模型，在每个时间步输入和输出视频帧序列。这使我们能够更好地利用变分递归模型中的时空信息，从而生成高质量的预测。其次，我们通过引入最大似然估计，除了KL散度，这是常用的变分模型的潜在损失。这个简单的扩展在变分自编码器损失函数中充当更强的正则化器，并且使我们获得更好的结果和可推广性。实验表明，我们的模型优于现有的视频预测方法在几个基准，而需要更少的参数。
2020-12-11 cs.CV
FlowChroma -- A Deep Recurrent Neural Network for Video Colorization
University of Moratuwa（莫拉图瓦大学）
提出基于深度循环编码器-解码器架构的FlowChroma视频着色框架，利用语义特征提取与时空融合层维持帧间一致性，有效减少颜色闪烁。
2023-05-23 cs.CV
Adaptive Detrending to Accelerate Convolutional Gated Recurrent Unit Training for Contextual Video Recognition
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Okinawa Institute of Science and Technology Graduate University（冲绳科学技术大学院大学）
随着图像识别技术的发展，视频识别技术成为当前研究的热点。然而，大多数现有的方法都集中在短期而不是长期的视频识别，称为上下文视频识别。为了解决上下文视频识别问题，我们使用具有丰富时空信息处理能力的卷积递归神经网络（ConvRNN），但ConvRNN需要大量计算，这会减慢训练速度。在本文中，受归一化和去趋势方法的启发，我们提出了用于时间归一化的自适应去趋势（AD），以加速ConvRNN的训练，特别是卷积门控递归单元（ConvGRU）。AD通过减去趋势来去除递归神经网络（RNN）中每个神经元的序列内的内部协变量偏移。在ConvGRU的上下文识别实验中，结果表明：（1）ConvGRU明显优于前馈神经网络，（2）AD始终提供显着的训练加速和泛化改进，（3）AD通过与现有的归一化方法合作得到进一步改进。
2017-05-24 cs.CV
Convolutional Gated Recurrent Networks for Video Segmentation
University of Alberta（阿尔伯塔大学）
语义分割最近取得了重大进展，其中全卷积神经网络表现良好。然而，大多数以前的工作集中在改善单图像分割。据我们所知，没有以前的工作已经利用了时间视频信息的循环网络。在本文中，我们介绍了一种新的方法，隐式地利用时间数据的视频在线语义分割。该方法依赖于嵌入到门控递归架构中的完全卷积网络。该设计接收一系列连续的视频帧，并输出最后一帧的分割。卷积门控递归网络用于递归部分，以保持图像中的空间连通性。我们提出的方法可以应用于在线和批量分割。该架构进行了测试的二进制和语义视频分割任务。实验在SegTrack V2、Davis、CityScapes和Synthia的最新基准上进行。在我们所有的实验中，使用递归的全卷积网络提高了基线网络的性能。也就是说，SegTrack 2和Davis的F测量值分别提高了5%和3%，Synthia的平均IoU提高了5.7%，CityScapes的分类平均IoU提高了3.5%。RFCN网络的性能取决于其基准全卷积网络。因此，RFCN架构可以被看作是一种通过利用视频中的时空信息来改进其基线分割网络的方法。
2016-11-21 cs.CV
Recurrent Neural Networks for Online Video Popularity Prediction
Warsaw University of Technology（华沙理工大学）；Tooploox
在本文中，我们解决了在社交媒体上共享的在线视频的流行预测问题。我们证明了这个具有挑战性的任务可以使用最近提出的深度神经网络架构来实现。我们把流行度预测问题作为一个分类任务，我们的目标是只使用从视频中提取的视觉线索来解决它。为此，我们提出了一种基于长期递归卷积网络（LRCN）的新方法，该方法将模型中信息的序列性结合起来。在Facebook上发布的超过37，000个视频的数据集上获得的结果表明，使用我们的方法比传统的浅层方法在预测性能上提高了30%以上，并且可以为内容创作者提供有价值的见解。
2017-07-21 cs.CV
Unidirectional Video Denoising by Mimicking Backward Recurrent Modules with Look-ahead Forward Ones
Harbin Institute of Technology（哈尔滨工业大学）；Xidian University（西安电子科技大学）
虽然在深度视频去噪方面取得了重大进展，但利用历史和未来帧仍然非常具有挑战性。双向递归网络（BiRNN）在几个视频恢复任务中表现出了吸引人的性能。然而，BiRNN本质上是离线的，因为它使用向后递归模块从最后一帧传播到当前帧，这会导致高延迟和大量内存消耗。为了解决BiRNN的离线问题，我们提出了一种新的递归网络，由正向和前瞻递归模块组成，用于单向视频去噪。特别地，前瞻模块是用于利用来自不久的将来帧的信息的精细的前向模块。当对当前帧进行去噪时，通过前向和前瞻递归模块的隐藏特征被组合，从而使得利用历史帧和近期帧都是可行的。由于非相邻帧之间的场景运动，当将前瞻特征从近期未来帧扭曲到当前帧时，可能会发生边界像素丢失，这可以通过结合前向扭曲和建议的边界放大来大大减轻。实验表明，我们的方法达到了最先进的性能与恒定的延迟和内存消耗。代码可在www.example.com获得。
2022-07-31 cs.CV
Recurrent Fully Convolutional Networks for Video Segmentation
University of Alberta（阿尔伯塔大学）
图像分割是大多数视觉任务中的重要步骤。虽然卷积神经网络已被证明在单个图像分割上表现良好，但据我们所知，尚未对利用递归门控架构进行视频分割进行研究。因此，我们提出了一种新的方法，结合时间数据的视频序列的在线分割。该网络是由完全卷积的元素和递归单元构建的，该单元在时间数据上的滑动窗口上工作。我们还介绍了一种新的卷积门控递归单元，它保留了空间信息并减少了学习的参数。我们的方法的优点是，它可以在线工作，而不是在整个输入批次的视频帧操作。该网络在变化检测数据集上进行了测试，并被证明在每帧分割方面比普通全卷积网络的F-测量提高了5.5%。与我们称之为FCN 12的基线网络相比，它的F测量值也提高了1.4%。
2016-10-31 cs.CV
TricorNet: A Hybrid Temporal Convolutional and Recurrent Network for Video Action Segmentation
University of Rochester（罗切斯特大学）
近年来，动作分割作为构建自动系统以理解未修剪视频的里程碑受到了相当大的关注。它通常被建模为序列标记问题，但包含与文本解析或语音处理相比的内在和充分的差异。在本文中，我们介绍了一种新的混合时间卷积和递归网络（TricorNet），它具有编码器-解码器架构：编码器由一个层次的时间卷积内核组成，可以捕获不同动作的局部运动变化;解码器是一个层次的递归神经网络，能够在编码阶段之后学习和记忆长期动作依赖关系。我们的模型很简单，但在视频序列标记方面非常有效。在三个公共行为分割数据集上的实验结果表明，该模型的性能优于现有技术。
2017-05-22 cs.CV
Autoencoder with recurrent neural networks for video forgery detection
University Federico II of Naples（那不勒斯费德里科二世大学）
近年来，视频伪造检测成为一个重要的问题，因为现代编辑软件提供了强大且易于使用的工具来操纵视频。在本文中，我们提出通过深度学习来执行检测，其架构基于自动编码器和循环神经网络。在一些原始帧上的训练阶段允许自动编码器学习源的内在模型。然后，锻造材料被挑出来作为异常，因为它不符合学习的模型，并且用大的重建误差进行编码。递归网络，实现与长短期记忆模型，用于利用时间依赖性。伪造视频的初步结果显示了这种方法的潜力。
2017-08-29 cs.CV
Learning Video Instance Segmentation with Recurrent Graph Neural Networks
Linköping University（林雪平大学）；Zenseact；SAAB（萨博）；ETH Zürich（苏黎世联邦理工学院）
大多数现有的视频实例分割方法包括多个模块，这些模块被逐层组合以产生最终输出。相反，制定一个纯粹的基于学习的方法，该方法对时间方面以及解决视频实例分割任务所需的通用跟踪管理进行建模，这是一个非常具有挑战性的问题。在这项工作中，我们提出了一种新的学习公式，其中整个视频实例分割问题是联合建模。我们将一个灵活的模型拟合到我们的公式中，在图神经网络的帮助下，处理每个帧中所有可用的新信息。过去的信息通过循环连接进行考虑和处理。我们证明了所提出的方法在综合实验的有效性。我们的方法，在超过25 FPS的操作，优于以前的视频实时方法。我们进一步进行详细的烧蚀实验，验证我们的方法的不同方面。
2020-12-07 cs.CV
Hierarchical Recurrent Neural Network for Video Summarization
Northwestern Polytechnical University（西北工业大学）；Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences（中国科学院西安光学精密机械研究所）
利用视频帧或子镜头之间的时间相关性对于视频摘要任务非常重要。实际上，RNN擅长于时间依赖建模，并且在许多基于视频的任务中取得了压倒性的性能，例如视频描述和分类。然而，RNN不足以处理视频摘要任务，因为传统的RNN，包括LSTM，只能处理短视频，而摘要任务中的视频通常持续时间较长。为了解决这个问题，本文提出了一种用于视频摘要的分层循环神经网络，称为H-RNN。具体地说，它有两层，其中第一层用于编码从原始视频中剪切的短视频子镜头，并且每个子镜头的最终隐藏状态被输入到第二层，用于计算其作为关键子镜头的置信度。与传统的RNN相比，H-RNN更适合于视频摘要，因为它可以利用帧之间的长时间依赖性，同时，计算操作显着减少。两个流行的数据集，包括组合数据集和VTW数据集的结果表明，所提出的H-RNN优于最先进的。
2019-04-28 cs.CV
Memory-Attended Recurrent Network for Video Captioning
Tencent（腾讯）；Southern University of Science and Technology（南方科技大学）
用于视频描述的典型技术遵循编码器-解码器框架，其仅能集中于正被处理的一个源视频。这种设计的一个潜在缺点是，它不能捕获出现在训练数据中的多于一个相关视频中的单词的多个视觉上下文信息。为了解决这个问题，我们提出了内存参与递归网络（MARN）的视频描述，其中的内存结构的目的是探索一个词和它的各种相似的视觉上下文之间的全谱对应关系，在训练数据的视频。因此，我们的模型能够对每个单词实现更全面的理解，并产生更高的字幕质量。此外，构建的内存结构使我们的方法能够显式地对相邻单词之间的兼容性进行建模，而不是像大多数现有模型那样要求模型隐式学习。在两个真实数据集上的广泛验证表明，我们的MARN始终优于最先进的方法。
2019-05-10 cs.CV
Temporal Activity Detection in Untrimmed Videos with Recurrent Neural Networks
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
本文探讨了利用卷积神经网络和循环神经网络对视频中的活动进行分类和时间定位的不同方法，并提出了一种实现方法。作为第一步，已经使用最先进的3D卷积神经网络从视频帧中提取特征。这些特征被输入到循环神经网络中，该网络以简单而灵活的方式解决活动分类和时间定位任务。已经测试了不同的架构和配置，以实现所提供的视频数据集的最佳性能和学习。此外，还研究了对训练好的网络输出进行不同类型的后处理，以在视频活动的时间定位上取得更好的结果。本论文中开发的神经网络提供的结果已提交给CVPR的ActivityNet Challenge 2016，使用简单灵活的架构实现了有竞争力的结果。
2017-03-02 cs.CV
ReHyAt: Recurrent Hybrid Attention for Video Diffusion Transformers
Qualcomm AI Research（高通人工智能研究）
ReHyAt通过结合softmax和线性注意力，实现高效的视频扩散模型，降低训练成本并提升长序列生成的可扩展性。
2026-01-07 cs.CV
Consistent Video Instance Segmentation with Inter-Frame Recurrent Attention
Microsoft Cloud & AI（微软云计算与人工智能部门）
视频实例分割的目标是预测每个帧的对象分割掩模，以及跨多个帧关联实例。最近的端到端视频实例分割方法能够在直接并行序列解码/预测框架中一起执行对象分割和实例关联。虽然这些方法通常预测更高质量的对象分割掩模，但它们可能无法在具有挑战性的情况下关联实例，因为它们没有明确地对相邻帧的时间实例一致性进行建模。我们提出了一个一致的端到端的视频实例分割框架与帧间循环注意力模型的时间实例一致性相邻帧和全局时间上下文。我们广泛的实验表明，帧间递归注意显着提高时间实例的一致性，同时保持对象分割掩模的质量。我们的模型在YouTubeVIS-2019（62.1\%）和YouTubeVIS-2021（54.7\%）数据集上都达到了最先进的准确率。此外，定量和定性的结果表明，所提出的方法预测更多的时间一致的实例分割掩模。
2022-06-14 cs.CV
Semantic Video Segmentation by Gated Recurrent Flow Propagation
Lund University（隆德大学）
语义视频分割是具有挑战性的，因为为了构建准确的模型，需要处理和标记大量的数据。在本文中，我们提出了一种深度的端到端可训练的视频分割方法，该方法能够利用未标记数据中的信息来改进语义估计。我们的模型结合了卷积架构和时空Transformer递归层，它们能够通过光流在时间上传播标记信息，并根据其局部估计的不确定性进行自适应门控。流、识别和门控时间传播模块可以端到端地联合训练。我们的模型的时间，门控经常流传播组件可以插入到任何静态语义分割架构，并把它变成一个弱监督的视频处理。我们在具有挑战性的CityScapes和Camvid数据集中进行了大量实验，并基于多个深度架构，结果表明，所产生的模型可以利用未标记的时间帧，紧挨着标记的时间帧，以提高视频分割的准确性和时间标记的一致性，无需额外的注释成本，只需很少的额外计算。
2017-10-02 cs.CV
Video Paragraph Captioning Using Hierarchical Recurrent Neural Networks
Purdue University（普渡大学）；Baidu Research - Institute of Deep Learning（百度研究院深度学习研究所）；Facebook（脸书）
我们提出了一种利用分层循环神经网络（RNN）来解决视频描述问题的方法，即，生成描述真实视频的一个或多个句子。我们的分层框架包含一个句子生成器和一个段落生成器。句子生成器生成一个简单的短句，描述特定的短视频间隔。它利用时间和空间两种注意力机制，在生成过程中选择性地关注视觉元素。段落生成器通过将由句子生成器产生的连续嵌入作为输入、将其与段落历史相结合、并输出用于句子生成器的新的初始状态来捕获句子间依赖性。我们在两个大规模的基准数据集上评估了我们的方法：YouTubeClips和TACoS-MultiLevel。实验表明，我们的方法显着优于当前最先进的方法与BLEU@4得分分别为0.499和0.305。
2016-04-06 cs.CV
FASTER Recurrent Networks for Efficient Video Classification
Facebook AI（Facebook人工智能）；University of Technology Sydney（悉尼科技大学）；University of Edinburgh（爱丁堡大学）
典型的视频分类方法通常将视频分成短片段，对每个片段独立地进行推理，然后聚合片段级预测以生成视频级结果。然而，独立处理视觉上相似的剪辑忽略了视频序列的时间结构，并增加了推理时的计算成本。在本文中，我们提出了一个新的框架命名为FASTER，即，时空冗余的特征聚合。FASTER旨在利用相邻剪辑之间的冗余，并通过学习从不同复杂度的模型中聚合预测来降低计算成本。FASTER框架可以从昂贵的模型中集成高质量的表示来捕获微妙的运动信息，并从廉价的模型中集成轻量级的表示来覆盖视频中的场景变化。一个新的循环网络（即，FAST-GRU）旨在聚合不同表示的混合。与现有的方法相比，FASTER可以减少超过10倍的FLOPs？同时在流行的数据集（如Kinetics，UCF-101和HMDB-51）中保持最先进的准确性。
2019-09-08 cs.CV
Recurrent Residual Module for Fast Inference in Videos
Shanghai Jiao Tong University（上海交通大学）；Zhejiang University（浙江大学）；Massachusetts Institute of Technology（麻省理工学院）
深度卷积神经网络（CNN）在视频姿态估计和视频目标检测等许多视频识别任务中取得了令人印象深刻的进展。然而，由于单独处理密集帧，对视频的CNN推断在计算上是昂贵的。在这项工作中，我们提出了一个框架，称为递归残差模块（RRM），以加速视频识别任务的CNN推理。该框架采用了一种新颖的设计，即利用连续两帧的中间特征图的相似性，大大减少了冗余计算。与以前的工作相比，所提出的方法的一个独特的属性是精确计算每帧的特征图。实验表明，在保持类似识别性能的同时，我们的RRM在常用的CNN（如AlexNet，ResNet，深度压缩模型）上平均产生2倍的加速（因此比使用高效推理引擎的原始密集模型快8- 12倍），并且在一些二进制网络（如XNOR-Nets）上产生9倍的加速（因此比原始模型快500倍）。我们进一步验证了RRM在加速CNN进行视频姿态估计和视频目标检测方面的有效性。
2018-02-27 cs.CV
Recurrent Convolutional Strategies for Face Manipulation Detection in Videos
USC Information Sciences Institute（南加州大学信息科学研究所）
错误信息通过合成生成但真实的图像和视频的传播已经成为一个重要的问题，需要鲁棒的操纵检测方法。尽管在静态图像中检测人脸操纵的主要努力，较少注意到已支付到篡改的脸在视频中的识别，利用存在于流中的时间信息。递归卷积模型是一类深度学习模型，已证明其在跨域利用来自图像流的时间信息方面是有效的。因此，我们通过广泛的实验，提取出最佳策略，将这些模型中的变化与特定领域的人脸预处理技术相结合，以获得公开的基于视频的面部操作基准的最先进性能。具体来说，我们试图检测视频流中的Deepfake，Face2Face和FaceSwap篡改的面孔。对最近推出的FaceForensics++数据集进行了评估，将之前最先进的准确率提高了4.55%。
2019-05-16 cs.CV
Recurrent Video Deblurring with Blur-Invariant Motion Estimation and Pixel Volumes
POSTECH（浦项科技大学）
为了成功地进行视频去模糊，利用相邻帧的信息是必不可少的。大多数现有技术的视频去模糊方法采用视频帧之间的运动补偿来聚合来自多个帧的信息，这可以帮助对目标帧进行去模糊。然而，以前的去模糊方法所采用的运动补偿方法不是模糊不变的，因此，它们的精度是有限的模糊帧与不同的模糊量。为了缓解这个问题，我们提出了两种新的方法，通过有效地聚合来自多个视频帧的信息来去模糊视频。首先，我们提出了模糊不变的运动估计学习，以提高模糊帧之间的运动估计精度。其次，对于运动补偿，我们使用包含候选尖锐像素的像素体积来解决运动估计误差，而不是通过扭曲估计运动来对齐帧。我们结合这两个过程，提出了一个有效的经常性的视频去模糊网络，充分利用去模糊的前帧。实验表明，与最近使用深度学习的方法相比，我们的方法在定量和定性方面都达到了最先进的性能。
2021-08-23 cs.CV
Hierarchical Recurrent Neural Encoder for Video Representation with Application to Captioning
University of Technology Sydney（悉尼科技大学）；Zhejiang University（浙江大学）
最近，深度学习方法，特别是深度卷积神经网络（ConvNets），已经实现了图像分类的快速处理速度和压倒性的准确性。用深度ConvNets描述视频的时间结构成为视频内容分析的一个基本问题。在本文中，我们提出了一种新的方法，即层次递归神经编码器（HRNE），利用视频的时间信息。与目前的视频表示推理方法相比，本文做出了以下三个贡献。首先，我们的HRNE是能够有效地利用视频的时间结构在更长的范围内，通过减少输入信息流的长度，并在更高的水平上合成多个连续的输入。其次，计算操作显著减少，同时获得更多的非线性。第三，HRNE能够揭示具有不同粒度的帧块之间的时间转换，即，它可以对帧之间的时间转换以及段之间的转换进行建模。我们将新的方法应用到时间信息起着至关重要的作用的视频描述。实验表明，我们的方法优于国家的最先进的视频描述基准。值得注意的是，即使使用仅RGB流作为输入的单个网络，HRNE也击败了所有结合多个输入的最新系统，例如RGB ConvNet和3D ConvNet。
2015-11-11 cs.CV
Recurrent Residual Learning for Action Recognition
University of Bonn（波恩大学）
动作识别是计算机视觉中的一个基本问题，在视频监控、人机交互、机器人学习等领域有着广泛的应用前景。给定预先分段的视频，任务是识别视频中发生的动作。从历史上看，手工制作的视频功能被用来解决动作识别的任务。随着Deep ConvNets作为图像分析方法的成功，许多标准ConvNets的扩展旨在处理可变长度的视频数据。在这项工作中，我们提出了一种新的递归ConvNet架构，称为递归残差网络，以解决动作识别的任务。该方法扩展了ResNet，一种用于图像分类的最新模型。虽然ResNet的原始公式旨在学习其层中的空间残差，但我们通过引入允许学习时空残差的递归连接来扩展该方法。与完全递归的网络相比，我们的时间连接只允许有限范围的前一帧对当前帧的输出做出贡献，从而实现有效的训练和推理，并将时间上下文限制在每个帧周围的合理局部范围内。在一个大规模的动作识别数据集上，我们证明了我们的模型比标准ResNet架构和由完全递归层扩展的ResNet都有所改进。
2017-06-27 cs.CV
RVOS: End-to-End Recurrent Network for Video Object Segmentation
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）
多目标视频对象分割是一项具有挑战性的任务，特别是对于zero-shot的情况下，当没有对象掩模在初始帧中给出，模型必须沿着序列找到要分割的对象。在我们的工作中，我们提出了一个用于多对象视频对象分割（RVOS）的递归网络，它是完全端到端可训练的。我们的模型在两个不同的域上结合了递归：（i）空间域，它允许在一个帧内发现不同的对象实例，以及（ii）时间域，它允许保持分割对象在时间上的一致性。我们训练RVOS进行zero-shot视频对象分割，并且是第一个报告DAVIS-2017和YouTube-VOS基准测试定量结果的公司。此外，我们适应RVOS单镜头视频对象分割通过使用在以前的时间步骤中获得的掩模作为输入由递归模块处理。我们的模型达到了与YouTube-VOS基准测试中最先进的技术相当的结果，并且在DAVIS-2017基准测试中优于所有以前不使用在线学习的视频对象分割方法。此外，我们的模型实现了比以前的方法更快的推理运行时间，在P100 GPU上达到44 ms/帧。
2019-05-21 cs.CV
Deep Recurrent Convolutional Networks for Video-based Person Re-identification: An End-to-End Approach
The University of Adelaide（阿德莱德大学）
在本文中，我们提出了一个端到端的方法，同时学习时空特征和相应的相似性度量，基于视频的人重新识别。给定一个人的视频序列，从深度卷积网络的所有级别提取的每帧特征可以保持更高的空间分辨率，我们可以从中建模更精细的运动模式。这些低层次的视觉感知被利用到一个变体的递归模型来表征时间步长之间的时间变化。然后，使用时间池来总结来自所有时间步骤的特征，以产生完整序列的总体特征表示。深度卷积网络、递归层和时间池被联合训练，以从时间序列的输入对中提取可比较的隐藏单元表示，以计算它们相应的相似度值。该框架将时间序列建模和度量学习相结合，共同学习相关特征和人的时间序列之间的相似性度量。实验表明，我们的方法实现了最先进的性能，基于视频的人重新识别的iLIDS-VID和PRID 2011，两个主要的公共数据集，用于此目的。
2016-06-12 cs.CV
Curriculum Learning for Recurrent Video Object Segmentation
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）
视频对象分割可以被理解为一个序列到序列的任务，它可以从课程学习策略中受益，以更好更快地训练深度神经网络。这项工作探讨了不同的时间表采样和跳帧的变化，显着提高性能的经常性架构。我们对KITTI-MOTS挑战赛的汽车类的结果表明，令人惊讶的是，反向时间表采样是一个更好的选择比一个经典的前进。此外，在训练期间渐进跳过帧是有益的，但仅当使用地面真实掩码而不是预测掩码进行训练时。源代码和训练模型可在http://imatge-upc.github.io/rvos-mots/上获得。
2020-08-15 cs.CV
ViT-ReT: Vision and Recurrent Transformer Neural Networks for Human Activity Recognition in Videos
Kansas State University（堪萨斯州立大学）
人类活动识别是计算机视觉中一个新兴的重要领域，它试图确定个人或一组个人正在执行的活动。该领域的应用范围从生成体育比赛中的精彩视频到智能监控和手势识别。大多数活动识别系统依赖于卷积神经网络（CNN）和递归神经网络（RNN）的组合，卷积神经网络（CNN）从数据中执行特征提取，递归神经网络（RNN）确定数据的时间相关性质。本文提出并设计了两种用于人体活动识别的Transformer神经网络：一种递归Transformer（ReT），一种用于对数据序列进行预测的专用神经网络，以及一种视觉Transformer（ViT），一种用于从图像中提取显著特征的Transformer，以提高活动识别的速度和可扩展性。我们提供了一个广泛的比较拟议的Transformer神经网络与当代CNN和基于RNN的人类活动识别模型的速度和准确性。
2022-08-25 cs.CV
