Recurrent Video Masked Autoencoders
Google DeepMind(谷歌DeepMind)
本文提出递归视频掩码自编码器(RVM),通过递归计算建模视频数据的时序结构,利用非对称掩码目标和基于Transformer的递归神经网络,在仅需简单像素重建损失的情况下,实现了高效且通用的视频表示学习。
2026-04-21 cs.CV
Top-down Attention Recurrent VLAD Encoding for Action Recognition in Videos
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
最近的视频动作识别方法利用深度架构将视频剪辑编码为固定长度的表示向量,然后用于分类。为了取得成功,网络必须能够抑制不相关的场景背景,并从视频中最具区别性的部分提取表示。我们的贡献建立在观察到的时空模式特征的动作在视频中是高度相关的对象和它们在视频中的位置。我们提出了自上而下的注意力动作VLAD(TA-VLAD),这是一种具有内置空间注意力的深度递归架构,可以执行时间聚合的VLAD编码,用于视频中的动作识别。我们采用自上而下的注意力方法,通过使用从深度CNN获得的类特定激活图,该深度CNN为图像分类进行预训练,在使用门控递归单元将其编码为固定长度的视频描述符之前对外观特征进行加权。我们的方法在HMDB 51和UCF 101基准测试中达到了最先进的识别精度。
2018-08-29 cs.CV
Video Super-Resolution with Recurrent Structure-Detail Network
Tsinghua University(清华大学);The University of Sydney(悉尼大学)
大多数视频超分辨率方法在时间滑动窗口中的相邻帧的帮助下对单个参考帧进行超分辨率。与基于递归的方法相比,它们的效率较低。在这项工作中,我们提出了一种新的经常性的视频超分辨率方法,这是有效的和高效的利用以前的帧超分辨率的当前帧。它将输入分为结构和细节分量,这些分量被馈送到由几个建议的双流结构细节块组成的循环单元。此外,隐藏状态自适应模块,允许当前帧选择性地使用隐藏状态的信息被引入,以提高其鲁棒性的外观变化和错误积累。广泛的消融研究验证了所提出的模块的有效性。在多个基准数据集上的实验表明,与现有的视频超分辨率方法相比,该方法具有更好的性能。
2020-08-02 cs.CV
A Log-likelihood Regularized KL Divergence for Video Prediction with A 3D Convolutional Variational Recurrent Network
A*STAR(新加坡科技研究局)
潜变量模型的使用已被证明是对序列的概率分布建模的有力工具。在本文中,我们介绍了一种新的变分模型,扩展了经常性网络的视频帧预测任务的两种方式。首先,我们在所有模块中引入3D卷积,包括用于未来帧预测的递归模型,在每个时间步输入和输出视频帧序列。这使我们能够更好地利用变分递归模型中的时空信息,从而生成高质量的预测。其次,我们通过引入最大似然估计,除了KL散度,这是常用的变分模型的潜在损失。这个简单的扩展在变分自编码器损失函数中充当更强的正则化器,并且使我们获得更好的结果和可推广性。实验表明,我们的模型优于现有的视频预测方法在几个基准,而需要更少的参数。
2020-12-11 cs.CV
FlowChroma -- A Deep Recurrent Neural Network for Video Colorization
University of Moratuwa(莫拉图瓦大学)
提出基于深度循环编码器-解码器架构的FlowChroma视频着色框架,利用语义特征提取与时空融合层维持帧间一致性,有效减少颜色闪烁。
2023-05-23 cs.CV
Adaptive Detrending to Accelerate Convolutional Gated Recurrent Unit Training for Contextual Video Recognition
Korea Advanced Institute of Science and Technology(韩国科学技术院);Okinawa Institute of Science and Technology Graduate University(冲绳科学技术大学院大学)
随着图像识别技术的发展,视频识别技术成为当前研究的热点。然而,大多数现有的方法都集中在短期而不是长期的视频识别,称为上下文视频识别。为了解决上下文视频识别问题,我们使用具有丰富时空信息处理能力的卷积递归神经网络(ConvRNN),但ConvRNN需要大量计算,这会减慢训练速度。在本文中,受归一化和去趋势方法的启发,我们提出了用于时间归一化的自适应去趋势(AD),以加速ConvRNN的训练,特别是卷积门控递归单元(ConvGRU)。AD通过减去趋势来去除递归神经网络(RNN)中每个神经元的序列内的内部协变量偏移。在ConvGRU的上下文识别实验中,结果表明:(1)ConvGRU明显优于前馈神经网络,(2)AD始终提供显着的训练加速和泛化改进,(3)AD通过与现有的归一化方法合作得到进一步改进。
2017-05-24 cs.CV
Convolutional Gated Recurrent Networks for Video Segmentation
University of Alberta(阿尔伯塔大学)
语义分割最近取得了重大进展,其中全卷积神经网络表现良好。然而,大多数以前的工作集中在改善单图像分割。据我们所知,没有以前的工作已经利用了时间视频信息的循环网络。在本文中,我们介绍了一种新的方法,隐式地利用时间数据的视频在线语义分割。该方法依赖于嵌入到门控递归架构中的完全卷积网络。该设计接收一系列连续的视频帧,并输出最后一帧的分割。卷积门控递归网络用于递归部分,以保持图像中的空间连通性。我们提出的方法可以应用于在线和批量分割。该架构进行了测试的二进制和语义视频分割任务。实验在SegTrack V2、Davis、CityScapes和Synthia的最新基准上进行。在我们所有的实验中,使用递归的全卷积网络提高了基线网络的性能。也就是说,SegTrack 2和Davis的F测量值分别提高了5%和3%,Synthia的平均IoU提高了5.7%,CityScapes的分类平均IoU提高了3.5%。RFCN网络的性能取决于其基准全卷积网络。因此,RFCN架构可以被看作是一种通过利用视频中的时空信息来改进其基线分割网络的方法。
2016-11-21 cs.CV
Recurrent Neural Networks for Online Video Popularity Prediction
Warsaw University of Technology(华沙理工大学);Tooploox
在本文中,我们解决了在社交媒体上共享的在线视频的流行预测问题。我们证明了这个具有挑战性的任务可以使用最近提出的深度神经网络架构来实现。我们把流行度预测问题作为一个分类任务,我们的目标是只使用从视频中提取的视觉线索来解决它。为此,我们提出了一种基于长期递归卷积网络(LRCN)的新方法,该方法将模型中信息的序列性结合起来。在Facebook上发布的超过37,000个视频的数据集上获得的结果表明,使用我们的方法比传统的浅层方法在预测性能上提高了30%以上,并且可以为内容创作者提供有价值的见解。
2017-07-21 cs.CV
Unidirectional Video Denoising by Mimicking Backward Recurrent Modules with Look-ahead Forward Ones
Harbin Institute of Technology(哈尔滨工业大学);Xidian University(西安电子科技大学)
虽然在深度视频去噪方面取得了重大进展,但利用历史和未来帧仍然非常具有挑战性。双向递归网络(BiRNN)在几个视频恢复任务中表现出了吸引人的性能。然而,BiRNN本质上是离线的,因为它使用向后递归模块从最后一帧传播到当前帧,这会导致高延迟和大量内存消耗。为了解决BiRNN的离线问题,我们提出了一种新的递归网络,由正向和前瞻递归模块组成,用于单向视频去噪。特别地,前瞻模块是用于利用来自不久的将来帧的信息的精细的前向模块。当对当前帧进行去噪时,通过前向和前瞻递归模块的隐藏特征被组合,从而使得利用历史帧和近期帧都是可行的。由于非相邻帧之间的场景运动,当将前瞻特征从近期未来帧扭曲到当前帧时,可能会发生边界像素丢失,这可以通过结合前向扭曲和建议的边界放大来大大减轻。实验表明,我们的方法达到了最先进的性能与恒定的延迟和内存消耗。代码可在www.example.com获得。
2022-07-31 cs.CV
Recurrent Back-Projection Network for Video Super-Resolution
Toyota Technological Institute(丰田工业大学);Toyota Technological Institute at Chicago(芝加哥丰田工业大学)
针对视频超分辨率问题,提出了一种新的架构。我们使用循环编码器-解码器模块从连续视频帧中整合空间和时间上下文,该模块将多帧信息与目标帧的更传统的单帧超分辨率路径融合。与大多数先前的工作相比,框架通过堆叠或扭曲汇集在一起,我们的模型,递归反向投影网络(RBPN)将每个上下文框架视为单独的信息源。这些源被组合在一个迭代的细化框架的启发,在多图像超分辨率的反投影的想法。这通过明确表示相对于目标的估计的帧间运动而不是明确地对准帧来辅助。我们提出了一个新的视频超分辨率基准,允许在更大的规模评估,并考虑在不同的运动制度的视频。实验结果表明,我们的RBPN是优于现有的方法在几个数据集上。
2019-03-25 cs.CV
Recurrent Fully Convolutional Networks for Video Segmentation
University of Alberta(阿尔伯塔大学)
图像分割是大多数视觉任务中的重要步骤。虽然卷积神经网络已被证明在单个图像分割上表现良好,但据我们所知,尚未对利用递归门控架构进行视频分割进行研究。因此,我们提出了一种新的方法,结合时间数据的视频序列的在线分割。该网络是由完全卷积的元素和递归单元构建的,该单元在时间数据上的滑动窗口上工作。我们还介绍了一种新的卷积门控递归单元,它保留了空间信息并减少了学习的参数。我们的方法的优点是,它可以在线工作,而不是在整个输入批次的视频帧操作。该网络在变化检测数据集上进行了测试,并被证明在每帧分割方面比普通全卷积网络的F-测量提高了5.5%。与我们称之为FCN 12的基线网络相比,它的F测量值也提高了1.4%。
2016-10-31 cs.CV
TricorNet: A Hybrid Temporal Convolutional and Recurrent Network for Video Action Segmentation
University of Rochester(罗切斯特大学)
近年来,动作分割作为构建自动系统以理解未修剪视频的里程碑受到了相当大的关注。它通常被建模为序列标记问题,但包含与文本解析或语音处理相比的内在和充分的差异。在本文中,我们介绍了一种新的混合时间卷积和递归网络(TricorNet),它具有编码器-解码器架构:编码器由一个层次的时间卷积内核组成,可以捕获不同动作的局部运动变化;解码器是一个层次的递归神经网络,能够在编码阶段之后学习和记忆长期动作依赖关系。我们的模型很简单,但在视频序列标记方面非常有效。在三个公共行为分割数据集上的实验结果表明,该模型的性能优于现有技术。
2017-05-22 cs.CV
Diagnosing and Preventing Instabilities in Recurrent Video Processing
Huawei Technologies Ltd(华为技术有限公司);Queen Mary University of London(伦敦玛丽女王大学);University of Oxford(牛津大学)
递归模型是视频增强任务(如视频去噪或超分辨率)的热门选择。在这项工作中,我们专注于他们的稳定性动力系统,并表明他们往往会失败灾难性的推理时间长视频序列。为了解决这个问题,我们(1)引入了一种诊断工具,它可以产生优化的输入序列来触发不稳定性,并且可以被解释为时间感受野的可视化,(2)提出了两种方法来加强训练过程中模型的稳定性:约束谱范数或约束其卷积层的稳定秩。然后,我们介绍了卷积层的稳定秩归一化(SRN-C),这是一种强制执行这些约束的新算法。我们的实验结果表明,SRN-C成功地执行稳定的经常性视频处理模型,而没有显着的性能损失。
2023-03-11 cs.CV
Autoencoder with recurrent neural networks for video forgery detection
University Federico II of Naples(那不勒斯费德里科二世大学)
近年来,视频伪造检测成为一个重要的问题,因为现代编辑软件提供了强大且易于使用的工具来操纵视频。在本文中,我们提出通过深度学习来执行检测,其架构基于自动编码器和循环神经网络。在一些原始帧上的训练阶段允许自动编码器学习源的内在模型。然后,锻造材料被挑出来作为异常,因为它不符合学习的模型,并且用大的重建误差进行编码。递归网络,实现与长短期记忆模型,用于利用时间依赖性。伪造视频的初步结果显示了这种方法的潜力。
2017-08-29 cs.CV
Learning Video Instance Segmentation with Recurrent Graph Neural Networks
Linköping University(林雪平大学);Zenseact;SAAB(萨博);ETH Zürich(苏黎世联邦理工学院)
大多数现有的视频实例分割方法包括多个模块,这些模块被逐层组合以产生最终输出。相反,制定一个纯粹的基于学习的方法,该方法对时间方面以及解决视频实例分割任务所需的通用跟踪管理进行建模,这是一个非常具有挑战性的问题。在这项工作中,我们提出了一种新的学习公式,其中整个视频实例分割问题是联合建模。我们将一个灵活的模型拟合到我们的公式中,在图神经网络的帮助下,处理每个帧中所有可用的新信息。过去的信息通过循环连接进行考虑和处理。我们证明了所提出的方法在综合实验的有效性。我们的方法,在超过25 FPS的操作,优于以前的视频实时方法。我们进一步进行详细的烧蚀实验,验证我们的方法的不同方面。
2020-12-07 cs.CV
Hierarchical Recurrent Neural Network for Video Summarization
Northwestern Polytechnical University(西北工业大学);Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences(中国科学院西安光学精密机械研究所)
利用视频帧或子镜头之间的时间相关性对于视频摘要任务非常重要。实际上,RNN擅长于时间依赖建模,并且在许多基于视频的任务中取得了压倒性的性能,例如视频描述和分类。然而,RNN不足以处理视频摘要任务,因为传统的RNN,包括LSTM,只能处理短视频,而摘要任务中的视频通常持续时间较长。为了解决这个问题,本文提出了一种用于视频摘要的分层循环神经网络,称为H-RNN。具体地说,它有两层,其中第一层用于编码从原始视频中剪切的短视频子镜头,并且每个子镜头的最终隐藏状态被输入到第二层,用于计算其作为关键子镜头的置信度。与传统的RNN相比,H-RNN更适合于视频摘要,因为它可以利用帧之间的长时间依赖性,同时,计算操作显着减少。两个流行的数据集,包括组合数据集和VTW数据集的结果表明,所提出的H-RNN优于最先进的。
2019-04-28 cs.CV
Time-series Initialization and Conditioning for Video-agnostic Stabilization of Video Super-Resolution using Recurrent Networks
Toyota Technological Institute(丰田工业大学)
本文提出一种用于视频超分辨率的循环网络训练策略,通过重用依视频属性变化的隐藏状态并引入帧数条件化,有效消除了长短视频间的域差距,实现了独立于视频长度和动态特性的高效稳定超分。
2024-03-23 cs.CV
Memory-Attended Recurrent Network for Video Captioning
Tencent(腾讯);Southern University of Science and Technology(南方科技大学)
用于视频描述的典型技术遵循编码器-解码器框架,其仅能集中于正被处理的一个源视频。这种设计的一个潜在缺点是,它不能捕获出现在训练数据中的多于一个相关视频中的单词的多个视觉上下文信息。为了解决这个问题,我们提出了内存参与递归网络(MARN)的视频描述,其中的内存结构的目的是探索一个词和它的各种相似的视觉上下文之间的全谱对应关系,在训练数据的视频。因此,我们的模型能够对每个单词实现更全面的理解,并产生更高的字幕质量。此外,构建的内存结构使我们的方法能够显式地对相邻单词之间的兼容性进行建模,而不是像大多数现有模型那样要求模型隐式学习。在两个真实数据集上的广泛验证表明,我们的MARN始终优于最先进的方法。
2019-05-10 cs.CV
Temporal Activity Detection in Untrimmed Videos with Recurrent Neural Networks
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
本文探讨了利用卷积神经网络和循环神经网络对视频中的活动进行分类和时间定位的不同方法,并提出了一种实现方法。作为第一步,已经使用最先进的3D卷积神经网络从视频帧中提取特征。这些特征被输入到循环神经网络中,该网络以简单而灵活的方式解决活动分类和时间定位任务。已经测试了不同的架构和配置,以实现所提供的视频数据集的最佳性能和学习。此外,还研究了对训练好的网络输出进行不同类型的后处理,以在视频活动的时间定位上取得更好的结果。本论文中开发的神经网络提供的结果已提交给CVPR的ActivityNet Challenge 2016,使用简单灵活的架构实现了有竞争力的结果。
2017-03-02 cs.CV
ReHyAt: Recurrent Hybrid Attention for Video Diffusion Transformers
Qualcomm AI Research(高通人工智能研究)
ReHyAt通过结合softmax和线性注意力,实现高效的视频扩散模型,降低训练成本并提升长序列生成的可扩展性。
2026-01-07 cs.CV
Consistent Video Instance Segmentation with Inter-Frame Recurrent Attention
Microsoft Cloud & AI(微软云计算与人工智能部门)
视频实例分割的目标是预测每个帧的对象分割掩模,以及跨多个帧关联实例。最近的端到端视频实例分割方法能够在直接并行序列解码/预测框架中一起执行对象分割和实例关联。虽然这些方法通常预测更高质量的对象分割掩模,但它们可能无法在具有挑战性的情况下关联实例,因为它们没有明确地对相邻帧的时间实例一致性进行建模。我们提出了一个一致的端到端的视频实例分割框架与帧间循环注意力模型的时间实例一致性相邻帧和全局时间上下文。我们广泛的实验表明,帧间递归注意显着提高时间实例的一致性,同时保持对象分割掩模的质量。我们的模型在YouTubeVIS-2019(62.1\%)和YouTubeVIS-2021(54.7\%)数据集上都达到了最先进的准确率。此外,定量和定性的结果表明,所提出的方法预测更多的时间一致的实例分割掩模。
2022-06-14 cs.CV
Semantic Video Segmentation by Gated Recurrent Flow Propagation
Lund University(隆德大学)
语义视频分割是具有挑战性的,因为为了构建准确的模型,需要处理和标记大量的数据。在本文中,我们提出了一种深度的端到端可训练的视频分割方法,该方法能够利用未标记数据中的信息来改进语义估计。我们的模型结合了卷积架构和时空Transformer递归层,它们能够通过光流在时间上传播标记信息,并根据其局部估计的不确定性进行自适应门控。流、识别和门控时间传播模块可以端到端地联合训练。我们的模型的时间,门控经常流传播组件可以插入到任何静态语义分割架构,并把它变成一个弱监督的视频处理。我们在具有挑战性的CityScapes和Camvid数据集中进行了大量实验,并基于多个深度架构,结果表明,所产生的模型可以利用未标记的时间帧,紧挨着标记的时间帧,以提高视频分割的准确性和时间标记的一致性,无需额外的注释成本,只需很少的额外计算。
2017-10-02 cs.CV
Video Paragraph Captioning Using Hierarchical Recurrent Neural Networks
Purdue University(普渡大学);Baidu Research - Institute of Deep Learning(百度研究院深度学习研究所);Facebook(脸书)
我们提出了一种利用分层循环神经网络(RNN)来解决视频描述问题的方法,即,生成描述真实视频的一个或多个句子。我们的分层框架包含一个句子生成器和一个段落生成器。句子生成器生成一个简单的短句,描述特定的短视频间隔。它利用时间和空间两种注意力机制,在生成过程中选择性地关注视觉元素。段落生成器通过将由句子生成器产生的连续嵌入作为输入、将其与段落历史相结合、并输出用于句子生成器的新的初始状态来捕获句子间依赖性。我们在两个大规模的基准数据集上评估了我们的方法:YouTubeClips和TACoS-MultiLevel。实验表明,我们的方法显着优于当前最先进的方法与BLEU@4得分分别为0.499和0.305。
2016-04-06 cs.CV
FASTER Recurrent Networks for Efficient Video Classification
Facebook AI(Facebook人工智能);University of Technology Sydney(悉尼科技大学);University of Edinburgh(爱丁堡大学)
典型的视频分类方法通常将视频分成短片段,对每个片段独立地进行推理,然后聚合片段级预测以生成视频级结果。然而,独立处理视觉上相似的剪辑忽略了视频序列的时间结构,并增加了推理时的计算成本。在本文中,我们提出了一个新的框架命名为FASTER,即,时空冗余的特征聚合。FASTER旨在利用相邻剪辑之间的冗余,并通过学习从不同复杂度的模型中聚合预测来降低计算成本。FASTER框架可以从昂贵的模型中集成高质量的表示来捕获微妙的运动信息,并从廉价的模型中集成轻量级的表示来覆盖视频中的场景变化。一个新的循环网络(即,FAST-GRU)旨在聚合不同表示的混合。与现有的方法相比,FASTER可以减少超过10倍的FLOPs?同时在流行的数据集(如Kinetics,UCF-101和HMDB-51)中保持最先进的准确性。
2019-09-08 cs.CV
Recurrent Residual Module for Fast Inference in Videos
Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学);Massachusetts Institute of Technology(麻省理工学院)
深度卷积神经网络(CNN)在视频姿态估计和视频目标检测等许多视频识别任务中取得了令人印象深刻的进展。然而,由于单独处理密集帧,对视频的CNN推断在计算上是昂贵的。在这项工作中,我们提出了一个框架,称为递归残差模块(RRM),以加速视频识别任务的CNN推理。该框架采用了一种新颖的设计,即利用连续两帧的中间特征图的相似性,大大减少了冗余计算。与以前的工作相比,所提出的方法的一个独特的属性是精确计算每帧的特征图。实验表明,在保持类似识别性能的同时,我们的RRM在常用的CNN(如AlexNet,ResNet,深度压缩模型)上平均产生2倍的加速(因此比使用高效推理引擎的原始密集模型快8- 12倍),并且在一些二进制网络(如XNOR-Nets)上产生9倍的加速(因此比原始模型快500倍)。我们进一步验证了RRM在加速CNN进行视频姿态估计和视频目标检测方面的有效性。
2018-02-27 cs.CV
Recurrent Convolutional Strategies for Face Manipulation Detection in Videos
USC Information Sciences Institute(南加州大学信息科学研究所)
错误信息通过合成生成但真实的图像和视频的传播已经成为一个重要的问题,需要鲁棒的操纵检测方法。尽管在静态图像中检测人脸操纵的主要努力,较少注意到已支付到篡改的脸在视频中的识别,利用存在于流中的时间信息。递归卷积模型是一类深度学习模型,已证明其在跨域利用来自图像流的时间信息方面是有效的。因此,我们通过广泛的实验,提取出最佳策略,将这些模型中的变化与特定领域的人脸预处理技术相结合,以获得公开的基于视频的面部操作基准的最先进性能。具体来说,我们试图检测视频流中的Deepfake,Face2Face和FaceSwap篡改的面孔。对最近推出的FaceForensics++数据集进行了评估,将之前最先进的准确率提高了4.55%。
2019-05-16 cs.CV
Recurrent Video Deblurring with Blur-Invariant Motion Estimation and Pixel Volumes
POSTECH(浦项科技大学)
为了成功地进行视频去模糊,利用相邻帧的信息是必不可少的。大多数现有技术的视频去模糊方法采用视频帧之间的运动补偿来聚合来自多个帧的信息,这可以帮助对目标帧进行去模糊。然而,以前的去模糊方法所采用的运动补偿方法不是模糊不变的,因此,它们的精度是有限的模糊帧与不同的模糊量。为了缓解这个问题,我们提出了两种新的方法,通过有效地聚合来自多个视频帧的信息来去模糊视频。首先,我们提出了模糊不变的运动估计学习,以提高模糊帧之间的运动估计精度。其次,对于运动补偿,我们使用包含候选尖锐像素的像素体积来解决运动估计误差,而不是通过扭曲估计运动来对齐帧。我们结合这两个过程,提出了一个有效的经常性的视频去模糊网络,充分利用去模糊的前帧。实验表明,与最近使用深度学习的方法相比,我们的方法在定量和定性方面都达到了最先进的性能。
2021-08-23 cs.CV
Hierarchical Recurrent Neural Encoder for Video Representation with Application to Captioning
University of Technology Sydney(悉尼科技大学);Zhejiang University(浙江大学)
最近,深度学习方法,特别是深度卷积神经网络(ConvNets),已经实现了图像分类的快速处理速度和压倒性的准确性。用深度ConvNets描述视频的时间结构成为视频内容分析的一个基本问题。在本文中,我们提出了一种新的方法,即层次递归神经编码器(HRNE),利用视频的时间信息。与目前的视频表示推理方法相比,本文做出了以下三个贡献。首先,我们的HRNE是能够有效地利用视频的时间结构在更长的范围内,通过减少输入信息流的长度,并在更高的水平上合成多个连续的输入。其次,计算操作显著减少,同时获得更多的非线性。第三,HRNE能够揭示具有不同粒度的帧块之间的时间转换,即,它可以对帧之间的时间转换以及段之间的转换进行建模。我们将新的方法应用到时间信息起着至关重要的作用的视频描述。实验表明,我们的方法优于国家的最先进的视频描述基准。值得注意的是,即使使用仅RGB流作为输入的单个网络,HRNE也击败了所有结合多个输入的最新系统,例如RGB ConvNet和3D ConvNet。
2015-11-11 cs.CV
Recurrent Residual Learning for Action Recognition
University of Bonn(波恩大学)
动作识别是计算机视觉中的一个基本问题,在视频监控、人机交互、机器人学习等领域有着广泛的应用前景。给定预先分段的视频,任务是识别视频中发生的动作。从历史上看,手工制作的视频功能被用来解决动作识别的任务。随着Deep ConvNets作为图像分析方法的成功,许多标准ConvNets的扩展旨在处理可变长度的视频数据。在这项工作中,我们提出了一种新的递归ConvNet架构,称为递归残差网络,以解决动作识别的任务。该方法扩展了ResNet,一种用于图像分类的最新模型。虽然ResNet的原始公式旨在学习其层中的空间残差,但我们通过引入允许学习时空残差的递归连接来扩展该方法。与完全递归的网络相比,我们的时间连接只允许有限范围的前一帧对当前帧的输出做出贡献,从而实现有效的训练和推理,并将时间上下文限制在每个帧周围的合理局部范围内。在一个大规模的动作识别数据集上,我们证明了我们的模型比标准ResNet架构和由完全递归层扩展的ResNet都有所改进。
2017-06-27 cs.CV
RVOS: End-to-End Recurrent Network for Video Object Segmentation
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Universitat Oberta de Catalunya(加泰罗尼亚开放大学);Barcelona Supercomputing Center(巴塞罗那超级计算中心)
多目标视频对象分割是一项具有挑战性的任务,特别是对于zero-shot的情况下,当没有对象掩模在初始帧中给出,模型必须沿着序列找到要分割的对象。在我们的工作中,我们提出了一个用于多对象视频对象分割(RVOS)的递归网络,它是完全端到端可训练的。我们的模型在两个不同的域上结合了递归:(i)空间域,它允许在一个帧内发现不同的对象实例,以及(ii)时间域,它允许保持分割对象在时间上的一致性。我们训练RVOS进行zero-shot视频对象分割,并且是第一个报告DAVIS-2017和YouTube-VOS基准测试定量结果的公司。此外,我们适应RVOS单镜头视频对象分割通过使用在以前的时间步骤中获得的掩模作为输入由递归模块处理。我们的模型达到了与YouTube-VOS基准测试中最先进的技术相当的结果,并且在DAVIS-2017基准测试中优于所有以前不使用在线学习的视频对象分割方法。此外,我们的模型实现了比以前的方法更快的推理运行时间,在P100 GPU上达到44 ms/帧。
2019-05-21 cs.CV
Deep Recurrent Convolutional Networks for Video-based Person Re-identification: An End-to-End Approach
The University of Adelaide(阿德莱德大学)
在本文中,我们提出了一个端到端的方法,同时学习时空特征和相应的相似性度量,基于视频的人重新识别。给定一个人的视频序列,从深度卷积网络的所有级别提取的每帧特征可以保持更高的空间分辨率,我们可以从中建模更精细的运动模式。这些低层次的视觉感知被利用到一个变体的递归模型来表征时间步长之间的时间变化。然后,使用时间池来总结来自所有时间步骤的特征,以产生完整序列的总体特征表示。深度卷积网络、递归层和时间池被联合训练,以从时间序列的输入对中提取可比较的隐藏单元表示,以计算它们相应的相似度值。该框架将时间序列建模和度量学习相结合,共同学习相关特征和人的时间序列之间的相似性度量。实验表明,我们的方法实现了最先进的性能,基于视频的人重新识别的iLIDS-VID和PRID 2011,两个主要的公共数据集,用于此目的。
2016-06-12 cs.CV
Curriculum Learning for Recurrent Video Object Segmentation
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Universitat Oberta de Catalunya(加泰罗尼亚开放大学)
视频对象分割可以被理解为一个序列到序列的任务,它可以从课程学习策略中受益,以更好更快地训练深度神经网络。这项工作探讨了不同的时间表采样和跳帧的变化,显着提高性能的经常性架构。我们对KITTI-MOTS挑战赛的汽车类的结果表明,令人惊讶的是,反向时间表采样是一个更好的选择比一个经典的前进。此外,在训练期间渐进跳过帧是有益的,但仅当使用地面真实掩码而不是预测掩码进行训练时。源代码和训练模型可在http://imatge-upc.github.io/rvos-mots/上获得。
2020-08-15 cs.CV
ViT-ReT: Vision and Recurrent Transformer Neural Networks for Human Activity Recognition in Videos
Kansas State University(堪萨斯州立大学)
人类活动识别是计算机视觉中一个新兴的重要领域,它试图确定个人或一组个人正在执行的活动。该领域的应用范围从生成体育比赛中的精彩视频到智能监控和手势识别。大多数活动识别系统依赖于卷积神经网络(CNN)和递归神经网络(RNN)的组合,卷积神经网络(CNN)从数据中执行特征提取,递归神经网络(RNN)确定数据的时间相关性质。本文提出并设计了两种用于人体活动识别的Transformer神经网络:一种递归Transformer(ReT),一种用于对数据序列进行预测的专用神经网络,以及一种视觉Transformer(ViT),一种用于从图像中提取显著特征的Transformer,以提高活动识别的速度和可扩展性。我们提供了一个广泛的比较拟议的Transformer神经网络与当代CNN和基于RNN的人类活动识别模型的速度和准确性。
2022-08-25 cs.CV
Recurrent Neural Network for (Un-)supervised Learning of Monocular VideoVisual Odometry and Depth
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
基于深度学习的单视图深度估计方法最近已经显示出非常有希望的结果。然而,这种方法忽略了人类视觉系统中用于确定深度的最重要特征之一,即运动。我们提出了一种基于学习的多视图密集深度图和里程估计方法,该方法使用递归神经网络(RNN)并利用多视图图像重投影和前向-后向流一致性损失进行训练。我们的模型可以在监督甚至无监督模式下进行训练。它是专为深度和视觉里程计估计从视频输入帧的时间相关。然而,它也推广到单视图深度估计。我们的方法在KITTI驾驶数据集上产生优于最先进的基于单视图和多视图学习的深度估计方法的结果。
2019-04-15 cs.CV
Recurrent Self-Supervised Video Denoising with Denser Receptive Field
Beijing Institute of Technology(北京理工大学);ETH Zürich(苏黎世联邦理工学院);Xiaohongshu Inc(小红书公司)
本文提出RDRF自监督视频去噪方法,通过更密集感受野和循环框架充分融合参考帧、近邻及远距离时间信息,在合成与真实数据集上取得优越性能。
2023-08-07 cs.CV
DRO: Deep Recurrent Optimizer for Video to Depth
Alibaba Group(阿里巴巴集团);Simon Fraser University(西蒙弗雷泽大学)
利用机器学习技术研究视频到深度(V2 D)问题的兴趣越来越大。虽然早期的方法直接学习从图像到深度图和相机姿势的映射,但最近的作品通过嵌入在学习框架中的优化来实施多视图几何约束。为了进一步挖掘神经网络在V2 D中的潜力,提出了一种基于递归神经网络的优化方法。具体来说,我们的神经优化器通过迭代交替更新深度和相机姿态,以最小化特征度量成本,两个门控递归单元通过跟踪历史信息迭代改进结果。大量的实验结果表明,我们的方法优于以前的方法,是更有效的计算和内存消耗比成本-体积为基础的方法。特别是,我们的自监督方法在KITTI和ScanNet数据集上的性能优于以前的监督方法。我们的源代码可在https://github.com/aliyun/dro-sfm上获得。
2023-03-07 cs.CV
Unsupervised Extraction of Video Highlights Via Robust Recurrent Auto-encoders
Shanghai Jiao Tong University(上海交通大学);Microsoft Technology & Research(微软技术与研究部);Microsoft Research(微软研究院)
随着诸如\em{Instagram}和\em{Vine}之类的短格式视频共享平台的日益普及,对从视频中自动提取精彩部分的技术的需求日益增加。鉴于以前的作品已经接近这个问题的启发式规则或监督学习,我们提出了一个无监督学习的方法,利用丰富的用户编辑的视频在社交媒体网站,如YouTube。基于视频类中最重要的子事件通常存在于编辑的视频中,而不太有趣的子事件出现频率较低的想法,我们通过一个鲁棒的循环自动编码器来识别重要的子事件,该编码器在针对每个特定类别查询的用户编辑的视频集合上进行训练。自动编码器使用提出的收缩指数损失函数进行训练,使其对网络抓取训练数据中的噪声具有鲁棒性,并且配置有双向长短期记忆(LSTM)~ \cite{LSTM:97}单元,以更好地对高光片段的时间结构进行建模。与监督技术不同,我们的方法可以仅使用一组下载的编辑视频来推断亮点,而不需要在线上很少提供的预编辑对应物。大量的实验表明,我们提出的解决方案在这一具有挑战性的无监督设置的承诺
2015-10-06 cs.CV
Instance Segmentation and Tracking with Cosine Embeddings and Recurrent Hourglass Networks
Graz University of Technology(格拉茨工业大学);Ludwig Boltzmann Institute for Clinical Forensic Imaging(路德维希·玻尔兹曼临床法医成像研究所);BioTechMed-Graz(格拉茨生物医学技术中心)
与语义分割不同,实例分割为同一类的每个实例分配唯一的标签。在这项工作中,我们提出了一种新的经常性的全卷积网络架构,用于跟踪这种实例分割随着时间的推移。该网络架构将卷积门控递归单元(ConvGRU)集成到堆栈沙漏网络中,以利用时间视频信息。此外,我们还训练了一种基于余弦相似性的新型嵌入损失网络,这样网络就可以为整个视频中的每个实例预测唯一的嵌入。然后,这些嵌入在后续视频帧中被聚类以创建最终跟踪的实例分割。我们通过分割心脏MR视频中的左心室来评估复发性沙漏网络,它优于不包含视频信息的网络。此外,我们证明了余弦嵌入损失的适用性分割叶实例上的静止图像的植物。最后,我们评估的框架实例分割和跟踪六个数据集的ISBI细胞跟踪的挑战,它显示了国家的最先进的性能。
2018-07-30 cs.CV
Context Matters: Refining Object Detection in Video with Recurrent Neural Networks
University of California San Diego(加州大学圣迭戈分校);Cornell University(康奈尔大学);Cornell Tech(康奈尔科技学院)
考虑到大量的在线视频,以及静态图像的目标检测的最新突破,视频中的目标检测提供了一个有前途的新领域。然而,运动模糊和压缩伪影会导致大量的帧级可变性,即使是在看起来平滑的视频中。此外,视频数据集往往具有稀疏注释的帧。我们提出了一个新的框架,用于提高视频中的目标检测,捕获时间上下文,并鼓励预测的一致性。首先,我们训练一个伪标记器,即一个用于目标检测的域适应卷积神经网络。伪标记器首先在标记帧的子集上单独训练,然后随后应用于所有帧。然后,我们训练一个递归神经网络,该网络将伪标记帧的序列作为输入,并优化一个目标,该目标鼓励目标帧的准确性和连续帧之间的一致性。该方法结合了目标框架的强监督,上下文框架的弱监督,以及通过平滑惩罚的正则化。我们的方法实现了68.73的平均精度(mAP),比Youtube-Video Objects数据集最强的基于图像的基线提高了7.1。我们的实验表明,相邻帧可以提供有价值的信息,即使没有标签。
2016-07-19 cs.CV
Perceptual Learned Video Compression with Recurrent Conditional GAN
ETH Zürich(苏黎世联邦理工学院);Julius Maximilian University of Würzburg(维尔茨堡朱利叶斯·马克西米利安大学);KU Leuven(荷语鲁汶大学)
提出了一种基于递归条件GAN的感知学习视频压缩方法。我们采用基于递归自动编码器的压缩网络作为生成器,最重要的是,我们提出了一个递归条件搜索,它根据空间和时间特征,包括递归单元中的潜在表示,时间运动和隐藏状态,对原始视频与压缩视频进行判断。通过这种方式,对抗性训练推动生成的视频不仅在空间上具有照片般的真实感,而且在时间上与地面实况一致,并且在视频帧之间具有连贯性。实验结果表明,学习PLVC模型压缩视频具有良好的感知质量在低比特率,它优于官方HEVC测试模型(HM 16.20)和现有的学习视频压缩方法的几个感知质量指标和用户研究。代码将在项目页面上发布:https://github.com/RenYang-home/PLVC。
2022-04-30 cs.CV eess.IV
Recurrent Convolutional Neural Network Regression for Continuous Pain Intensity Estimation in Video
University of Oulu(奥卢大学);Beijing University of Posts and Telecommunications(北京邮电大学)
疼痛强度的自动估计在医疗保健领域具有重要的地位。传统的静态方法倾向于从视频中的帧中单独提取特征,这会导致相邻帧之间的不稳定变化和峰值。为了克服这个问题,我们提出了一个实时回归框架的基础上,经常性的卷积神经网络自动帧级疼痛强度估计。给定AAM扭曲的面部图像的向量序列,我们使用滑动窗口策略来获得递归网络的固定长度的输入样本。然后,我们仔细设计了递归网络的架构,以输出连续值的疼痛强度。所提出的端到端疼痛强度回归框架可以通过考虑足够大的历史帧来预测每个帧的疼痛强度,同时限制模型内参数的规模。我们的方法在已发表的UNBC-McMaster肩关节疼痛表达档案数据库上的准确性和运行速度方面都取得了令人满意的结果。
2016-05-03 cs.CV
Recurrent Dynamic Embedding for Video Object Segmentation
Alibaba DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);University of Science and Technology of China(中国科学技术大学)
基于空时记忆(STM)的视频对象分割(VOS)网络通常每隔几帧就增加存储体,表现出良好的性能。然而,1)硬件无法承受随着视频长度增加而不断增加的内存需求。2)存储大量信息不可避免地引入大量噪声,这不利于从存储体读取最重要的信息。在本文中,我们提出了一个递归动态嵌入(RDE)建立一个恒定大小的存储体。具体来说,我们明确地产生和更新RDE的建议时空聚合模块(SAM),它利用了线索的历史信息。为了避免由于SAM的重复使用而导致的误差积累,我们在训练阶段提出了一个无偏的指导损失,这使得SAM在长视频中更加鲁棒。而且,由于网络推理不准确,存储体中的预测掩码也不准确,影响了查询帧的分割。为了解决这个问题,我们设计了一种新的自校正策略,使网络可以修复存储体中具有不同质量的掩码的嵌入。大量的实验表明,我们的方法实现了性能和速度之间的最佳权衡。代码可在https://github.com/Limingxing00/RDE-VOS-CVPR2022上获得。
2022-05-08 cs.CV
Exploiting the ConvLSTM: Human Action Recognition using Raw Depth Video-Based Recurrent Neural Networks
Universidad de Alcalá(阿尔卡拉大学)
与许多其他不同领域一样,深度学习已成为大多数计算机视觉应用的主要方法,如场景理解、对象识别、人机交互或人类动作识别(HAR)。HAR的研究工作主要集中在如何有效地提取和处理视频序列的空间和时间依赖性。在本文中,我们提出并比较,两个神经网络的基础上的卷积长短期记忆单元,即ConvLSTM,在架构和长期学习策略的差异。前者使用视频长度自适应输入数据生成器(\emph{stateless}),而后者探讨了一般循环神经网络的\emph{stateful}能力,但适用于HAR的特定情况。这种有状态的属性允许模型在不损害计算机内存的情况下从先前的帧中积累有区别的模式。在大规模NTU RGB+D数据集上的实验结果表明,与最先进的方法相比,所提出的模型以较低的计算成本实现了具有竞争力的识别精度,并证明了在视频的特定情况下,很少使用的循环神经网络的状态模式显着提高了标准模式获得的准确性。无状态模型的识别准确率为75.26%(CS)和75.45%(CV),平均每个视频的识别时间为0.21 s;有状态模型的识别准确率为80.43%(CS)和79.91%(CV),平均每个视频的识别时间为0.89 s。
2020-06-13 cs.CV
High Fidelity Video Prediction with Large Stochastic Recurrent Neural Networks
University of Michigan(密歇根大学);Google(谷歌);Google Research(谷歌研究院);Adobe Research(奥多比研究院)
预测未来的视频帧极具挑战性,因为有许多变化因素构成了帧如何随时间变化的动态。以前提出的解决方案需要在具有高度专业化计算的网络架构内进行复杂的归纳偏置,包括分割掩码、光流以及前景和背景分离。在这项工作中,我们质疑这种手工制作的架构是否有必要,而是提出了一种不同的方法:在最大化网络容量的同时,为视频预测找到最小的归纳偏差。我们通过进行第一次大规模的实证研究来研究这个问题,并通过在三个不同的数据集上学习大型模型来展示最先进的性能:一个用于建模对象交互,一个用于建模人类运动,一个用于建模汽车驾驶。
2019-11-05 cs.CV
Frame-Recurrent Video Inpainting by Robust Optical Flow Inference
University of Central Florida(中佛罗里达大学);Megvii Technology(旷视科技)
在本文中,我们提出了一个新的修复框架,用于恢复丢失的视频帧区域。与图像修补相比,在视频图像上进行图像修补面临着新的挑战,例如如何保持时间一致性和空间细节,以及如何快速有效地处理任意大小和长度的输入视频。为此,我们提出了一种新的深度学习架构,该架构结合了ConvLSTM和光流来建模视频中的时空一致性。同时,该方法也节省了大量的计算资源,使得我们的方法可以实时流式处理帧尺寸更大、任意长度的视频。此外,为了从损坏的帧中生成准确的光流,我们提出了一个鲁棒的流生成模块,其中两个流源被馈送,并且训练流混合网络来融合它们。我们进行了大量的实验,以评估我们的方法在各种情况下和不同的数据集,定性和定量。实验结果表明,我们的方法优于国家的最先进的修复方法相比。
2019-05-08 cs.CV
Ripple: Real-Time Streaming Audio-Video Generation With Cross-Modal Recurrent Memory
China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd(中国电信人工智能技术(北京)有限公司)
本文提出Ripple系统,通过跨模态循环记忆机制及三阶段训练方案,实现480P下约28 FPS的实时流音频-视频生成,性能优于现有方法。
2026-07-30 cs.CV
Hierarchical Boundary-Aware Neural Encoder for Video Captioning
University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学)
递归神经网络在视频描述中的应用最近得到了广泛的关注,因为它们既可以用于对输入视频进行编码,也可以用于生成相应的描述。在本文中,我们提出了一个经常性的视频编码方案,可以发现和利用视频的层次结构。与经典的编码器-解码器方法不同,在这种方法中,视频由递归层连续编码,我们提出了一种新的LSTM单元,它可以识别帧或片段之间的不连续点,并相应地修改编码层的时间连接。我们评估我们的方法在三个大规模的数据集:蒙特利尔视频注释数据集,MPII电影描述数据集和微软视频描述语料库。实验表明,我们的方法可以发现适当的层次表示的输入视频和提高电影描述数据集上的最先进的结果。
2017-04-10 cs.CV
2D bidirectional gated recurrent unit convolutional Neural networks for end-to-end violence detection In videos
Université de Moncton(蒙克顿大学);Perception, Robotics, and Intelligent Machines Research Group (PRIME)(感知、机器人与智能机器研究组(PRIME))
针对视频暴力检测问题,提出融合2D CNN与BiGRU的端到端网络,分别提取空间与时序运动特征,在三个公开数据集上最高准确率达98%,验证了方法有效性。
2024-09-11 cs.CV
Bridging Creative Intent and Visual Quality: Creator-Driven Recurrent Video Generation with Agentic Feedback Loops
University of California, Davis(加州大学戴维斯分校);The Harker School(哈克学校);Basis Independent Silicon Valley(硅谷贝斯独立学校);Saratoga High(萨拉托加高中)
提出CHIEF框架,通过人类-AI协作的迭代视频精炼,结合创作者驱动和代理主观反馈,提升长视频的叙事连贯性与创意方向。
2026-06-18 cs.CV
Learning for Video Compression with Recurrent Auto-Encoder and Recurrent Probability Model
ETH Zurich(苏黎世联邦理工学院)
在过去的几年里,人们越来越关注将深度学习应用于视频压缩。然而,现有的方法压缩的视频帧只有几个参考帧,这限制了他们的能力,充分利用视频帧之间的时间相关性。为了克服这个缺点,本文提出了一种递归学习视频压缩(RLVC)的方法与递归自动编码器(RAE)和递归概率模型(RPM)。具体地,RAE在编码器和解码器两者中采用递归单元。因此,大范围的帧中的时间信息可以用于生成潜在表示和重构压缩输出。此外,建议的RPM网络递归地估计潜在表示的概率质量函数(PMF),条件是以前的潜在表示的分布。由于连续帧之间的相关性,条件交叉熵可以低于独立交叉熵,从而降低比特率。实验表明,我们的方法达到了最先进的学习视频压缩性能的PSNR和MS-SSIM。此外,我们的方法在PSNR上优于x265的默认低延迟P(LDP)设置,并且在MS-SSIM上的性能也优于SSIM调整的x265和最慢的x265设置。这些代码可在www.example.com上获得。
2020-12-06 cs.CV eess.IV
RED-Net: A Recurrent Encoder-Decoder Network for Video-based Face Alignment
Rutgers University(罗格斯大学);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心);Intellifusion(智融)
提出了一种基于递归编码器-解码器网络模型的视频人脸实时对齐方法。我们提出的模型预测通过检测和回归损失正则化的2D面部点热图,同时独特地利用空间和时间维度的循环学习。在空间层面上,我们在组合输出响应映射和输入之间添加了一个反馈回路连接,以便使用单个网络模型实现迭代的粗到精人脸对齐,而不是依赖于传统的级联模型集成。在时间层面上,我们首先将网络瓶颈中的特征解耦为时变因素(如姿势和表情)和时不变因素(如身份信息)。时间递归学习,然后应用到解耦的时变特征。我们表明,这样的功能解开产生更好的泛化和显着更准确的结果在测试时。我们进行了全面的实验分析,显示了我们提出的模型的每个组成部分的重要性,以及优于现有技术的结果和我们的方法在标准数据集中的几个变化。
2018-01-17 cs.CV
A Lightweight Recurrent Grouping Attention Network for Video Super-Resolution
Communication University of China(中国传媒大学)
针对视频超分辨率模型参数量大、设备负担重的问题,提出轻量级循环分组注意力网络,通过双向特征提取、分组机制、注意力补充与特征重建,以0.878M参数在多个数据集上达到SOTA性能。
2023-09-25 cs.CV
RBPGAN: Recurrent Back-Projection GAN for Video Super Resolution
The American University in Cairo(开罗美国大学);Amazon(亚马逊公司)
本文提出 RBPGAN,结合 RBPN 生成器与 TecoGAN 判别器,并引入 Ping-Pong 损失,以提升视频超分辨率的时间一致性与空间细节。
2023-12-10 cs.CV
Pay Attention to Hidden States for Video Deblurring: Ping-Pong Recurrent Neural Networks and Selective Non-Local Attention
NVIDIA(英伟达);Seoul National University(首尔大学)
视频去模糊模型利用相邻帧中的信息来去除由相机和对象的运动引起的模糊。循环神经网络~(RNN)常被用来通过隐藏状态来对帧间的时间依赖性进行建模。然而,当运动模糊较强时,由于不同帧之间的位移,隐藏状态很难传递适当的信息。虽然已经尝试更新隐藏状态,但很难处理简单模块的接收域之外的未对齐特征。因此,我们提出了2个模块来补充RNN架构,用于视频去模糊。首先,我们设计了乒乓RNN~(PPRNN),它通过交替参考当前和前一个时间步的特征来更新隐藏状态。PPRNN通过利用其递归架构,以迭代和平衡的方式从这两个特征中收集相关信息。其次,我们使用选择性非局部注意力(SNLA)模块,通过将其与输入帧特征的位置信息对齐来进一步细化隐藏状态。注意力分数通过与输入特征的相关性来缩放,以专注于必要的信息。通过关注具有强大协同作用的两个模块的隐藏状态,我们的PAHS框架提高了RNN结构的表示能力,并在标准基准测试和真实视频上实现了最先进的去模糊性能。
2022-04-07 cs.CV