VidToMe: Video Token Merging for Zero-Shot Video Editing
Shanghai Jiao Tong University（上海交通大学）；UC Merced（加州大学默塞德分校）
针对零样本视频编辑中时间一致性难保障、内存效率低的问题，提出VidToMe方法，通过跨帧自注意力令牌合并及分块的局部-全局合并策略，提升时间一致性并降低内存消耗，效果优于现有最优方法。
2023-12-19 cs.CV
MagicEdit: High-Fidelity and Temporally Coherent Video Editing
ByteDance Inc.（字节跳动公司）
本研究提出文本引导视频编辑方法MagicEdit，通过训练时显式解耦内容、结构与运动信号的学习，实现高保真且时间连贯的视频编辑，支持风格化、局部编辑等多种下游任务。
2023-08-28 cs.CV
VORNet: Spatio-temporally Consistent Video Inpainting for Object Removal
National Taiwan University（台湾大学）
视频对象去除是视频处理中的一项具有挑战性的任务，通常需要大量的人工努力。给定每帧中前景对象的掩模，目标是完成（补绘）对象区域并生成没有目标对象的视频。虽然最近基于深度学习的方法在图像修补任务上取得了巨大成功，但当应用于视频时，它们通常会导致帧之间的结果不一致。在这项工作中，我们提出了一种新的基于学习的视频对象去除网络（VORNet）解决视频对象去除任务的时空一致的方式，通过结合光流翘曲和基于图像的修复模型。在基于YouTube-VOS视频分割数据集的合成视频对象去除（SVOR）数据集上进行了实验，客观和主观评价都表明，与现有方法相比，VORNet生成的视频在空间和时间上都更加一致。
2019-04-14 cs.CV
The Effectiveness of Temporal Dependency in Deepfake Video Detection
University of York（约克大学）
Deepfakes是一种合成图像生成形式，用于为恶意目的生成个人的虚假视频。由此产生的视频可能被用来传播错误信息，降低对媒体的信任，或作为一种勒索形式。这些威胁需要自动化的deepfake视频检测方法。本文研究了时间信息是否可以提高深度学习模型的deepfake检测性能。为了调查这一点，我们提出了一个框架，分类新的和现有的方法，其定义特征。这些是特征提取的类型：自动或手动，以及帧之间的时间关系：依赖或独立。我们应用这个框架来研究时间依赖性对模型的deepfake检测性能的影响。我们发现，时间依赖性在使用自动特征选择对模型的真实图像进行分类时，在统计学上显著（p < 0.05）提高了性能，这表明时空信息可以提高deepfake视频检测模型的性能。
2022-05-13 cs.CV
Free-form Video Inpainting with 3D Gated Convolution and Temporal PatchGAN
National Taiwan University（台湾大学）
自由格式视频修复是一项非常具有挑战性的任务，可广泛用于视频编辑，如文本删除。现有的基于补丁的方法无法处理非重复结构，如人脸，而直接将基于图像的修复模型应用于视频将导致时间不一致（参见http://bit.ly/2Fu1n6b）。在本文中，我们介绍了一种基于深度学习的自由形式视频修复模型，提出了3D门控卷积来解决自由形式掩模的不确定性，以及一种新的时间PatchGAN损失来增强时间一致性。此外，我们收集视频，并设计了一个自由形式的面具生成算法，以建立自由形式的视频修复（FVI）数据集的训练和评估的视频修复模型。我们展示了这些组件的好处，并在FaceForensics和我们的FVI数据集上进行了实验，表明我们的方法优于现有的方法。相关的源代码，全分辨率结果视频和FVI数据集可以在Github https://github.com/amjltc295/Free-Form-Video-Inpainting上找到。
2019-07-23 cs.CV
HyperCon: Image-To-Video Model Transfer for Video-To-Video Translation Tasks
Samsung Semiconductor, Inc.（三星半导体公司）；University of Michigan（密歇根大学）
由于时间一致性问题，视频到视频转换比图像到图像转换更困难，如果不解决时间一致性问题，则会导致分散注意力的闪烁效果。尽管从头开始设计的视频模型会产生时间上一致的结果，但训练它们以匹配图像模型捕获的大量视觉知识需要大量的视频。为了结合图像和视频模型的优点，我们提出了一种称为超一致性（HyperCon）的图像到视频模型传输方法，该方法将任何经过良好训练的图像模型转换为时间一致的视频模型，而无需进行微调。HyperCon的工作原理是逐帧平移时间插值视频，然后在插值视频上的时间本地化窗口上聚合。它可以处理屏蔽和非屏蔽输入，支持比以前的图像到视频模型传输技术更多的视频到视频转换任务。我们展示了HyperCon在视频风格传输和修复上的表现，与现有的最先进的方法相比，它表现良好，而无需在单个风格化或不完整的视频上进行训练。我们的项目网站是https://ryanszeto.com/projects/hypercon。
2020-11-10 cs.CV
Autoregressive Video Autoencoder with Decoupled Temporal and Spatial Context
Zoom Communications（Zoom公司）
ARVAE通过解耦时间和空间上下文，实现高效视频压缩与重建，具备轻量模型和小数据优势，适用于视频生成等下游任务。
2025-12-12 cs.CV
A Video is Worth 256 Bases: Spatial-Temporal Expectation-Maximization Inversion for Zero-Shot Video Editing
The University of Hong Kong（香港大学）；International Digital Economy Academy (IDEA)（国际数字经济学院（IDEA））；Peking University（北京大学）；Tsinghua University（清华大学）
针对现有视频编辑反演方法时间一致性不足的问题，提出时空期望最大化（STEM）反演方法，通过低秩全局基表示视频，在两种SOTA视频编辑方法上实现了一致的性能提升。
2024-06-18 cs.CV
Multi-Frame Content Integration with a Spatio-Temporal Attention Mechanism for Person Video Motion Transfer
Tsinghua University（清华大学）；Tencent（腾讯）；Texas A&M University（得克萨斯农工大学）
现有的人物视频生成方法要么在控制外观和运动方面缺乏灵活性，要么无法保持细节外观和时间一致性。在本文中，我们解决的问题，运动传输生成的人的视频，它提供了外观和运动的控制。具体来说，我们将目标视频中的一个人的运动转移到源视频中的另一个人，同时保留源人的外观。除了像现有的最先进的方法那样只依赖于一个源帧之外，我们提出的方法基于时空注意力机制来整合来自多个源帧的信息，以保留丰富的外观细节。除了用于鼓励帧级保真度的空间插值外，还采用多范围时间插值来强制生成的视频在各个时间范围内类似于真实视频的时间动态。收集了一个具有挑战性的真实世界数据集，其中包含约500个具有复杂和不可预测运动的舞蹈视频剪辑，用于训练和测试。大量的实验表明，该方法可以产生更多的照片真实感和时间一致的人比以前的方法的视频。由于我们的方法将前景和背景的合成分解为两个分支，因此也可以实现灵活的背景替换应用。
2019-08-12 cs.CV
STDiff: Spatio-temporal Diffusion for Continuous Stochastic Video Prediction
本文提出STDiff视频预测模型，通过分解运动与内容信息，结合神经随机微分方程与图像扩散模型自回归生成视频帧，实现了最先进性能及任意高帧率的无监督时间连续预测。
2023-12-11 cs.CV
Temporally Consistent Semantic Video Editing
University of Maryland, College Park（马里兰大学帕克分校）；Virginia Tech（弗吉尼亚理工大学）
生成对抗网络（GANs）已经展示了令人印象深刻的图像生成质量和真实图像的语义编辑能力，例如，更改对象类、修改属性或传递样式。然而，将这些基于GAN的编辑独立地应用于每个帧的视频不可避免地会导致时间闪烁伪影。我们提出了一个简单而有效的方法，以促进时间相干视频编辑。我们的核心思想是通过优化潜在代码和预训练生成器来最大限度地减少时间光度不一致性。我们评估了我们在不同领域和GAN反演技术上的编辑质量，并显示了对基线的有利结果。
2022-06-21 cs.CV
Mind the Temporal Gap: Evaluating Video Models for Temporal Understanding in Driving
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；University of Haifa（海法大学）
该研究针对驾驶场景，发现现有视频-语言模型的各类提示方法不可靠，而LoRA微调等方法可提升运动判别性能，表明当前模型并非可靠的时间世界模型。
2026-10-12 cs.CV cs.RO
Temporal Regularization Makes Your Video Generator Stronger
Everlyn AI（埃夫林人工智能公司）；HKUST（香港科技大学）；UCF（中佛罗里达大学）；HKU（香港大学）
针对视频生成中时间连贯性与多样性难以兼顾的问题，提出无需修改架构的数据层面时间增强策略FluxFlow，经多基准实验验证可有效提升多种视频生成模型的时间质量。
2025-03-19 cs.AI cs.CV
Delving into the Temporal Challenges of Unified Video Protection Against Image-to-Video and Fine-Tuning-based Customization
The University of Sydney（悉尼大学）；University of Melbourne（墨尔本大学）；City University of Hong Kong（香港城市大学）；Wuhan University（武汉大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
研究针对基于扩散模型的视频定制引发的隐私等保护问题，提出TC-UAP方法，通过优化身份级多帧UAP并引入相关时间建模和损失，使其在时间上一致且鲁棒，在多种视频定制及攻击下实现强身份保护。
2026-07-16 cs.CR cs.CV cs.LG
Transcoded Video Restoration by Temporal Spatial Auxiliary Network
Xidian University（西安电子科技大学）；Kuaishou Technology（快手科技）；Hosei University（法政大学）
在大多数视频平台中，如Youtube和TikTok，播放的视频通常经过多种视频编码，如录制设备的硬件编码，视频编辑应用的软件编码，以及视频应用服务器的单/多视频转码。以往的压缩视频恢复工作通常假设压缩伪影是由一次编码引起的。因此，导出的解决方案在实践中通常不太有效。在本文中，我们提出了一种新的方法，时空辅助网络（TSAN），转码视频恢复。我们的方法考虑了视频编码和转码之间的独特性，我们将初始的浅层编码视频作为中间标签，以帮助网络进行自我监督的注意力训练。此外，我们还利用相邻多帧信息，提出了时间可变形对齐和金字塔空间融合的转码视频恢复方法。实验结果表明，该方法的性能优于以前的技术。该代码可在https://github.com/icecherylXuli/TSAN上获得。
2021-12-15 cs.CV eess.IV
Diffusion Video Autoencoders: Toward Temporally Consistent Face Video Editing via Disentangled Video Encoding
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；NAVER AI Lab（NAVER人工智能实验室）；AITRICS
受到最近人脸图像编辑方法令人印象深刻的性能的启发，自然提出了一些研究来将这些方法扩展到人脸视频编辑任务。这里的主要挑战之一是编辑帧之间的时间一致性，这仍然是未解决的。为此，我们提出了一种新的人脸视频编辑框架的基础上扩散自动编码器，可以成功地提取分解的功能-第一次作为一个人脸视频编辑模型-从一个给定的视频的身份和运动。这种建模允许我们通过简单地将时间不变特征操纵到所需的方向来编辑视频，以实现一致性。我们模型的另一个独特优势是，由于我们的模型基于扩散模型，因此它可以同时满足重建和编辑功能，并且与现有的基于GAN的方法不同，它对野生人脸视频中的角点情况（例如，遮挡人脸）具有鲁棒性。
2023-03-27 cs.AI cs.CV cs.LG
Progressive Growing of Video Tokenizers for Temporally Compact Latent Spaces
Adobe Research（Adobe研究院）；Northeastern University（东北大学）
提出渐进式增长的视频分词器训练方法，利用低压缩模型引导高压缩模块，在提升时间压缩比的同时改善重建质量，并减少视频扩散模型的令牌预算。
2025-08-02 cs.AI cs.CV eess.IV
AI Powered High Quality Text to Video Generation with Enhanced Temporal Consistency
Microsoft（微软）
针对文本到视频生成中的时间一致性和细粒度控制问题，提出MOVAI分层框架，通过组合场景解析器、时间-空间注意力机制和渐进式视频精修模块，在多项指标上实现最先进性能。
2025-10-30 cs.AI cs.CV cs.IR
Temporally coherent video anonymization through GAN inpainting
Audi AG（奥迪股份公司）；Technische Hochschule Ingolstadt（因戈尔施塔特应用技术大学）
这项工作解决了自然视频流中的时间相干人脸匿名化问题。我们提出了JaGAN，一个两阶段的系统，首先在视频的所有单独帧中检测和屏蔽带有黑色图像块的人脸。第二阶段利用隐私保护的视频生成对抗网络，旨在用人工生成的人脸修补丢失的图像补丁。我们的初步实验表明，基于图像的生成模型是不能够修复补丁显示时间连贯的外观在相邻的视频帧。为了解决这个问题，我们介绍了一个新策划的视频集合，这是公开提供给研究界随着本文。我们还介绍了身份不变分数IdI作为一种手段来量化相邻帧之间的时间相干性。
2021-06-04 cs.AI cs.CV cs.LG
TemporalVLM: Video LLMs for Temporal Reasoning in Long Videos
Retrocausal, Inc.（Retrocausal公司）
本文提出TemporalVLM，一种用于长视频时间推理和细粒度理解的视频大语言模型，通过时间感知编码和BiLSTM模块实现全局特征聚合，并引入IndustryASM数据集进行评估。
2026-04-19 cs.CV
Circulant temporal encoding for video retrieval and temporal alignment
INRIA（法国国家信息与自动化研究所）
我们解决的问题，具体的视频事件检索。给定特定事件的查询视频，例如，麦当娜的音乐会，目标是检索与查询在时间上重叠的同一事件的其他视频。我们的方法编码的视频帧描述符，共同代表他们的外观和时间顺序。它利用循环矩阵的性质来有效地比较频域中的视频。这在复杂性方面提供了显着的增益，并准确地定位了视频的匹配部分。描述符可以在频域中用适合于复数的乘积量化器压缩。在这种情况下，执行视频检索而不解压缩描述符。我们还考虑了一组视频的时间对齐。我们利用匹配的信心和估计的时间偏移量计算的所有对我们的检索方法的视频。我们的鲁棒算法通过最大化时间上一致的匹配集来在全局时间轴上对齐视频。全局时间对准使得能够同步回放给定场景的视频。
2015-11-30 cs.CV
VideoLoom: A Video Large Language Model for Joint Spatial-Temporal Understanding
Fudan University（复旦大学）；University of Maryland, College Park（马里兰大学学院公园分校）
VideoLoom是一种用于联合空间-时间理解的视频大语言模型，通过LoomData-8.7k数据集和LoomBench基准测试，在多个视频理解任务中取得优异性能。
2026-01-12 cs.CV
Blind Video Temporal Consistency via Deep Video Prior
The Hong Kong University of Science and Technology（香港科技大学）
将图像处理算法独立地应用于每一视频帧通常导致所得视频中的时间不一致性。为了解决这个问题，我们提出了一种新的和一般的方法盲视频时间一致性。我们的方法只直接在一对原始和处理过的视频上训练，而不是在一个大的数据集上训练。与以前大多数使用光流实现时间一致性的方法不同，我们表明可以通过使用深度视频先验在视频上训练卷积网络来实现时间一致性。此外，一个精心设计的迭代重新加权的训练策略，提出了解决具有挑战性的多模态不一致性问题。我们证明了我们的方法的有效性7计算机视觉任务的视频。大量的定量和感知实验表明，我们的方法获得优于国家的最先进的方法在盲视频时间一致性的性能。我们的源代码可在github.com/ChenyangLEI/deep-video-prior上公开获取。
2020-10-22 cs.CV
Enhancing Temporal Understanding in Video-LLMs through Stacked Temporal Attention in Vision Encoders
Leibniz University Hannover（莱比锡大学汉诺威分校）；L3S Research Center（L3S研究中心）；Microsoft（微软公司）
尽管多模态大语言模型（MLLM）取得了重大进展，但理解视频中复杂的时间动态仍然是一个重大挑战。我们的实验表明，目前的视频大语言模型（Video-LLM）架构在时间理解方面存在严重的局限性，需要详细理解动作序列和时间进程的任务。在这项工作中，我们提出了一个视频LLM架构，直接在视觉编码器中引入堆叠的时间注意力模块。这种设计在视觉编码器中引入了时间注意力，使模型能够在将视觉令牌传递给LLM之前更好地捕获动作的进展和帧之间的关系。我们的研究结果表明，这种方法显着提高了时间推理，并优于现有的模型在视频问答任务，特别是在动作识别。我们在基准测试方面的改进，包括VITATECS、MVBench和Video-MME，最高可达+5.5%。通过增强具有时间结构的视觉编码器，我们解决了Video-LLM的视频理解中的关键差距。项目页面和代码可在：www.example.com。
2025-10-29 cs.CV
Learning Temporal Embeddings for Complex Video Analysis
Stanford University（斯坦福大学）；Simon Fraser University（西蒙弗雷泽大学）
在本文中，我们提出了学习时间嵌入的视频帧复杂的视频分析。大量未标记的视频数据可以很容易地从互联网上获得。这些视频具有隐含的弱标签，它们是时间和语义上连贯的图像序列。我们利用这些信息，通过将帧与它们出现的时间上下文相关联来学习视频帧的时间嵌入。要做到这一点，我们提出了一个方案，将时间上下文的基础上，在视频中的过去和未来的帧，并比较这与其他上下文表示。此外，我们还展示了如何使用多分辨率样本和硬底片进行数据增强，以显著提高学习嵌入的质量。我们评估各种设计决策学习时间嵌入，并表明，我们的嵌入可以提高性能的多个视频任务，如检索，分类和时间顺序恢复在不受约束的互联网视频。
2015-05-02 cs.CV
Spatio-temporal Video Re-localization by Warp LSTM
Tencent AI Lab（腾讯人工智能实验室）；University of Rochester（罗切斯特大学）
由于Web上用户生成的视频的大量涌现，有效地找到用户想要的视频内容的需求正在增加。现有的基于关键字或基于内容的视频检索方法通常确定视频中发生了什么，但不能确定何时何地。在本文中，我们作出回答的问题，何时何地制定一个新的任务，即时空视频重定位。具体地，给定查询视频和参考视频，时空视频重定位旨在定位参考视频中的小块，使得小块在语义上对应于查询。为了准确定位参考视频中所需的tubelet，我们提出了一种新的warp LSTM网络，它可以长时间传播时空信息，从而捕获相应的长期依赖关系。时空视频重定位的另一个问题是缺乏正确标记的视频数据集。因此，我们重新组织AVA数据集中的视频，形成一个新的数据集的时空视频重定位研究。大量的实验结果表明，该模型在时空视频重定位任务上取得了优于设计基线的性能。
2019-05-10 cs.CV
A Multi-Person Video Dataset Annotation Method of Spatio-Temporally Actions
Chengdu Neusoft Institute Of Information（成都东软学院）
时空行为检测是视频理解中的一个重要且具有挑战性的问题。然而，现有的大规模时空动作数据集在特定领域的应用有限，而且目前还没有公开的时空动作数据集制作工具，研究人员需要花费大量的时间和精力来定制时空动作数据集，因此本文提出了一种多人视频时空动作数据集的标注方法。首先，我们使用ffmpeg对视频进行裁剪和分帧，然后使用yolov5检测视频帧中的人，然后使用深度排序检测视频帧中的人的ID。通过对yolov5的检测结果进行处理和深度排序，得到时空动作数据集的标注文件，完成时空动作数据集的定制工作。https://github.com/Whiffe/Custom-ava-dataset_Custom-Spatio-Temporally-Action-Video-Dataset
2022-04-25 cs.CV
Temporal RoI Align for Video Object Recognition
SenseTime（商汤科技）
视频目标检测在某些视频帧中存在外观劣化的情况下是具有挑战性的。因此，将来自同一视频的其它帧的时间信息聚合到当前帧中是自然的选择。然而，作为视频检测器最核心的过程之一，RoI Align仍然是从单帧特征图中提取特征，使得提取的RoI特征缺乏视频的时间信息。在这项工作中，考虑到相同的对象实例的特征是高度相似的帧之间的视频，提出了一种新的时间RoI对齐算子提取的特征，从其他帧的特征图为当前帧的建议，通过利用特征相似性。所提出的时间RoI对齐操作符可以从整个视频中提取时间信息以用于提案。我们将其集成到单帧视频检测器和其他国家的最先进的视频检测器，并进行定量实验，以证明所提出的时间RoI对齐算子可以持续和显着提高性能。此外，本文提出的时域ROI对齐算法还可以应用于视频实例分割。代码可在https://github.com/open-mmlab/mmtracking上获得
2021-09-11 cs.CV
Towards Spatio-Temporal Video Scene Text Detection via Temporal Clustering
University of Chinese Academy of Sciences（中国科学院大学）
现有的视频场景文本检测（VSTD）基准测试仅在空间域使用边界框标注，缺乏视频帧间文本实例的时间关联，阻碍了视频文本相关应用的发展。在本文中，我们系统地介绍了一个新的大规模基准，命名为STVText 4，一个精心设计的时空检测度量（STDM），和一种新的基于聚类的基线方法，称为时间聚类（TC）。STVText 4开辟了一个具有挑战性但很有前途的VSTD方向，称为ST-VSTD，其目标是在空间和时间域同时检测视频场景文本。STVText 4包含来自106个视频的161，347个视频帧的超过140万个文本实例，其中每个实例不仅使用空间限界框和时间范围进行注释，而且还使用四个固有属性进行注释，包括易读性，密度，规模和生命周期，以促进社区。随着视频序列中相同文本的连续传播，TC可以准确地输出文本的空间四边形和时间范围，这为ST-VSTD设置了一个强大的基线。实验证明了该方法的有效性和STVText 4的巨大学术和实用价值。数据集和代码将很快发布。
2020-11-19 cs.CV
A spatio-temporal network for video semantic segmentation in surgical videos
Medtronic Digital Surgery（美敦力数字外科）；Wellcome/EPSRC Centre for Internventional and Surgical Sciences, University College London（伦敦大学学院惠康/工程与物理科学研究委员会介入与外科学中心）
针对手术视频语义分割中时间一致性问题，提出含时空解码器的网络，提升帧间一致性，在公开和私有数据集上验证了性能改进。
2023-06-19 cs.CV
The Shape of Time: Video-Token Contrast for Temporal Understanding in VideoLMs
Nanyang Technological University（南洋理工大学）
针对 VideoLMs 时间理解中监督与视频表示不匹配的问题，提出 VT-Contrast 表示级时间反事实目标，通过对比视频 token 的顺序视图与反事实提升时间理解性能，且无需改动架构。
2026-09-04 cs.CV
Exploiting long-term temporal dynamics for video captioning
School of Computer Science and Engineering, The University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）
用自然语言自动描述视频是计算机视觉和自然语言处理的一个基本挑战。最近，已经通过两个步骤实现了该问题的进展：1）采用2-D和/或3-D卷积神经网络（CNN）（例如，VGG、ResNet或C3 D）来提取空间和/或时间特征以对视频内容进行编码;以及2）应用递归神经网络（RNN）来生成描述视频中的事件的句子。基于时间注意力的模型通过考虑视频帧的重要性，取得了很大的进展。然而，对于长视频，特别是对于由一组子事件组成的视频，我们应该发现并利用每个子镜头而不是每个帧的重要性。在本文中，我们提出了一种新的方法，即时间和空间LSTM（TS-LSTM），它系统地利用视频序列中的空间和时间动态。在TS-LSTM中，时间池化LSTM（TP-LSTM）被设计为结合空间和时间信息来提取视频子镜头中的长期时间动态;并引入堆叠LSTM来生成描述视频的单词列表。在两个公开的视频描述基准测试中获得的实验结果表明，我们的TS-LSTM优于最先进的方法。
2022-02-22 cs.CV
Temporal Alignment Prediction for Few-Shot Video Classification
National Key Lab for Novel Software Technology（新型软件技术国家重点实验室）；Nanjing University（南京大学）
Few-Shot视频分类的目标是在只使用少量标记视频进行训练的情况下学习具有良好泛化能力的分类模型。然而，在这样的设置中，很难学习视频的区别性特征表示。在本文中，我们提出了时间对齐预测（TAP）的基础上序列相似性学习的Few-Shot视频分类。为了获得一对视频的相似性，我们预测的对齐分数之间的所有对时间位置在两个视频的时间对齐预测函数。此外，该函数的输入还配备有时间域中的上下文信息。我们在两个视频分类基准上评估TAP，包括Kinetics和Something-Something V2。实验结果验证了TAP的有效性，并显示了其优越性比国家的最先进的方法。
2021-12-31 cs.CV
TDViT: Temporal Dilated Video Transformer for Dense Video Tasks
Queen’s University Belfast（贝尔法斯特女王大学）；Oosto（奥斯特公司）
提出TDViT及其核心模块TDTB，通过分层结构扩展时间感受野并缓解时间冗余，高效解决密集视频任务中的长时序建模问题，在视频目标检测和实例分割基准上表现优越。
2024-02-14 cs.CV
TimeLogic: A Temporal Logic Benchmark for Video QA
University of Central Florida（中佛罗里达大学）；University of Tuebingen（蒂宾根大学）
针对现有视频问答基准缺乏时序逻辑推理评估的问题，提出可自动生成问答对的TLQA框架，基于4个数据集构建两类规模的基准数据集，并评估了前沿模型在16类时序逻辑任务上的推理能力。
2025-01-13 cs.CV
Universal Video Temporal Grounding with Generative Multi-modal Large Language Models
SAI, Shanghai Jiao Tong University（上海交通大学SAI实验室）；ByteDance Seed（字节跳动种子）
本文提出UniTime模型，利用生成多模态大语言模型实现通用视频时间定位，有效处理多类型视频并提升VideoQA任务性能。
2025-11-21 cs.CV
Video Summarization through Reinforcement Learning with a 3D Spatio-Temporal U-Net
智能视频摘要算法允许通过识别最重要和最具解释性的内容来快速传达视频中最相关的信息，同时删除冗余的视频帧。在本文中，我们介绍了用于视频摘要的3DST-UNet-RL框架。使用3D时空U-网对输入视频的时空信息进行有效编码，以用于下游的强化学习（RL）。RL代理从时空潜在分数中学习，并预测用于在视频摘要中保留或拒绝视频帧的动作。我们调查真实/膨胀的3D时空CNN特征是否比常用的2D图像特征更适合从视频中学习表示。我们的框架可以在完全无监督模式和监督训练模式下运行。我们分析了规定的摘要长度的影响，并在两个常用的通用视频摘要基准上显示了3DST-UNet-RL有效性的实验证据。我们还将我们的方法应用于医疗视频摘要任务。所提出的视频摘要方法有可能节省超声筛查视频的存储成本，并且在回顾性分析或审计期间在不丢失必要信息的情况下浏览患者视频数据时提高效率
2021-06-19 cs.CV
Self-supervised Temporal Discriminative Learning for Video Representation Learning
Sun Yat-sen University（中山大学）；Hong Kong Baptist University（香港浸会大学）
视频中的时间线索为准确识别动作提供了重要信息。然而，如果不使用带注释的大规模视频动作数据集进行训练，则很难提取时间区分特征。本文提出了一种新的基于视频的时间判别学习（VTDL）框架，在自我监督的方式。在没有标记数据进行网络预训练的情况下，通过使用相同或不同时间间隔的片段为每个锚视频生成时间三元组，以增强时间特征表示的能力。通过时间导数测量时间信息，时间一致增强（TCA）旨在确保增强的正的时间导数（以任何顺序）是不变的，除了缩放常数。最后，通过最小化每个锚点与其增强的正片之间的距离来学习时间区分特征，而每个锚点与其增强的负片以及保存在存储体中的其他视频之间的距离被最大化以丰富表示多样性。在下游的动作识别任务中，所提出的方法显着优于现有的相关工作。令人惊讶的是，当使用小规模视频数据集（只有数千个视频）进行预训练时，所提出的自监督方法优于UCF 101和HMDB 51上的全监督方法。该守则已在https://github.com/FingerRec/Self-Supervised-Temporal-Discriminative-Representation-Learning-for-Video-Action-Recognition上公布。
2020-08-05 cs.CV
Learning spatio-temporal representations with temporal squeeze pooling
University of York（约克大学）
本文提出了一种新的视频表示学习方法--时间压缩（Temporal Squeeze，TS）池化方法，该方法能够从一长串视频帧中提取出运动的基本信息，并将其映射到一组为数不多的图像中，称为压缩图像。通过将时间压缩池作为一个层嵌入到现有的卷积神经网络（CNN）中，我们设计了一个新的视频分类模型，称为时间压缩网络（TeSNet）。压缩后的图像包含视频帧的基本运动信息，对应于视频分类任务的优化。我们在两个视频分类基准上评估了我们的架构，并将所取得的结果与最先进的技术进行了比较。
2022-01-13 cs.CV
VideoFusion: A Spatio-Temporal Collaborative Network for Multi-modal Video Fusion
School of Robotics, Wuhan University, Wuhan, China（机器人学院，武汉大学，武汉，中国）；Electronic Information School, Wuhan University, Wuhan, China（电子信息学院，武汉大学，武汉，中国）；Southeast University, Nanjing, China（东南大学，南京，中国）
VideoFusion通过时空协作网络实现多模态视频融合，利用跨模态互补性和时间动态性提升视频一致性。
2026-03-02 cs.CV
Temporal-Spatial Feature Pyramid for Video Saliency Detection
Beihang University（北京航空航天大学）
多层次特征对于显著性检测是非常重要的。将多层次特征与时间信息更好地结合使用，可以大大提高视频显著性模型的准确性。为了充分结合多层次特征并使其服务于视频显著性模型，提出了一种用于视频显著性检测的3D全卷积编解码器架构，该架构结合了尺度、空间和时间信息进行视频显著性建模。编码器从输入的连续视频帧中提取多尺度时空特征，然后通过时空卷积和自顶向下的特征融合构建时空特征金字塔。解码器从不同尺度对时空特征进行分层解码，并最终从多个视频帧的整合中产生显著图。该模型简单有效，可以实时的运行。实验结果表明，该结构能够显著提高视频显著性检测的精度。在三个纯视觉视频显著性基准和六个音视频显著性基准上的实验结果表明，我们的方法优于现有的最先进的方法。
2021-09-14 cs.CV
Seq2Time: Sequential Knowledge Transfer for Video LLM Temporal Grounding
University of Central Florida（中佛罗里达大学）；United Imaging Intelligence（联影智能）；Northwestern University（西北大学）
针对视频大语言模型时间感知受限于长视频标注数据稀缺的问题，提出Seq2Time训练范式，通过图像/片段序列生成时间标注数据并统一时间表示，显著提升了时间定位相关任务性能。
2024-11-25 cs.CV
Learning Joint Spatial-Temporal Transformations for Video Inpainting
Sun Yat-sen University（中山大学）；Microsoft Research Asia（微软亚洲研究院）
高质量的视频修复是一个很有前途但又具有挑战性的任务。现有的方法采用注意力模型，通过从参考帧中搜索缺失的内容来完成一帧，并进一步逐帧完成整个视频。然而，这些方法可能会受到沿着空间和时间维度的不一致的注意力结果的影响，这通常会导致视频中的模糊和时间伪影。在本文中，我们提出了一个联合学习时空Transformer网络（STTN）的视频修复。具体来说，我们同时填补丢失的区域在所有输入帧的自我注意，并建议优化STTN的时空对抗损失。为了显示所提出的模型的优越性，我们进行定量和定性的评价，使用标准的静止掩模和更真实的运动物体掩模。演示视频可在https://github.com/researchmm/STTN上获得。
2020-07-20 cs.CV
Spatial-Temporal Residual Aggregation for High Resolution Video Inpainting
Huawei Technologies（华为技术有限公司）；Jilin University（吉林大学）
最近基于学习的修复算法在去除视频中不需要的对象后完成缺失区域方面取得了令人信服的结果。为了保持帧之间的时间一致性，3D空间和时间操作通常在深度网络中大量使用。然而，这些方法通常受到存储器限制，并且只能处理低分辨率视频。我们提出了STRA-Net，一种新的高分辨率视频修复的时空残差聚合框架。其关键思想是首先学习并在下采样的低分辨率视频上应用空间和时间修复网络。然后，我们通过将学习的空间和时间图像残差（细节）聚合到上采样的修复帧来细化低分辨率结果。定量和定性的评估表明，我们可以产生更多的时间连贯性和视觉吸引力的结果比国家的最先进的方法修复高分辨率视频。
2021-11-05 cs.CV
Video-based Person Re-identification with Spatial and Temporal Memory Networks
Yonsei University（延世大学）
基于视频的人物重新识别（reID）旨在跨多个摄像机检索与查询人物具有相同身份的人物视频。人物视频中的空间和时间干扰因素，例如背景杂波和帧上的部分遮挡，分别使这项任务比基于图像的人物reID更具挑战性。我们观察到，空间干扰始终出现在一个特定的位置，和时间干扰显示几种模式，例如，部分遮挡发生在最初的几个帧中，其中这样的模式提供用于预测要聚焦在哪些帧上的信息线索（即，时间的关注）。在此基础上，我们介绍了一种新的时空记忆网络（STMN）。空间记忆存储在视频帧中频繁出现的空间干扰物的特征，而时间记忆保存针对人视频中的典型时间模式进行优化的注意力。我们利用空间和时间的记忆来细化帧级的人的表示和聚合到一个序列级的人的表示，分别有效地处理空间和时间干扰的人的视频的细化帧级的功能。我们还引入了一个内存扩散损失，防止我们的模型只在内存中处理特定的项目。标准基准测试，包括MARS，DukeMTMC-VideoReID，和LS-VID的实验结果，证明了我们的方法的有效性。
2021-08-20 cs.CV
Inductive and Transductive Few-Shot Video Classification via Appearance and Temporal Alignments
VinAI Research（VinAI研究院）；Retrocausal, Inc.（Retrocausal公司）
我们提出了一种新的方法用于Few-Shot视频分类，它执行外观和时间对齐。特别是，给定一对查询和支持视频，我们通过帧级特征匹配进行外观对齐，以实现视频之间的外观相似性得分，同时利用时间顺序保持先验来获得视频之间的时间相似性得分。此外，我们引入了一个Few-Shot视频分类框架，该框架在多个步骤中利用了上述外观和时间相似性分数，即基于原型的训练和测试以及归纳和转换原型细化。据我们所知，我们的工作是第一个探索转导Few-Shot视频分类。在Kinetics和Something-Something V2数据集上进行的大量实验表明，外观和时间对齐对于具有时间顺序敏感性的数据集（如Something-Something V2）至关重要。我们的方法在这两个数据集上都取得了类似或更好的结果。我们的代码可在https://github.com/VinAIResearch/fsvc-ata上获得。
2022-07-21 cs.CV
Noisy-LSTM: Improving Temporal Awareness for Video Semantic Segmentation
语义视频分割是各种应用的关键挑战。本文提出了一种名为Noisy-LSTM的新模型，它可以端到端的方式进行训练，使用卷积LSTM（ConvLSTM）来利用视频帧中的时间相干性。我们还提出了一个简单而有效的训练策略，它取代了视频序列中的一帧噪声。该策略破坏了训练期间视频帧中的时间相干性，从而使得ConvLSTM中的时间链接不可靠，这因此可以改进从视频帧的特征提取，以及用作正则化器以避免过拟合，而不需要额外的数据注释或计算成本。实验结果表明，该模型在CityScapes和EndoVis 2018数据集上都能达到最先进的性能。
2020-10-19 cs.CV
Semantic Conditioned Dynamic Modulation for Temporal Sentence Grounding in Videos
Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）；Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）
视频中的时间句子接地旨在检测和定位一个目标视频片段，其语义对应于给定的句子。现有的方法主要通过匹配和对齐句子和候选视频片段之间的语义来解决这个任务，而忽略了句子信息在时间相关和组成视频中描述的内容中起着重要作用的事实。在本文中，我们提出了一种新的语义条件动态调制（SCDM）机制，它依赖于句子的语义来调制时间卷积运算，以更好地相关和组成的句子相关的视频内容随着时间的推移。更重要的是，所提出的SCDM相对于不同的视频内容动态地执行，以便在句子和视频之间建立更精确的匹配关系，从而提高时间接地准确性。在三个公共数据集上进行的广泛实验表明，我们提出的模型优于最先进的模型，具有明显的边缘，说明SCDM能够更好地关联和定位相关视频内容，以实现时间句子基础。本文的代码可以在https://github.com/yytzsy/SCDM上找到。
2019-10-31 cs.CV
Across Scales & Across Dimensions: Temporal Super-Resolution using Deep Internal Learning
The Weizmann Institute of Science（魏茨曼科学研究所）；Weizmann Artificial Intelligence Center (WAIC)（魏茨曼人工智能中心（WAIC））；Technion, Israel Institute of Technology（以色列理工学院）
当使用低帧速率相机记录非常快的动态事件时，所得到的视频遭受严重的运动模糊（由于曝光时间）和运动混叠（由于时间上的低采样率）。真正的时间超分辨率（TSR）不仅仅是时间插值（增加帧率）。它还可以恢复超出输入视频的时间奈奎斯特限制的新的高时间频率，从而解决时间帧插值（尽管可能很复杂）无法消除的运动模糊和运动混叠效应。在本文中，我们提出了一种用于真正TSR的“深度内部学习”方法。我们训练一个视频特定的CNN的例子直接从低帧率输入视频提取。我们的方法利用了一个单一的视频序列内的小时空补丁的强复发，无论是在不同的时空尺度的视频。我们进一步观察到（第一次）小的时空补丁也在视频序列的各个维度上重现-即，通过交换空间和时间维度。特别地，视频帧的较高空间分辨率提供了关于如何增加该视频的时间分辨率的强有力的示例。这种内部视频特定的例子产生了强大的自我监督，不需要数据，但输入视频本身。这导致了复杂视频的Zero-Shot Temporal-SR，它消除了运动模糊和运动混叠，优于以前在外部视频数据集上训练的监督方法。
2020-10-15 cs.CV
Video BagNet: short temporal receptive fields increase robustness in long-term action recognition
Delft University of Technology（代尔夫特理工大学）；TNO（荷兰应用科学研究组织）
针对大时间感受野的3D卷积动作识别模型易因子动作顺序变化性能下降的问题，提出时间感受野受限的Video BagNet模型，实验验证短感受野可提升长期动作识别对子动作顺序变化的鲁棒性。
2023-08-22 cs.CV
Global-Local Temporal Representations For Video Person Re-Identification
Peking University（北京大学）
本文提出了全局-局部时间表示（GLTR），利用视频序列中的多尺度时间线索的视频人的再识别（ReID）。GLTR是通过首先对相邻帧之间的短期时间线索进行建模，然后捕获不连续帧之间的长期关系来构建的。具体地说，短期的时间线索是由不同的时间膨胀率的并行膨胀卷积来表示行人的运动和外观。通过时间自注意模型来捕捉视频序列中的长期关系，以减轻视频序列中的遮挡和噪声。通过简单的单流CNN将短期和长期时间线索聚合为最终的GLTR。GLTR显示出显著的优越性，现有的功能与身体部位线索或度量学习四个广泛使用的视频ReID数据集。例如，它在MARS数据集上实现了87.02%的Rank-1准确率，而无需重新排名，优于当前最先进的技术。
2019-08-27 cs.CV
Video Demoireing with Relation-Based Temporal Consistency
The University of Hong Kong（香港大学）；TCL AI Lab（TCL人工智能实验室）；Sun Yat-sen University（中山大学）；The Chinese University of Hong Kong（香港中文大学）
当用数码相机拍摄屏幕时，以颜色失真出现的莫尔图案严重降低图像和视频质量。考虑到视频采集需求的不断增长，本文研究了如何去除视频中的莫尔条纹，即视频去噪。为此，我们引入了第一个手持视频demoireing数据集与一个专用的数据汇集管道，以确保空间和时间上的对齐捕获的数据。此外，开发了具有隐式特征空间对齐和选择性特征聚合的基线视频去毛模型，以利用来自附近帧的补充信息来改进帧级视频去毛。更重要的是，我们提出了一个基于关系的时间一致性损失，以鼓励模型直接从地面实况参考视频中学习时间一致性先验，这有助于产生时间一致的预测并有效地保持帧级质量。大量的实验表明了该模型的优越性。代码可在\url{https://daipengwa.github.io/VDmoire_ProjectPage/}上获得。
2022-04-06 cs.CV
Temporal Consistency Loss for High Resolution Textured and Clothed 3DHuman Reconstruction from Monocular Video
University of Surrey（萨里大学）
我们提出了一种新的方法来学习时间上一致的3D重建的衣服的人从单目视频。用于使用体积、隐式或参数化人体形状模型从单目视频进行3D人体重建的最近方法在应用于视频时产生每帧重建，从而给出时间上不一致的输出和有限的性能。在本文中，我们介绍了一种方法来学习时间一致的功能，从单目视频的纹理重建的衣服三维人体序列提出了两个进步：一个新的时间一致性损失函数;和混合表示学习隐式三维重建从二维图像和粗糙的三维几何。所提出的进步提高了时间的一致性和准确性的3D重建和纹理预测从单目视频。对人体图像的综合比较性能评估表明，该方法在重建精度、完整性、质量和时间一致性等方面都明显优于基于学习的单图像三维人体形状估计方法。
2021-04-19 cs.CV
Point-wise mutual information-based video segmentation with high temporal consistency
University of Freiburg（弗赖堡大学）
在本文中，我们解决的问题，时间一致的边界检测和分层分割的视频。虽然找到视频中区域分配的最佳高级推理是最近许多研究的焦点，但边界检测中的时间一致性迄今为止很少得到解决。我们认为，时间上一致的边界是时间上一致的区域分配的关键组成部分。该方法基于时空体素的逐点互信息（PMI）。时间上的一致性是建立在空间和时间上的谱域中基于PMI的点亲和力的评价。因此，所提出的方法独立于任何光流计算或先前学习的运动模型。所提出的低级别视频分割方法在标准区域度量方面优于基于学习的现有技术。
2016-06-08 cs.CV
