Panoptic Video Scene Graph Generation
Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）
本文提出全景视频场景图生成（PVSG）任务，用像素级分割掩码替代边界框定位场景图节点，并构建包含400个视频、150K帧的PVSG数据集及多种基线方法，以推动全面视频理解研究。
2023-11-28 cs.AI cs.CV
SeaDSC: A video-based unsupervised method for dynamic scene change detection in unmanned surface vehicles
IDLab；imec（微电子中心）
本文提出了一种基于视频的无监督方法 SeaDSC，用于无人水面艇的动态场景变化检测。该方法利用改进的 VQ-VAE-2 模型在多个海洋数据集上训练以增强特征提取，并引入创新的网格计算相似度评分技术来直接计算连续帧的相似度，在 RoboWhaler 数据集上验证了高效性能。
2023-11-20 cs.CV
Real-time Human-Centric Segmentation for Complex Video Scenes
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Northwestern University（西北大学）
现有的大多数与“人”相关的视频任务都集中在显著人物的分割上，而忽略了视频中未指定的其他人。很少有研究集中在分割和跟踪复杂视频中的所有人，包括行人和其他状态的人（例如，坐着的、骑着的或闭塞的）。在本文中，我们提出了一个新的框架，简称HVISNet，分割和跟踪所有提出的人在给定的视频的基础上一个阶段的检测器。为了更好地评估复杂的场景，我们提供了一个新的基准称为HVIS（人类视频实例分割），其中包括1447人的实例面具在805个高分辨率的视频在不同的场景。大量的实验表明，我们提出的HVISNet优于国家的最先进的方法在准确性方面的实时的【形】推理速度（30 FPS），特别是在复杂的视频场景。我们还注意到，使用限界框的中心来区分不同的个体严重恶化了分割精度，特别是在严重遮挡的条件下。这种常见的现象被称为模糊正样本问题。为了缓解这个问题，我们提出了一种名为内部中心采样的机制，以提高实例分割的准确性。这种即插即用的内中心采样机制可以结合在任何基于一级检测器的实例分割模型中，以提高性能。特别是，它获得了4.1 mAP的最先进的方法在闭塞的人的情况下的改善。代码和数据可在https://github.com/IIGROUP/HVISNet上获得。
2021-08-16 cs.CV
Towards Accurate Human Pose Estimation in Videos of Crowded Scenes
National University of Singapore（新加坡国立大学）；YITU Technology（依图科技）
拥挤场景下基于视频的人体姿态估计是一个具有挑战性的问题，由于遮挡，运动模糊，尺度变化和视点变化等，现有的方法总是无法处理这个问题，因为（1）缺乏使用的时间信息;（2）缺乏训练数据在拥挤场景。在本文中，我们专注于提高人体姿态估计在拥挤的场景中的视频从利用时间上下文和收集新的数据的角度。特别是，我们首先遵循自上而下的策略来检测人，并对每帧进行单人姿态估计。然后，我们改进了基于帧的姿态估计与时间上下文推导出的光流。具体来说，对于一帧，我们从先前帧中向前发送历史姿势，并从后续帧中向后发送未来姿势到当前帧，从而实现视频中稳定且准确的人体姿势估计。此外，为了提高训练集的多样性，我们从互联网上挖掘了与HIE数据集相似的新场景数据。通过这种方式，我们的模型在13个视频中的7个上实现了最佳性能，并且在HIE挑战的测试数据集上实现了56.33的平均w\_AP。
2020-10-21 cs.CV
Not Only Look But Observe: Variational Observation Model of Scene-Level 3D Multi-Object Understanding for Probabilistic SLAM
Automation and Systems Research Institute, Seoul National University（首尔国立大学自动化与系统研究所）
我们提出了NOLBO，变分观测模型估计三维多目标从二维Single Shot。以往的概率实例级理解主要考虑的是单目标图像，而不是多目标的Single Shot，对象与整个场景之间的关系没有得到关注。每个观察的客观性也很难加入他们的模型。因此，我们提出了一种方法来近似贝叶斯观察模型的场景级三维多目标理解。通过利用变分自动编码器（VAE），我们从整个场景中估计潜变量，这些潜变量遵循易处理的分布，同时暗示3D完整的形状和姿态。为了进行面向对象的数据关联和概率同时定位与地图构建（SLAM），我们的观测模型可以很容易地通过用潜在变量替换面向对象的特征来进行概率推理。
2020-02-04 cs.CV cs.RO
DyST: Towards Dynamic Neural Scene Representations on Real-World Videos
MPI for Intelligent Systems（智能系统MPI）；Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）
DyST模型从单目真实世界视频中学习3D结构和动态的潜在分解，通过协同训练实现相机与场景内容的独立控制视图生成。
2024-03-15 cs.AI cs.CV cs.GR
Zero-shot Reconstruction of In-Scene Object Manipulation from Video
University of Pennsylvania（宾夕法尼亚大学）；University of Oxford（牛津大学）
本文提出了一种基于数据驱动模型的零样本方法，用于从视频中重建场景中的物体操作，通过两阶段优化实现手-物体运动的准确重建。
2025-12-22 cs.CV cs.RO
Generating Videos with Scene Dynamics
MIT（麻省理工学院）；UMBC（马里兰大学巴尔的摩县分校）
我们利用大量未标记的视频来学习视频识别任务（例如动作分类）和视频生成任务（例如未来预测）的场景动态模型。我们提出了一个用于视频的生成对抗网络，它具有时空卷积架构，可以将场景的前景与背景分开。实验表明，该模型可以产生微小的视频高达一秒的全帧速率比简单的基线，我们展示了它的效用在预测静态图像的合理未来。此外，实验和可视化显示，该模型内部学习有用的功能，以识别动作与最小的监督，这表明场景动态是一个有前途的信号表示学习。我们相信生成视频模型可以影响视频理解和模拟中的许多应用。
2016-10-26 cs.CV cs.GR cs.LG
SSGVS: Semantic Scene Graph-to-Video Synthesis
Leibniz University Hannover（汉诺威莱布尼茨大学）；University of Bonn（波恩大学）；University of Twente（特文特大学）
视频合成作为图像合成任务的自然延伸，近年来引起了人们的广泛兴趣。许多图像合成作品利用类别标签或文本作为指导。然而，标签和文本都不能提供明确的时间指导，例如动作何时开始或结束。为了克服这一限制，我们引入语义视频场景图作为视频合成的输入，因为它们表示场景中对象之间的空间和时间关系。由于视频场景图通常是时间离散的注释，我们提出了一个视频场景图（VSG）编码器，不仅编码现有的视频场景图，但也预测的图形表示为未标记的帧。VSG编码器是用不同的对比多模态损失进行预训练的。提出了一种基于预训练的VSG编码器、VQ-VAE和自回归Transformer的语义场景图到视频合成框架（SSGVS），用于在给定初始场景图像和不固定数目的语义场景图的情况下合成视频。我们评估SSGVS和其他国家的最先进的视频合成模型上的动作基因组数据集，并证明视频场景图在视频合成的积极意义。源代码将被释放。
2022-11-17 cs.CV
PSDF Fusion: Probabilistic Signed Distance Function for On-the-fly 3D Data Fusion and Scene Reconstruction
Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）
我们提出了一种新的三维空间表示的数据融合和场景重建。提出了概率符号距离函数（ProbabilitySignedDistanceFunction，PSDF）来描述三维空间中的不确定性。它是由一个联合分布描述SDF值和它的内点概率，反映输入数据质量和表面的几何形状。设计了一种包括体素、面元和网格的混合数据结构，以充分利用各种流行的3D表示的优点。通过PSDF连接，这些组件在一致的框架中合理地协作。给定顺序深度测量，PSDF可以用较少的特设参数贝叶斯更新来递增地改进。在PSDF和高效的3D数据表示的支持下，可以实时提取高质量的表面，并使用几何信息为可靠的数据融合做出贡献。实验表明，该系统重建的场景具有更高的模型质量和更低的冗余，运行速度比现有的在线网格生成系统。
2018-07-29 cs.CV cs.RO
Tracking Based Semi-Automatic Annotation for Scene Text Videos
Shanghai University（上海大学）；Shanghai Institute for Advanced Communication and Data Science（上海先进通信与数据科学研究院）
近年来，视频场景文本检测因其广泛的应用而受到越来越多的关注。然而，缺乏带注释的场景文本视频数据集已成为阻碍视频场景文本检测发展的重要问题之一。现有的场景文本视频数据集由于人工标注成本昂贵，规模不大。此外，这些数据集中的文本实例太清楚了，不构成挑战。针对上述问题，本文提出了一种基于跟踪的场景文本视频半自动标注策略。通过对第一帧进行人工标注，对后续帧进行自动跟踪，实现了半自动的场景文本标注，避免了人工标注的巨大开销。此外，提出了一个成对的低质量场景文本视频数据集，名为Text-RBL，由原始视频，模糊视频，低分辨率视频，所提出的方便的半自动标记策略标记。通过对原始视频的平均操作和双三次下采样操作，我们可以有效地获得与原始视频配对的模糊视频和低分辨率视频。为了验证Text-RBL的有效性，我们提出了一个基线模型结合文本检测器和跟踪器的视频场景文本检测。此外，故障检测方案的设计，以减轻基线模型的漂移问题所造成的复杂场景。大量的实验表明，Text-RBL与配对的低质量视频标记的半自动方法可以显着提高低质量场景中的文本检测器的性能。
2021-03-29 cs.CV
VideoDirectorGPT: Consistent Multi-scene Video Generation via LLM-Guided Planning
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
针对现有文本生成视频方法多聚焦单场景短视频、难以实现长视频时间一致性的问题，提出VideoDirectorGPT框架，用GPT-4生成视频规划，结合Layout2Vid生成器实现多场景一致视频生成，性能媲美单场景SOTA。
2024-07-12 cs.AI cs.CL cs.CV
TALC: Time-Aligned Captions for Multi-Scene Text-to-Video Generation
University of California Los Angeles（加州大学洛杉矶分校）；Google Research（谷歌研究院）
本文提出TALC框架，通过时间对齐字幕增强文本条件机制，使预训练T2V模型能生成多场景视频，微调后总体得分相对提升29%。
2024-11-08 cs.AI cs.CV cs.LG
MOSO: Decomposing MOtion, Scene and Object for Video Prediction
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)（中国科学院大学人工智能学院）
运动、场景和对象是视频的三个主要视觉组成部分。具体而言，对象表示前景，场景表示背景，并且运动跟踪它们的动态。基于这一认识，我们提出了一个两阶段的运动，场景和对象分解框架（MOSO）的视频预测，包括MOSO-VQVAE和MOSO-Transformer。在第一阶段中，MOSO-VQVAE将先前的视频片段分解为运动、场景和对象分量，并将它们表示为不同的离散令牌组。然后，在第二阶段，MOSO-Transformer基于先前的令牌预测后续视频剪辑的对象和场景令牌，并在令牌级别将动态运动添加到生成的对象和场景令牌。我们的框架可以很容易地扩展到无条件的视频生成和视频帧插值任务。实验结果表明，我们的方法在视频预测和无条件视频生成的五个具有挑战性的基准测试中实现了新的最先进性能：BAIR、RoboNet、KTH、KITTI和UCF 101。此外，MOSO可以通过组合来自不同视频的对象和场景来制作逼真的视频。
2023-03-16 cs.CV
Table-Top Scene Analysis Using Knowledge-Supervised MCMC
Technische Universität München（慕尼黑工业大学）；Siemens AG（西门子股份公司）
在本文中，我们提出了一种概率方法来生成抽象的场景图的桌面场景从6D物体姿态估计。我们明确地利用特定于任务的上下文知识编码为马尔可夫逻辑网络中的描述性规则。我们的方法来生成场景图是概率的：对象姿态的不确定性是由嵌入在数据驱动的MCMC过程中的概率传感器模型来解决的。我们应用马尔可夫逻辑推理隐藏的对象的原因，并检测错误的估计对象构成。我们的方法的有效性证明和评估在现实世界中的实验。
2020-02-19 cs.CV cs.RO
Diffusion Probabilistic Modeling for Video Generation
University of California Irvine（加州大学欧文分校）
去噪扩散概率模型是一类很有前途的新的生成模型，它标志着高质量图像生成的一个里程碑。本文展示了它们顺序生成视频的能力，在感知和概率预测指标方面超过了以前的方法。我们提出了一个自回归，端到端优化的视频扩散模型的灵感来自神经视频压缩的最新进展。该模型通过使用由逆扩散过程生成的随机残差来校正确定性下一帧预测，从而连续地生成未来帧。我们将这种方法与涉及自然和基于模拟的视频的四个数据集上的五个基线进行比较。我们发现所有数据集的感知质量都有显着改善。此外，通过引入适用于视频的连续排序概率分数（CRPS）的可扩展版本，我们表明，我们的模型在概率帧预测能力方面也优于现有方法。
2022-12-08 cs.CV cs.LG stat.ML
Contrastive Sequential-Diffusion Learning: Non-linear and Multi-Scene Instructional Video Synthesis
NOVA LINCS；NOVA School of Science and Technology（NOVA科技学院）；Google Research（谷歌研究院）
针对多场景教学视频合成中非线性时序下的视觉一致性难题，提出对比序列视频扩散方法，通过选择适配的历史场景引导去噪，实验验证其在真实动作数据上的实用性与一致性提升。
2024-12-06 cs.CV
Seeing the Scene Matters: Revealing Forgetting in Video Understanding Models with a Scene-Aware Long-Video Benchmark
CUHK (SZ)（香港中文大学（深圳））；University of Cambridge（剑桥大学）；UESTC（电子科技大学）；CUHK（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出SceneBench基准，揭示视频理解模型在长场景上下文中的遗忘问题，并提出Scene-RAG方法提升性能2.50%。
2026-06-23 cs.CV
Novel Video Prediction for Large-scale Scene using Optical Flow
University of Victoria（维多利亚大学）；Tongji University（同济大学）；Horizon Robotics Inc.（地平线机器人有限公司）
预测未来帧是自动驾驶研究中的一个关键挑战。大多数现有的视频预测方法试图在简单和固定的场景中生成未来帧。在本文中，我们提出了一种新的和有效的光流条件的视频预测任务的方法，应用到复杂的城市场景。与以前的工作相比，预测模型只需要视频序列和光流序列进行训练和测试。我们的方法使用丰富的时空特征的视频序列。该方法充分利用了从相邻图像和前一图像之间的光流图中提取的运动信息。在KITTI数据集和Cityscapes数据集上的实验验证了该方法的有效性。
2018-05-30 cs.CV cs.LG stat.ML
Multi-Modal Domain Adaptation Across Video Scenes for Temporal Video Grounding
Zhejiang University（浙江大学）
针对跨场景时间视频定位，提出对抗性多模态域自适应方法，利用域判别器、语义对齐和掩码重建提升新场景性能，在多个基准上验证有效。
2023-12-21 cs.CV
Feasibility of Neural Radiance Fields for Crime Scene Video Reconstruction
School of IT Monash University Malaysia（马来西亚莫纳什大学信息技术学院）
该研究围绕基于视频的犯罪现场重建需求，聚焦NeRF的多目标合成、可变形合成、光照三大创新方向，分析神经辐射场模型变体用于该场景的可行性。
2024-07-11 cs.CV
Multi-Object Classification and Unsupervised Scene Understanding Using Deep Learning Features and Latent Tree Probabilistic Models
University of California, Irvine（加州大学欧文分校）
深度学习已经在ImageNet等数据集上显示出最先进的分类性能，这些数据集在每个图像中包含一个对象。然而，多目标分类更具挑战性。我们提出了一个统一的框架，利用多种机器学习方法的优势，即深度学习，概率模型和内核方法，以获得最先进的性能在Microsoft COCO上，由非图标图像。我们通过条件潜在树概率模型（CLTM）将上下文信息纳入自然图像中，其中对象同现以从预训练的Imagenet CNN中提取的fc 7特征为条件作为输入。我们学习的CLTM树结构使用条件成对概率的对象同现，通过内核方法估计，我们学习它的节点和边缘的潜力，通过训练一个新的3层神经网络，它需要FC 7功能作为输入。对象分类是通过对学习条件树模型的推理进行的，我们在MS-COCO上获得了显着的精度-召回率和F-措施，特别是对于困难的对象类别。此外，CLTM中的潜变量捕获场景信息：具有潜在节点的顶部激活的图像具有共同的主题，例如草原或食物场景等。此外，我们表明，仅对推断的潜在节点进行简单的k均值聚类显着提高了MIT-Indoor数据集上的场景分类性能，而无需任何重新训练，并且在训练期间不使用场景标签。因此，我们提出了一个统一的框架，多目标分类和无监督场景理解。
2015-05-02 cs.CV cs.LG
SCANet: Scene Complexity Aware Network for Weakly-Supervised Video Moment Retrieval
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
针对弱监督视频时刻检索中现有提案未考虑视频场景数量变化的问题，提出SCANet，通过测量视频场景复杂度生成自适应提案，在三个基准上取得最先进性能。
2025-04-14 cs.CV
Video Ads Content Structuring by Combining Scene Confidence Prediction and Tagging
CyberAgent, Inc.（CyberAgent公司）
由于两个主要原因，视频广告分割和标记是一项具有挑战性的任务：（1）视频场景结构复杂，以及（2）它包括多个模态（例如，视觉、音频、文本）。虽然以前的工作主要集中在活动视频（例如“烹饪”，“体育”），但尚不清楚如何利用它们来解决视频广告内容结构化的任务。在本文中，我们提出了一个两阶段的方法，首先提供的场景的边界，然后结合每个分割的场景和预测的标签类的置信度得分的场景。我们提供了广泛的实验结果的网络架构和模式用于所提出的方法。我们的组合方法在具有挑战性的“腾讯广告视频”数据集上改进了先前的基线。
2021-08-20 cs.CV
Anomaly Detection in Video Data Based on Probabilistic Latent Space Models
University of Genova（热那亚大学）；University Carlos III de Madrid（马德里卡洛斯三世大学）
提出了一种视频数据异常检测方法。变分自编码器（VAE）用于降低视频帧的维度，生成与低维传感数据（例如，定位、转向角度），使得为自动驾驶车辆开发一致的多模式架构成为可能。一个自适应马尔可夫跳粒子滤波定义的离散和连续的推理水平被用来预测后续帧和检测新的视频序列中的异常。我们的方法在不同的视频场景中进行评估，其中半自动驾驶车辆在封闭环境中执行一组任务。
2020-03-17 cs.CV cs.LG
VideoStudio: Generating Consistent-Content and Multi-Scene Videos
HiDream.ai Inc.（HiDream.ai公司）
针对现有视频生成模型难以生成多场景且内容一致视频的问题，提出VideoStudio框架，借助LLM生成多场景脚本并生成实体参考图，结合扩散模型生成视频，效果优于现有SOTA模型。
2024-09-16 cs.CL cs.CV
Scene Splatter: Momentum 3D Scene Generation from Single Image with Video Diffusion Model
Tsinghua University（清华大学）；WeChat Vision, Tecent Inc.（腾讯微信视觉）
提出Scene Splatter，一种基于动量的视频扩散范式，通过级联潜在级和像素级动量从单张图像迭代生成高保真且一致的3D场景，克服了视频长度限制和场景不一致问题。
2025-04-03 cs.AI cs.CV
HyperGLM: HyperGraph for Video Scene Graph Generation and Anticipation
University of Arkansas（阿肯色大学）；Ohio State University（俄亥俄州立大学）
针对视频场景理解中多目标交互复杂的问题，本文提出HyperGLM，将实体场景图与程序图统一为超图并注入多模态大语言模型，结合新数据集VSGR，在五项任务上超越现有方法。
2025-03-31 cs.CV
SGTA: Scene-Graph Based Multi-Modal Traffic Agent for Video Understanding
Technical University of Munich（慕尼黑工业大学）
SGTA结合结构化场景图与多模态推理，通过检测、跟踪和车道提取构建交通场景图，并利用ReAct处理大语言模型的推理轨迹，实现复杂视频问题的可解释决策。
2026-04-04 cs.CV
Acoustic Field Video for Multimodal Scene Understanding
Carnegie Mellon University（卡内基梅隆大学）
本文提出声学场视频作为多模态场景理解的新输入方式，通过整合空间声学数据显著提升视觉-语言模型的性能。
2026-01-23 cs.CV cs.HC cs.RO
Enhancing Scene Transition Awareness in Video Generation via Post-Training
Stevens Institute of Technology（史蒂文斯理工学院）
本文提出TAV数据集，通过后训练提升视频生成中场景转换的理解能力，改善多场景生成效果并保持图像质量。
2026-07-31 cs.AI cs.CV
Leveraging Local Temporal Information for Multimodal Scene Classification
Samsung Research America（三星美国研究院）
鲁棒的视频场景分类模型应该有效地捕获视频的空间（逐像素）和时间（逐帧）特征。具有自注意力的Transformer模型被设计为在给定令牌序列的情况下获得各个令牌的上下文表示，在许多计算机视觉任务中变得越来越流行。然而，将基于Transformer的模型用于视频理解仍然相对未被探索。此外，这些模型未能利用相邻视频帧之间的强时间关系来获得有效的帧级表示。在本文中，我们提出了一种新的自我注意力块，利用本地和全球的视频帧之间的时间关系，以获得更好的上下文表示的个别帧。这使得模型能够以各种粒度理解视频。我们展示了我们的模型在大规模YoutTube-8 M数据集上的视频分类任务的性能，并进一步分析结果以展示改进。
2021-10-26 cs.CV cs.LG
Learning to Generate Novel Scene Compositions from Single Images and Videos
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Bonn（波恩大学）
在低数据条件下训练GANs仍然是一个挑战，因为过度拟合通常会导致记忆或训练分歧。在这项工作中，我们引入了One-Shot GAN，它可以学习从一个训练集生成样本，小到一个图像或一个视频。我们提出了一个两个分支，内容和布局分支的设计，以判断内部内容分别从场景布局的现实主义。这允许合成具有不同内容和布局的视觉上合理的、新颖的场景组成，同时保留原始样本的上下文。与以前的单图像GAN模型相比，One-Shot GAN实现了更高的多样性和合成质量。它也不限于单一图像设置，在单一视频的介绍设置中成功学习。
2021-05-12 cs.CV cs.LG
Scene Consistency Representation Learning for Video Scene Segmentation
Shenzhen University（深圳大学）；Tencent YouTu Lab（腾讯优图实验室）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）；KAUST（阿卜杜拉国王科技大学）
一个长时间的视频，如电影或电视节目，是由各种场景组成的，每个场景代表一系列共享相同语义故事的镜头。从长期视频中发现正确的场景边界是一项具有挑战性的任务，因为模型必须了解视频的故事情节，才能确定场景的开始和结束位置。为此，我们提出了一个有效的自监督学习（SSL）框架，学习更好的镜头表示从未标记的长期视频。更具体地说，我们提出了一个SSL方案，以实现场景的一致性，同时探索相当大的数据增强和洗牌方法，以提高模型的泛化能力。我们引入了一个具有较少归纳偏差的香草时间模型来验证镜头特征的质量，而不是像以前的方法那样显式地学习场景边界特征。我们的方法实现了国家的最先进的性能上的视频场景分割的任务。此外，我们建议一个更公平合理的基准来评估视频场景分割方法的性能。代码可用。
2022-05-11 cs.AI cs.CV
Schrödinger's Cat: Probabilistic Representation and Prediction of Potential Scene Kinematics
研究如何从部分观测预测场景演变，提出GARFIELD概率模型，能学习潜在表示实现轨迹联合采样和运动分布访问，实验显示其在运动规划性能、采样速度及密度估计上优势显著。
2026-07-29 cs.CV cs.LG
CRISP: Contact-Guided Real2Sim from Monocular Video with Planar Scene Primitives
CRISP通过拟合平面原始体和强化学习，从单目视频中生成可模拟的现实到仿真环境，显著降低运动跟踪失败率。
2026-03-01 cs.CV cs.GR cs.RO
LaVR: Scene Latent Conditioned Generative Video Trajectory Re-Rendering using Large 4D Reconstruction Models
Meta；University of Maryland（马里兰大学）；University of Oxford（牛津大学）；UC Davis（加州大学戴维斯分校）
本文提出LaVR模型，通过利用大规模4D重建模型的潜在空间中的隐式几何知识，解决视频重绘中几何未条件化模型的空间感知不足和几何条件化模型对深度不准确的依赖问题，实现状态-of-the-art结果。
2026-04-02 cs.CV cs.LG
Sampling Based Scene-Space Video Processing
Disney Research Zurich（苏黎世迪士尼研究院）；TU Braunschweig（布伦瑞克工业大学）
如果已知每像素深度信息和3D相机校准，则可以实现许多引人注目的视频处理效果。然而，这种方法的成功在很大程度上取决于这种“场景空间”信息的准确性。我们提出了一种新的，基于采样的框架，用于处理视频，使高质量的场景空间视频效果的存在不可避免的错误，在深度和相机姿态估计。我们的方法的关键思想不是试图改善显式的3D场景表示，而是利用由于大多数场景点在许多视频帧中多次可见而产生的近似场景信息的高冗余度。基于这一观察，我们提出了一种新的像素收集和过滤方法。收集步骤是通用的，并且收集场景空间中的像素样本，而过滤步骤是特定于应用的，并且从收集的样本集中计算期望的输出视频。我们的方法是很容易并行化，并已在GPU上实现，使我们能够充分利用大量的视频数据，并促进实际的运行时间在高清视频使用标准的台式计算机。我们的通用场景空间公式能够全面描述大量的视频处理应用，如去噪，去模糊，超分辨率，对象去除，计算快门功能，和其他场景空间相机效果。我们目前的结果为各种随便捕捉，手持，移动，压缩，单眼视频描绘了在不受控制的环境中记录的具有挑战性的场景。
2021-02-05 cs.CV cs.GR
Scene Summarization: Clustering Scene Videos into Spatially Diverse Frames
New York University（纽约大学）
SceneSum通过自监督方法将场景视频聚类为空间多样化的关键帧，提升空间推理能力，优于现有视频摘要方法。
2025-11-23 cs.CV
FunFact: Building Probabilistic Functional 3D Scene Graphs via Factor-Graph Reasoning
ETH Zürich（苏黎世联邦理工学院）；Microsoft（微软）；University of Bonn & Lamarr Institute（波恩大学与拉马尔研究所）
FunFact通过因子图推理构建概率性功能3D场景图，结合语义和几何先验，提升场景功能理解的鲁棒性与准确性。
2026-04-04 cs.CV
Turning an Urban Scene Video into a Cinemagraph
Washington University（华盛顿大学）；Tsinghua University（清华大学）
本文提出了一种算法，把一个规则的视频捕捉城市场景变成一个高质量的无尽的动画，被称为电影。电影摄影的创建通常需要在精心配置的场景中使用静态摄影机。对于具有移动摄像机和对象的常规视频，该任务变得具有挑战性。我们的方法首先将输入视频扭曲到参考相机的视点。基于扭曲的视频，我们提出了有效的时间分析算法来检测静态几何和动态外观，几何建模是可靠的，视觉上有吸引力的动画可以创建的区域。最后，该算法应用一系列视频处理技术来产生Cinemagnetic电影。我们已经测试了所提出的方法在许多具有挑战性的真实场景。据我们所知，这项工作是第一个自动生成电影院动画从普通电影在野外。
2016-12-05 cs.CV
CineScene: Implicit 3D as Effective Scene Representation for Cinematic Video Generation
The University of Hong Kong（香港大学）；Kling Team, Kuaishou Technology（快手技术 Kling 团队）；Tsinghua University（清华大学）；Zhejiang University（浙江大学）；Microsoft Research Project Page（微软研究院项目页面）
CineScene通过隐式3D场景表示实现电影视频生成，能生成动态主体且保持场景一致的高质量视频。
2026-02-06 cs.CV
Simultaneous Stereo Video Deblurring and Scene Flow Estimation
Northwestern Polytechnical University（西北工业大学）；Australian National University（澳大利亚国立大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）
由于摄像机和动态对象之间的大的相对运动以及大的深度变化，用于户外场景的视频经常显示令人不快的模糊效果。现有的作品通常专注于单眼视频去模糊。在本文中，我们提出了一种新的方法去模糊立体视频。特别是，我们利用分段平面假设的场景和利用场景流信息去模糊的图像。与使用预先计算的场景流的现有方法[31]不同，我们提出了一个单一的框架来联合估计场景流和去模糊图像，其中来自场景流估计和模糊信息的运动线索可以相互加强，并产生比传统场景流估计或立体去模糊方法更好的结果。我们在两个可用的数据集上对我们的方法进行了广泛的评估，并在流量估计和消除模糊效应方面取得了显着的改进。
2017-04-11 cs.CV
SceneGraphVLM: Dynamic Scene Graph Generation from Video with Vision-Language Models
MIRAI
SceneGraphVLM通过紧凑的视觉语言模型生成视频场景图，采用TOON格式提升效率，结合监督微调与强化学习实现高精度与速度的平衡，适用于PSG、PVSG和Action Genome数据集。
2026-05-13 cs.CV
4Real: Towards Photorealistic 4D Scene Generation via Video Diffusion Models
Snap Inc.（斯纳普公司）；Carnegie Mellon University（卡内基梅隆大学）
本文提出4Real流程，摒弃多视图3D生成模型，直接利用真实世界视频生成模型，通过规范3D表示、逐帧变形和时间变形学习，实现逼真且多视角可看的文本到4D场景生成。
2024-11-20 cs.CV
Hierarchical Semantic Contrast for Scene-aware Video Anomaly Detection
Zhejiang University（浙江大学）
增强场景感知是视频异常检测（VAD）的一个关键挑战。在这项工作中，我们提出了一个层次语义对比（HSC）的方法来学习场景感知VAD模型从正常的视频。我们首先通过利用预先训练的视频解析模型将前景对象和背景场景特征与高级语义结合起来。然后，基于自动编码器的重建框架的基础上，我们引入场景级和对象级的对比学习，以强制编码的潜在特征在相同的语义类内是紧凑的，同时在不同的类之间是可分离的。这种层次语义对比策略有助于处理正常模式的多样性，也提高了它们的辨别能力。此外，为了处理罕见的正常活动，我们设计了一个基于运动增强的模型，以增加样本，并进一步完善模型。在三个公共数据集和场景相关的混合数据集上的实验验证了该方法的有效性。
2023-03-23 cs.CV
Probabilistic Representations for Video Contrastive Learning
Yonsei University（延世大学）；NAVER AI Lab（NAVER人工智能实验室）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）
本文提出了概率视频对比学习，一种自监督的表示学习方法，桥梁对比学习与概率表示。我们假设组成视频的片段在短时间内具有不同的分布，但可以通过在一个共同的嵌入空间中组合来表示复杂和复杂的视频分布。因此，该方法将视频片段表示为正态分布，并将它们组合成高斯混合模型来模拟整个视频分布。通过从整个视频分布中采样嵌入，我们可以绕过仔细的采样策略或变换来生成剪辑的增强视图，这与以前的确定性方法不同，这些方法主要集中在对比学习的样本生成策略上。我们进一步提出了一个随机对比度损失来学习适当的视频分布，并处理来自原始视频性质的固有不确定性。实验结果验证了我们的概率嵌入站作为一个国家的最先进的视频表示学习的动作识别和视频检索的最流行的基准，包括UCF 101和HMDB 51。
2022-04-08 cs.CV
Online Learning of a Probabilistic and Adaptive Scene Representation
Peking University（北京大学）；PKU-SenseTime Machine Vision Joint Lab（北京大学-商汤科技机器视觉联合实验室）
实时构建和维护一致的场景模型是在线空间感知、解释和行动的核心任务。在本文中，我们表示的场景与贝叶斯非参数混合模型，无缝地描述每个点的占用状态与连续的概率密度函数。而不是按照传统的数据融合范例，我们解决的问题，在线学习的过程中如何从场景几何生成连续的点云数据。一个增量和并行推理进行实时更新的参数空间。我们的实验表明，所提出的表示达到国家的最先进的精度与有前途的效率。一致的概率公式确保生成模型，是适应不同的传感器特性，模型的复杂性可以动态调整的飞行根据不同的数据规模。
2021-03-31 cs.CV
(2.5+1)D Spatio-Temporal Scene Graphs for Video Question Answering
Mitsubishi Electric Research Labs (MERL)（三菱电机研究实验室）
基于视频的推理任务，如视频问答（QA）的时空场景图方法，通常为每个视频帧构建这样的图。这些方法通常忽略了以下事实：视频本质上是在3D空间中发生的事件的2D“视图”的序列，并且3D场景的语义因此可以从帧到帧进行。利用这一洞察力，我们提出了一个（2.5+1）D场景图表示，以更好地捕捉视频内部的时空信息流。具体来说，我们首先创建一个2.5D通过使用现成的2D到3D变换模块将每个2D帧变换为具有推断的3D结构来生成（伪3D）场景图，之后，我们将视频帧注册到共享的（2.5+1）D时空空间，并将其内的每个2D场景图接地。（2.5+1）维图根据其内部对象是否经常在世界中移动而被划分为静态子图和动态子图。动态图中的节点被丰富有捕捉它们与其他图节点的交互的运动特征。接下来，对于视频QA任务，我们提出了一种新的基于transformer的推理流水线，该流水线将（2.5+1）D图嵌入到时空分层潜在空间中，其中子图及其交互以不同的粒度捕获。为了证明我们的方法的有效性，我们在NExT-QA和AVSD-QA数据集上进行了实验。我们的研究结果表明，我们提出的（2.5+1）D表示导致更快的训练和推理，而我们的分层模型在视频QA任务上表现出优于现有技术的性能。
2022-03-26 cs.AI cs.CV cs.LG
Generating 360° Video is What You Need For a 3D Scene
Yale University（耶鲁大学）；Adobe Research（Adobe研究）；Oregon State University（俄勒冈州立大学）
本文提出WorldPrompter，利用360°视频作为中间表示，从文本生成可遍历的3D场景，通过全景视频生成和快速重建实现高质量导航，优于现有方法。
2025-09-25 cs.CV cs.GR
Generalized Video Deblurring for Dynamic Scenes
Seoul National University（首尔大学）
几种最先进的视频去模糊方法都是基于一个很强的假设，即捕获的场景是静态的。这些方法无法消除动态场景中的模糊视频。与其他方法不同，我们提出了一种视频去模糊方法来处理动态场景中固有的一般模糊。为了处理由各种来源（例如相机抖动、移动物体和场景中的深度变化）引起的局部变化和一般模糊，我们用双向光流近似逐像素内核。因此，我们提出了一个单一的能量模型，同时估计光流和潜在的帧来解决我们的去模糊问题。我们还提供了一个框架和高效的求解器来优化能量模型。通过最小化建议的能量函数，我们实现了显着的改善，在消除模糊和估计准确的光流在模糊帧。大量的实验结果表明，该方法的优越性，在真实的和具有挑战性的视频，国家的最先进的方法失败，无论是去模糊或光流估计。
2015-07-09 cs.CV
Web Stereo Video Supervision for Depth Prediction from Dynamic Scenes
Carnegie Mellon University（卡内基梅隆大学）；Adobe Inc.（奥多比公司）
我们提出了一个完全数据驱动的方法来计算深度从不同的单目视频序列，包含大量的非刚性对象，例如，人为了学习非刚性场景的重建线索，我们引入了一个新的数据集，包括立体视频刮在野外。该数据集具有各种场景类型，并具有大量非刚性对象，特别是人。由此，我们计算视差图以用作训练我们的方法的监督。我们提出了一个损失函数，使我们能够生成一个深度预测，即使未知的相机内在和立体基线的数据集。我们验证了大量的互联网视频的使用，通过评估我们的方法对现有的视频数据集与深度监督，包括SINTEL和KITTI，并表明我们的方法更好地推广到自然场景。
2019-04-25 cs.CV
ICDAR 2021 Competition on Scene Video Text Spotting
Zhejiang University（浙江大学）；Hikvision Research Institute（海康威视研究院）；Fudan University（复旦大学）
场景视频文本识别（SVTS）是一个非常重要的研究课题，因为它有很多实际的应用。然而，只有一个小的努力，把现场视频文本发现，相比之下，大量的研究，现场文本发现在静态图像。由于各种环境干扰，如运动模糊，定位场景视频文本变得非常具有挑战性。为了促进这一研究领域的发展，本次比赛引入了一个新的挑战数据集，其中包含来自21个自然场景的129个视频片段，并进行了完整的注释。比赛包括三个任务，即视频文本检测（任务1），视频文本跟踪（任务2）和端到端视频文本发现（任务3）。于比赛期间（于2021年3月1日开幕至2021年4月11日截止），共有24支队伍参与三项建议任务，分别提交46份有效作品。本文包括ICDAR 2021 SVTS竞赛的数据集描述、任务定义、评估方案和结果总结。由于参赛队伍及参赛作品数目可观，我们认为SVTS比赛已成功举办，吸引了社会各界的关注，并促进了实地研究及其发展。
2021-07-26 cs.CV
SceneRAG: Scene-level Retrieval-Augmented Generation for Video Understanding
Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室）；College of Computer Science and Software Engineering（计算机科学与软件工程学院）
针对长视频理解中固定长度分割破坏上下文连续性的问题，本文提出 SceneRAG 框架，结合 ASR、时间元数据、启发式修正与场景级动态知识图谱实现多跳检索增强生成，并在 LongerVideos 上取得显著优势。
2025-06-09 cs.AI cs.CV
