SimEndoGS: Efficient Data-driven Scene Simulation using Robotic Surgery Videos via Physics-embedded 3D Gaussians
The Chinese University of Hong Kong(香港中文大学)
本文提出SimEndoGS,从立体内窥镜视频学习带深度监督和各向异性正则化的3D Gaussian,并结合MPM实现接近实时、视觉与物理合理的手术场景重建与软体仿真。
2024-08-06 cs.CV cs.GR cs.RO
Generating Videos with Scene Dynamics
MIT(麻省理工学院);UMBC(马里兰大学巴尔的摩县分校)
我们利用大量未标记的视频来学习视频识别任务(例如动作分类)和视频生成任务(例如未来预测)的场景动态模型。我们提出了一个用于视频的生成对抗网络,它具有时空卷积架构,可以将场景的前景与背景分开。实验表明,该模型可以产生微小的视频高达一秒的全帧速率比简单的基线,我们展示了它的效用在预测静态图像的合理未来。此外,实验和可视化显示,该模型内部学习有用的功能,以识别动作与最小的监督,这表明场景动态是一个有前途的信号表示学习。我们相信生成视频模型可以影响视频理解和模拟中的许多应用。
2016-10-26 cs.CV cs.GR cs.LG
SSGVS: Semantic Scene Graph-to-Video Synthesis
Leibniz University Hannover(汉诺威莱布尼茨大学);University of Bonn(波恩大学);University of Twente(特文特大学)
视频合成作为图像合成任务的自然延伸,近年来引起了人们的广泛兴趣。许多图像合成作品利用类别标签或文本作为指导。然而,标签和文本都不能提供明确的时间指导,例如动作何时开始或结束。为了克服这一限制,我们引入语义视频场景图作为视频合成的输入,因为它们表示场景中对象之间的空间和时间关系。由于视频场景图通常是时间离散的注释,我们提出了一个视频场景图(VSG)编码器,不仅编码现有的视频场景图,但也预测的图形表示为未标记的帧。VSG编码器是用不同的对比多模态损失进行预训练的。提出了一种基于预训练的VSG编码器、VQ-VAE和自回归Transformer的语义场景图到视频合成框架(SSGVS),用于在给定初始场景图像和不固定数目的语义场景图的情况下合成视频。我们评估SSGVS和其他国家的最先进的视频合成模型上的动作基因组数据集,并证明视频场景图在视频合成的积极意义。源代码将被释放。
2022-11-17 cs.CV
Tracking Based Semi-Automatic Annotation for Scene Text Videos
Shanghai University(上海大学);Shanghai Institute for Advanced Communication and Data Science(上海先进通信与数据科学研究院)
近年来,视频场景文本检测因其广泛的应用而受到越来越多的关注。然而,缺乏带注释的场景文本视频数据集已成为阻碍视频场景文本检测发展的重要问题之一。现有的场景文本视频数据集由于人工标注成本昂贵,规模不大。此外,这些数据集中的文本实例太清楚了,不构成挑战。针对上述问题,本文提出了一种基于跟踪的场景文本视频半自动标注策略。通过对第一帧进行人工标注,对后续帧进行自动跟踪,实现了半自动的场景文本标注,避免了人工标注的巨大开销。此外,提出了一个成对的低质量场景文本视频数据集,名为Text-RBL,由原始视频,模糊视频,低分辨率视频,所提出的方便的半自动标记策略标记。通过对原始视频的平均操作和双三次下采样操作,我们可以有效地获得与原始视频配对的模糊视频和低分辨率视频。为了验证Text-RBL的有效性,我们提出了一个基线模型结合文本检测器和跟踪器的视频场景文本检测。此外,故障检测方案的设计,以减轻基线模型的漂移问题所造成的复杂场景。大量的实验表明,Text-RBL与配对的低质量视频标记的半自动方法可以显着提高低质量场景中的文本检测器的性能。
2021-03-29 cs.CV
VideoDirectorGPT: Consistent Multi-scene Video Generation via LLM-Guided Planning
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
针对现有文本生成视频方法多聚焦单场景短视频、难以实现长视频时间一致性的问题,提出VideoDirectorGPT框架,用GPT-4生成视频规划,结合Layout2Vid生成器实现多场景一致视频生成,性能媲美单场景SOTA。
2024-07-12 cs.AI cs.CL cs.CV
TALC: Time-Aligned Captions for Multi-Scene Text-to-Video Generation
University of California Los Angeles(加州大学洛杉矶分校);Google Research(谷歌研究院)
本文提出TALC框架,通过时间对齐字幕增强文本条件机制,使预训练T2V模型能生成多场景视频,微调后总体得分相对提升29%。
2024-11-08 cs.AI cs.CV cs.LG
MOSO: Decomposing MOtion, Scene and Object for Video Prediction
Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)(中国科学院大学人工智能学院)
运动、场景和对象是视频的三个主要视觉组成部分。具体而言,对象表示前景,场景表示背景,并且运动跟踪它们的动态。基于这一认识,我们提出了一个两阶段的运动,场景和对象分解框架(MOSO)的视频预测,包括MOSO-VQVAE和MOSO-Transformer。在第一阶段中,MOSO-VQVAE将先前的视频片段分解为运动、场景和对象分量,并将它们表示为不同的离散令牌组。然后,在第二阶段,MOSO-Transformer基于先前的令牌预测后续视频剪辑的对象和场景令牌,并在令牌级别将动态运动添加到生成的对象和场景令牌。我们的框架可以很容易地扩展到无条件的视频生成和视频帧插值任务。实验结果表明,我们的方法在视频预测和无条件视频生成的五个具有挑战性的基准测试中实现了新的最先进性能:BAIR、RoboNet、KTH、KITTI和UCF 101。此外,MOSO可以通过组合来自不同视频的对象和场景来制作逼真的视频。
2023-03-16 cs.CV
Contrastive Sequential-Diffusion Learning: Non-linear and Multi-Scene Instructional Video Synthesis
NOVA LINCS;NOVA School of Science and Technology(NOVA科技学院);Google Research(谷歌研究院)
针对多场景教学视频合成中非线性时序下的视觉一致性难题,提出对比序列视频扩散方法,通过选择适配的历史场景引导去噪,实验验证其在真实动作数据上的实用性与一致性提升。
2024-12-06 cs.CV
Seeing the Scene Matters: Revealing Forgetting in Video Understanding Models with a Scene-Aware Long-Video Benchmark
CUHK (SZ)(香港中文大学(深圳));University of Cambridge(剑桥大学);UESTC(电子科技大学);CUHK(香港中文大学);Shanghai Jiao Tong University(上海交通大学)
本文提出SceneBench基准,揭示视频理解模型在长场景上下文中的遗忘问题,并提出Scene-RAG方法提升性能2.50%。
2026-06-23 cs.CV
Multi-Modal Domain Adaptation Across Video Scenes for Temporal Video Grounding
Zhejiang University(浙江大学)
针对跨场景时间视频定位,提出对抗性多模态域自适应方法,利用域判别器、语义对齐和掩码重建提升新场景性能,在多个基准上验证有效。
2023-12-21 cs.CV
Feasibility of Neural Radiance Fields for Crime Scene Video Reconstruction
School of IT Monash University Malaysia(马来西亚莫纳什大学信息技术学院)
该研究围绕基于视频的犯罪现场重建需求,聚焦NeRF的多目标合成、可变形合成、光照三大创新方向,分析神经辐射场模型变体用于该场景的可行性。
2024-07-11 cs.CV
SCANet: Scene Complexity Aware Network for Weakly-Supervised Video Moment Retrieval
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
针对弱监督视频时刻检索中现有提案未考虑视频场景数量变化的问题,提出SCANet,通过测量视频场景复杂度生成自适应提案,在三个基准上取得最先进性能。
2025-04-14 cs.CV
Video Ads Content Structuring by Combining Scene Confidence Prediction and Tagging
CyberAgent, Inc.(CyberAgent公司)
由于两个主要原因,视频广告分割和标记是一项具有挑战性的任务:(1)视频场景结构复杂,以及(2)它包括多个模态(例如,视觉、音频、文本)。虽然以前的工作主要集中在活动视频(例如“烹饪”,“体育”),但尚不清楚如何利用它们来解决视频广告内容结构化的任务。在本文中,我们提出了一个两阶段的方法,首先提供的场景的边界,然后结合每个分割的场景和预测的标签类的置信度得分的场景。我们提供了广泛的实验结果的网络架构和模式用于所提出的方法。我们的组合方法在具有挑战性的“腾讯广告视频”数据集上改进了先前的基线。
2021-08-20 cs.CV
VideoStudio: Generating Consistent-Content and Multi-Scene Videos
HiDream.ai Inc.(HiDream.ai公司)
针对现有视频生成模型难以生成多场景且内容一致视频的问题,提出VideoStudio框架,借助LLM生成多场景脚本并生成实体参考图,结合扩散模型生成视频,效果优于现有SOTA模型。
2024-09-16 cs.CL cs.CV
Scene Splatter: Momentum 3D Scene Generation from Single Image with Video Diffusion Model
Tsinghua University(清华大学);WeChat Vision, Tecent Inc.(腾讯微信视觉)
提出Scene Splatter,一种基于动量的视频扩散范式,通过级联潜在级和像素级动量从单张图像迭代生成高保真且一致的3D场景,克服了视频长度限制和场景不一致问题。
2025-04-03 cs.AI cs.CV
HyperGLM: HyperGraph for Video Scene Graph Generation and Anticipation
University of Arkansas(阿肯色大学);Ohio State University(俄亥俄州立大学)
针对视频场景理解中多目标交互复杂的问题,本文提出HyperGLM,将实体场景图与程序图统一为超图并注入多模态大语言模型,结合新数据集VSGR,在五项任务上超越现有方法。
2025-03-31 cs.CV
SGTA: Scene-Graph Based Multi-Modal Traffic Agent for Video Understanding
Technical University of Munich(慕尼黑工业大学)
SGTA结合结构化场景图与多模态推理,通过检测、跟踪和车道提取构建交通场景图,并利用ReAct处理大语言模型的推理轨迹,实现复杂视频问题的可解释决策。
2026-04-04 cs.CV
DyST: Towards Dynamic Neural Scene Representations on Real-World Videos
MPI for Intelligent Systems(智能系统MPI);Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
DyST模型从单目真实世界视频中学习3D结构和动态的潜在分解,通过协同训练实现相机与场景内容的独立控制视图生成。
2024-03-15 cs.AI cs.CV cs.GR
Enhancing Scene Transition Awareness in Video Generation via Post-Training
Stevens Institute of Technology(史蒂文斯理工学院)
本文提出TAV数据集,通过后训练提升视频生成中场景转换的理解能力,改善多场景生成效果并保持图像质量。
2026-07-31 cs.AI cs.CV
Leveraging Local Temporal Information for Multimodal Scene Classification
Samsung Research America(三星美国研究院)
鲁棒的视频场景分类模型应该有效地捕获视频的空间(逐像素)和时间(逐帧)特征。具有自注意力的Transformer模型被设计为在给定令牌序列的情况下获得各个令牌的上下文表示,在许多计算机视觉任务中变得越来越流行。然而,将基于Transformer的模型用于视频理解仍然相对未被探索。此外,这些模型未能利用相邻视频帧之间的强时间关系来获得有效的帧级表示。在本文中,我们提出了一种新的自我注意力块,利用本地和全球的视频帧之间的时间关系,以获得更好的上下文表示的个别帧。这使得模型能够以各种粒度理解视频。我们展示了我们的模型在大规模YoutTube-8 M数据集上的视频分类任务的性能,并进一步分析结果以展示改进。
2021-10-26 cs.CV cs.LG
Learning to Generate Novel Scene Compositions from Single Images and Videos
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Bonn(波恩大学)
在低数据条件下训练GANs仍然是一个挑战,因为过度拟合通常会导致记忆或训练分歧。在这项工作中,我们引入了One-Shot GAN,它可以学习从一个训练集生成样本,小到一个图像或一个视频。我们提出了一个两个分支,内容和布局分支的设计,以判断内部内容分别从场景布局的现实主义。这允许合成具有不同内容和布局的视觉上合理的、新颖的场景组成,同时保留原始样本的上下文。与以前的单图像GAN模型相比,One-Shot GAN实现了更高的多样性和合成质量。它也不限于单一图像设置,在单一视频的介绍设置中成功学习。
2021-05-12 cs.CV cs.LG
Scene Consistency Representation Learning for Video Scene Segmentation
Shenzhen University(深圳大学);Tencent YouTu Lab(腾讯优图实验室);Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳市人工智能与机器人研究院);KAUST(阿卜杜拉国王科技大学)
一个长时间的视频,如电影或电视节目,是由各种场景组成的,每个场景代表一系列共享相同语义故事的镜头。从长期视频中发现正确的场景边界是一项具有挑战性的任务,因为模型必须了解视频的故事情节,才能确定场景的开始和结束位置。为此,我们提出了一个有效的自监督学习(SSL)框架,学习更好的镜头表示从未标记的长期视频。更具体地说,我们提出了一个SSL方案,以实现场景的一致性,同时探索相当大的数据增强和洗牌方法,以提高模型的泛化能力。我们引入了一个具有较少归纳偏差的香草时间模型来验证镜头特征的质量,而不是像以前的方法那样显式地学习场景边界特征。我们的方法实现了国家的最先进的性能上的视频场景分割的任务。此外,我们建议一个更公平合理的基准来评估视频场景分割方法的性能。代码可用。
2022-05-11 cs.AI cs.CV
LaVR: Scene Latent Conditioned Generative Video Trajectory Re-Rendering using Large 4D Reconstruction Models
Meta;University of Maryland(马里兰大学);University of Oxford(牛津大学);UC Davis(加州大学戴维斯分校)
本文提出LaVR模型,通过利用大规模4D重建模型的潜在空间中的隐式几何知识,解决视频重绘中几何未条件化模型的空间感知不足和几何条件化模型对深度不准确的依赖问题,实现状态-of-the-art结果。
2026-04-02 cs.CV cs.LG
Sampling Based Scene-Space Video Processing
Disney Research Zurich(苏黎世迪士尼研究院);TU Braunschweig(布伦瑞克工业大学)
如果已知每像素深度信息和3D相机校准,则可以实现许多引人注目的视频处理效果。然而,这种方法的成功在很大程度上取决于这种“场景空间”信息的准确性。我们提出了一种新的,基于采样的框架,用于处理视频,使高质量的场景空间视频效果的存在不可避免的错误,在深度和相机姿态估计。我们的方法的关键思想不是试图改善显式的3D场景表示,而是利用由于大多数场景点在许多视频帧中多次可见而产生的近似场景信息的高冗余度。基于这一观察,我们提出了一种新的像素收集和过滤方法。收集步骤是通用的,并且收集场景空间中的像素样本,而过滤步骤是特定于应用的,并且从收集的样本集中计算期望的输出视频。我们的方法是很容易并行化,并已在GPU上实现,使我们能够充分利用大量的视频数据,并促进实际的运行时间在高清视频使用标准的台式计算机。我们的通用场景空间公式能够全面描述大量的视频处理应用,如去噪,去模糊,超分辨率,对象去除,计算快门功能,和其他场景空间相机效果。我们目前的结果为各种随便捕捉,手持,移动,压缩,单眼视频描绘了在不受控制的环境中记录的具有挑战性的场景。
2021-02-05 cs.CV cs.GR
Scene Summarization: Clustering Scene Videos into Spatially Diverse Frames
New York University(纽约大学)
SceneSum通过自监督方法将场景视频聚类为空间多样化的关键帧,提升空间推理能力,优于现有视频摘要方法。
2025-11-23 cs.CV
Turning an Urban Scene Video into a Cinemagraph
Washington University(华盛顿大学);Tsinghua University(清华大学)
本文提出了一种算法,把一个规则的视频捕捉城市场景变成一个高质量的无尽的动画,被称为电影。电影摄影的创建通常需要在精心配置的场景中使用静态摄影机。对于具有移动摄像机和对象的常规视频,该任务变得具有挑战性。我们的方法首先将输入视频扭曲到参考相机的视点。基于扭曲的视频,我们提出了有效的时间分析算法来检测静态几何和动态外观,几何建模是可靠的,视觉上有吸引力的动画可以创建的区域。最后,该算法应用一系列视频处理技术来产生Cinemagnetic电影。我们已经测试了所提出的方法在许多具有挑战性的真实场景。据我们所知,这项工作是第一个自动生成电影院动画从普通电影在野外。
2016-12-05 cs.CV
CineScene: Implicit 3D as Effective Scene Representation for Cinematic Video Generation
The University of Hong Kong(香港大学);Kling Team, Kuaishou Technology(快手技术 Kling 团队);Tsinghua University(清华大学);Zhejiang University(浙江大学);Microsoft Research Project Page(微软研究院项目页面)
CineScene通过隐式3D场景表示实现电影视频生成,能生成动态主体且保持场景一致的高质量视频。
2026-02-06 cs.CV
Simultaneous Stereo Video Deblurring and Scene Flow Estimation
Northwestern Polytechnical University(西北工业大学);Australian National University(澳大利亚国立大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织Data61)
由于摄像机和动态对象之间的大的相对运动以及大的深度变化,用于户外场景的视频经常显示令人不快的模糊效果。现有的作品通常专注于单眼视频去模糊。在本文中,我们提出了一种新的方法去模糊立体视频。特别是,我们利用分段平面假设的场景和利用场景流信息去模糊的图像。与使用预先计算的场景流的现有方法[31]不同,我们提出了一个单一的框架来联合估计场景流和去模糊图像,其中来自场景流估计和模糊信息的运动线索可以相互加强,并产生比传统场景流估计或立体去模糊方法更好的结果。我们在两个可用的数据集上对我们的方法进行了广泛的评估,并在流量估计和消除模糊效应方面取得了显着的改进。
2017-04-11 cs.CV
SceneGraphVLM: Dynamic Scene Graph Generation from Video with Vision-Language Models
MIRAI
SceneGraphVLM通过紧凑的视觉语言模型生成视频场景图,采用TOON格式提升效率,结合监督微调与强化学习实现高精度与速度的平衡,适用于PSG、PVSG和Action Genome数据集。
2026-05-13 cs.CV
4Real: Towards Photorealistic 4D Scene Generation via Video Diffusion Models
Snap Inc.(斯纳普公司);Carnegie Mellon University(卡内基梅隆大学)
本文提出4Real流程,摒弃多视图3D生成模型,直接利用真实世界视频生成模型,通过规范3D表示、逐帧变形和时间变形学习,实现逼真且多视角可看的文本到4D场景生成。
2024-11-20 cs.CV
Hierarchical Semantic Contrast for Scene-aware Video Anomaly Detection
Zhejiang University(浙江大学)
增强场景感知是视频异常检测(VAD)的一个关键挑战。在这项工作中,我们提出了一个层次语义对比(HSC)的方法来学习场景感知VAD模型从正常的视频。我们首先通过利用预先训练的视频解析模型将前景对象和背景场景特征与高级语义结合起来。然后,基于自动编码器的重建框架的基础上,我们引入场景级和对象级的对比学习,以强制编码的潜在特征在相同的语义类内是紧凑的,同时在不同的类之间是可分离的。这种层次语义对比策略有助于处理正常模式的多样性,也提高了它们的辨别能力。此外,为了处理罕见的正常活动,我们设计了一个基于运动增强的模型,以增加样本,并进一步完善模型。在三个公共数据集和场景相关的混合数据集上的实验验证了该方法的有效性。
2023-03-23 cs.CV
Memory Based Video Scene Parsing
University of Science and Technology of China(中国科学技术大学);ByteDance(字节跳动)
视频场景解析是计算机视觉中一项长期存在的具有挑战性的任务,旨在为给定视频中所有帧的像素分配预定义的语义标签。与图像语义分割相比,本课题更注重研究如何利用图像的时间信息来获得更高的预测精度。在这份报告中,我们介绍了我们的解决方案在野外挑战赛中获得第一名的视频场景解析,该解决方案的mIoU为57.44,获得了第二名(我们的团队名称为CharlesBLWX)。
2021-09-01 cs.CV
(2.5+1)D Spatio-Temporal Scene Graphs for Video Question Answering
Mitsubishi Electric Research Labs (MERL)(三菱电机研究实验室)
基于视频的推理任务,如视频问答(QA)的时空场景图方法,通常为每个视频帧构建这样的图。这些方法通常忽略了以下事实:视频本质上是在3D空间中发生的事件的2D“视图”的序列,并且3D场景的语义因此可以从帧到帧进行。利用这一洞察力,我们提出了一个(2.5+1)D场景图表示,以更好地捕捉视频内部的时空信息流。具体来说,我们首先创建一个2.5D通过使用现成的2D到3D变换模块将每个2D帧变换为具有推断的3D结构来生成(伪3D)场景图,之后,我们将视频帧注册到共享的(2.5+1)D时空空间,并将其内的每个2D场景图接地。(2.5+1)维图根据其内部对象是否经常在世界中移动而被划分为静态子图和动态子图。动态图中的节点被丰富有捕捉它们与其他图节点的交互的运动特征。接下来,对于视频QA任务,我们提出了一种新的基于transformer的推理流水线,该流水线将(2.5+1)D图嵌入到时空分层潜在空间中,其中子图及其交互以不同的粒度捕获。为了证明我们的方法的有效性,我们在NExT-QA和AVSD-QA数据集上进行了实验。我们的研究结果表明,我们提出的(2.5+1)D表示导致更快的训练和推理,而我们的分层模型在视频QA任务上表现出优于现有技术的性能。
2022-03-26 cs.AI cs.CV cs.LG
Generating 360° Video is What You Need For a 3D Scene
Yale University(耶鲁大学);Adobe Research(Adobe研究);Oregon State University(俄勒冈州立大学)
本文提出WorldPrompter,利用360°视频作为中间表示,从文本生成可遍历的3D场景,通过全景视频生成和快速重建实现高质量导航,优于现有方法。
2025-09-25 cs.CV cs.GR
Generalized Video Deblurring for Dynamic Scenes
Seoul National University(首尔大学)
几种最先进的视频去模糊方法都是基于一个很强的假设,即捕获的场景是静态的。这些方法无法消除动态场景中的模糊视频。与其他方法不同,我们提出了一种视频去模糊方法来处理动态场景中固有的一般模糊。为了处理由各种来源(例如相机抖动、移动物体和场景中的深度变化)引起的局部变化和一般模糊,我们用双向光流近似逐像素内核。因此,我们提出了一个单一的能量模型,同时估计光流和潜在的帧来解决我们的去模糊问题。我们还提供了一个框架和高效的求解器来优化能量模型。通过最小化建议的能量函数,我们实现了显着的改善,在消除模糊和估计准确的光流在模糊帧。大量的实验结果表明,该方法的优越性,在真实的和具有挑战性的视频,国家的最先进的方法失败,无论是去模糊或光流估计。
2015-07-09 cs.CV
Web Stereo Video Supervision for Depth Prediction from Dynamic Scenes
Carnegie Mellon University(卡内基梅隆大学);Adobe Inc.(奥多比公司)
我们提出了一个完全数据驱动的方法来计算深度从不同的单目视频序列,包含大量的非刚性对象,例如,人为了学习非刚性场景的重建线索,我们引入了一个新的数据集,包括立体视频刮在野外。该数据集具有各种场景类型,并具有大量非刚性对象,特别是人。由此,我们计算视差图以用作训练我们的方法的监督。我们提出了一个损失函数,使我们能够生成一个深度预测,即使未知的相机内在和立体基线的数据集。我们验证了大量的互联网视频的使用,通过评估我们的方法对现有的视频数据集与深度监督,包括SINTEL和KITTI,并表明我们的方法更好地推广到自然场景。
2019-04-25 cs.CV
ICDAR 2021 Competition on Scene Video Text Spotting
Zhejiang University(浙江大学);Hikvision Research Institute(海康威视研究院);Fudan University(复旦大学)
场景视频文本识别(SVTS)是一个非常重要的研究课题,因为它有很多实际的应用。然而,只有一个小的努力,把现场视频文本发现,相比之下,大量的研究,现场文本发现在静态图像。由于各种环境干扰,如运动模糊,定位场景视频文本变得非常具有挑战性。为了促进这一研究领域的发展,本次比赛引入了一个新的挑战数据集,其中包含来自21个自然场景的129个视频片段,并进行了完整的注释。比赛包括三个任务,即视频文本检测(任务1),视频文本跟踪(任务2)和端到端视频文本发现(任务3)。于比赛期间(于2021年3月1日开幕至2021年4月11日截止),共有24支队伍参与三项建议任务,分别提交46份有效作品。本文包括ICDAR 2021 SVTS竞赛的数据集描述、任务定义、评估方案和结果总结。由于参赛队伍及参赛作品数目可观,我们认为SVTS比赛已成功举办,吸引了社会各界的关注,并促进了实地研究及其发展。
2021-07-26 cs.CV
SceneRAG: Scene-level Retrieval-Augmented Generation for Video Understanding
Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东人工智能与数字经济实验室);College of Computer Science and Software Engineering(计算机科学与软件工程学院)
针对长视频理解中固定长度分割破坏上下文连续性的问题,本文提出 SceneRAG 框架,结合 ASR、时间元数据、启发式修正与场景级动态知识图谱实现多跳检索增强生成,并在 LongerVideos 上取得显著优势。
2025-06-09 cs.AI cs.CV
Scene Co-pilot: Procedural Text to Video Generation with Human in the Loop
University of Central Florida(中佛罗里达大学);University of Kashan(卡尚大学)
针对视频生成存在的时间不一致等伪影问题,提出结合LLMs与过程式3D生成器的Scene Copilot框架,通过多组件协作及定制数据集提升场景与视频生成能力,实验验证其有效性。
2024-11-26 cs.CV
Towards Unsupervised Familiar Scene Recognition in Egocentric Videos
University of Groningen(格罗宁根大学);University of Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心)
如今,人们对使用生活记录设备的兴趣高涨。这些设备会产生大量的图像数据;因此,对分析和汇总这些数据的自动方法的需求急剧增加。我们提出了一种新的方法,熟悉的场景识别自我中心的视频,通过自动配置COSFIRE过滤器的背景模式检测的基础上。我们提出了一些实验与叙事剪辑获得的自我中心的数据。
2019-05-10 cs.CV
Populate-A-Scene: Affordance-Aware Human Video Generation
GenAI at Meta(Meta 人工智能);University of Washington(华盛顿大学)
本文提出Populate-A-Scene方法,仅凭单张场景图像和动作提示即可生成符合场景可供性的人类交互视频,无需边界框或姿态标注,并通过交叉注意力热图揭示预训练视频模型的固有可供性感知能力。
2025-07-01 cs.CV
Supervised Raw Video Denoising with a Benchmark Dataset on Dynamic Scenes
Tianjin University(天津大学)
近年来,用于实际含噪图像去噪的监督学习策略不断涌现,并取得了可喜的成果。相比之下,由于缺乏动态场景的噪声-清洁对,很少研究原始噪声视频的真实噪声去除。动态场景的清晰视频帧不能像静态图像那样使用长曝光快门或平均多张照片来捕获。在本文中,我们解决了这个问题,通过创建运动的可控对象,如玩具,并捕捉每个静态时刻多次生成干净的视频帧。通过这种方式,我们构建了一个包含55组ISO值范围从1600到25600的噪声干净视频的数据集。据我们所知,这是第一个具有噪声-干净对的动态视频数据集。相应地,我们提出了一个原始视频去噪网络(RViDeNet),通过探索视频帧的时间,空间和通道相关性。由于原始视频具有拜耳模式,我们将其打包成四个子序列,即RGBG序列,分别由建议的RViDeNet去噪,最后融合成一个干净的视频。此外,我们的网络不仅输出原始去噪结果,还通过图像信号处理(ISP)模块输出sRGB结果,这使用户能够使用他们最喜欢的ISP生成sRGB结果。实验结果表明,我们的方法优于国家的最先进的视频和原始图像去噪算法在室内和室外视频。
2020-03-31 cs.CV cs.LG eess.IV
Flow-Guided Video Inpainting with Scene Templates
KAUST(阿卜杜拉国王科技大学)
我们考虑的问题,在缺失的时空区域的视频填充。我们提供了一种新的基于流的解决方案,通过引入生成模型的图像的场景(没有丢失的区域)和映射从场景到图像。我们使用该模型来联合推断场景模板、场景的2D表示和映射。这确保了生成到底层场景的帧到帧流的一致性,减少了基于流的修补中的几何失真。通过新的L2-L1插值方案将模板映射到视频中缺失的区域,从而创建清晰的图像修复并减少常见的模糊和失真伪影。我们在两个基准数据集上显示,我们的方法在定量和用户研究方面都优于最先进的方法。
2021-08-29 cs.AI cs.CV
A Survey of Single-Scene Video Anomaly Detection
North Carolina State University(北卡罗来纳州立大学);Mitsubishi Electric Research Labs (MERL)(三菱电机研究实验室)
本文综述了单场景视频源异常检测的研究动态。我们讨论了各种问题的配方,公开可用的数据集和评估标准。我们将过去的研究归类为一个直观的分类法,并在标准测试集上对许多算法的准确性进行了全面的比较。最后,我们还提供了最佳实践,并为未来的研究提出了一些可能的方向。
2020-08-14 cs.CV
Scene Separation & Data Selection: Temporal Segmentation Algorithm for Real-Time Video Stream Analysis
Southwest Jiaotong University(西南交通大学);University of Leeds(利兹大学)
本文提出用于实时视频流分析的时间分割算法2SDS,通过比较帧间图像差异检测场景变化并结合CNN模型为各场景选择最优结果,总体准确率超90%。
2023-08-01 cs.CV
A Deep Siamese Network for Scene Detection in Broadcast Videos
Università degli Studi di Modena e Reggio Emilia(摩德纳-雷焦艾米利亚大学)
我们提出了一个模型,通过学习镜头之间的距离测量自动将广播视频划分为连贯的场景。实验证明我们的方法的有效性,通过比较我们的算法对最近的建议自动场景分割。我们还提出了一个改进的性能指标,旨在减少数值评估和预期结果之间的差距,并提出和发布一个新的基准数据集。
2015-10-29 cs.CV cs.MM
Tether the Subject, Release the Scene: Query-Aware Memory Routing for Long-Horizon Autoregressive Video Generation
Huazhong University of Science and Technology(华中科技大学);MiLM Plus, Xiaomi Inc.(小米公司MiLM Plus)
针对流式自回归视频生成中记忆锚定的场景欠进展问题,提出无需训练的查询感知时空记忆路由器 TetherMem,分离主体与场景查询调节历史访问,在长视频生成的整体质量与场景进展指标上优于基线方法。
2026-08-28 cs.CV
DreamFactory: Pioneering Multi-Scene Long Video Generation with a Multi-Agent Framework
TsingHua University(清华大学);University of Luxembourg(卢森堡大学);Beijing Institute of Technology(北京理工大学)
针对长多场景视频生成难题,提出基于LLM的DreamFactory多智能体框架,结合关键帧迭代与COT确保一致性,并引入跨场景评估指标及含150+视频的数据集。
2024-08-21 cs.AI cs.CL cs.CV
Video Scene Parsing with Predictive Feature Learning
NUS(新加坡国立大学);Adobe Research(奥多比研究院);AI Institute(360人工智能研究院)
在这项工作中,我们解决了具有挑战性的视频场景解析问题,开发有效的表示学习方法有限的解析注释。特别是,我们贡献了两个新的方法,构成一个统一的解析框架。(1)\textbf{Predictive feature learning} }从几乎无限的未标记的视频数据。不同于现有的方法学习功能,从单帧解析,我们学习时空判别功能,通过执行一个解析网络来预测未来的帧和他们的解析图(如果可用)只给出历史帧。通过这种方式,网络可以有效地学习捕获视频动态和时间上下文,这是视频场景解析的关键线索,而不需要额外的手动注释。(2)\textbf{Prediction steering parsing} }体系结构,该体系结构有效地使学习到的时空特征适应场景解析任务,并为任何现成的解析模型提供强有力的指导,以实现更好的视频场景解析性能。在两个具有挑战性的数据集Cityscapes和Camvid上进行的广泛实验证明了我们方法的有效性,显示出对既定基线的显着改进。
2016-12-13 cs.CV
VideoScene: Distilling Video Diffusion Model to Generate 3D Scenes in One Step
Tsinghua University(清华大学)
本文提出VideoScene方法,通过3D感知的跳跃流蒸馏策略和动态去噪策略网络,将视频扩散模型蒸馏为一步生成3D场景的高效工具,解决了稀疏视角下3D场景重建中推理缓慢和缺乏3D约束的问题。
2025-04-03 cs.CV
VideoPhysEdit: Physical Counterfactual Video Editing via Rigid-Body Physical Scene Reconstruction
Institute of Trustworthy Embodied AI, Fudan University(复旦大学可信具身智能研究院)
针对视频编辑中物理后果未充分探索的问题,提出物理反事实视频编辑(PCVE)任务,并引入VideoPhysEdit免训练流水线,通过物理场景重建显式推理,结合新基准PCVE-RigidBench和物理编辑分数,在刚体场景中实现高物理编辑准确性。
2026-09-29 cs.CV
Forecasting Future Videos from Novel Views via Disentangled 3D Scene Representation
State University of New York at Buffalo(纽约州立大学布法罗分校)
针对VEST中纠缠表示导致的运动与渲染误差,本文通过3D点云解耦场景几何与运动,并分两阶段预测自运动及动态对象残差运动,在两个城市数据集上优于强基线。
2024-08-02 cs.CV
A Hajj And Umrah Location Classification System For Video Crowded Scenes
Center of Research Excellence in Hajj and Umrah, Umm Al-Qura University(乌姆·库拉大学朝觐与副朝研究卓越中心);College of Computers and Information Systems, Umm Al-Qura University(乌姆·库拉大学计算机与信息系统学院)
在本文中,一个新的自动系统,在不同的朝觐和副朝视频场景的仪式地点进行分类。这个具有挑战性的主题在过去由于几个问题而被忽视,其中之一是缺乏真实的注释视频数据集。HUER数据集被定义为模拟六个不同的朝觐和副朝仪式地点[26]。建议朝觐和副朝仪式地点分类系统包括四个主要阶段:预处理,分割,特征提取,和位置分类阶段。镜头边界检测和背景/前景分割算法被应用于准备输入视频场景到KNN,ANN和SVM分类器。该系统改进了朝觐和副朝位置分类的最新结果,并成功识别了六个朝觐仪式,准确率超过90%。各种演示实验显示了有希望的结果。
2012-09-15 cs.CV cs.CY cs.LG
Human-Scene Network: A Novel Baseline with Self-rectifying Loss for Weakly supervised Video Anomaly Detection
INRIA(法国国家信息与自动化研究所);Woven Planet Holdings;Toyota Motor Europe(丰田汽车欧洲公司)
在只有视频级标签(即弱监督)的监控系统中,视频异常检测是具有挑战性的。这是由于:(i)基于人类和场景的异常的复杂整合,包括真实世界场景中的微妙和尖锐的时空线索,(ii)在弱监督下正常和异常实例之间的非最优优化。在本文中,我们提出了一个人类场景网络学习歧视性的表示,通过捕捉微妙和强烈的线索,在解离的方式。此外,还提出了一种自校正损失,从视频级标签中动态计算伪时间注释,以有效地优化人-场景网络。在三个公开可用的数据集上验证了所提出的具有自校正损失优化的人类场景网络,即UCF-Crime,ShanghaiTech和IITB-Corridor,在所考虑的六个场景中的五个场景中,表现优于最近报道的最先进的方法。
2023-01-19 cs.CV