Illusion or Integrity? Geometrical Consistency Metric for AIGC Video Quality Evaluation
Hunan University(湖南大学)
针对现有AIGC视频质量评估缺乏物理定律保真度量化指标的问题,提出GeoCon-Bench基准,通过帧间几何一致性评估AIGC视频质量,经实验验证其可靠性。
2026-08-11 cs.AI cs.CV
CoAgent: Collaborative Planning and Consistency Agent for Coherent Video Generation
Sun Yat-sen University(中山大学)
CoAgent通过协作框架提升视频生成的连贯性与一致性,采用计划-合成-验证流程优化长视频的叙事质量与视觉一致性。
2025-12-27 cs.AI cs.CV
Lights, Camera, Consistency: A Multistage Pipeline for Character-Stable AI Video Stories
BITS Pilani, Pilani Campus, India(印度比斯汉尼学院帕利尼校区)
本文提出了一种多阶段管道,通过生成详细剧本并利用视觉锚点来提升AI生成视频故事中角色的一致性。
2025-12-17 cs.AI cs.CV
Video Consistency Distance: Enhancing Temporal Consistency for Image-to-Video Generation via Reward-Based Fine-Tuning
LY Corporation(LY公司)
本文提出视频一致性距离(VCD)度量,通过基于奖励的微调增强图像到视频生成的时间一致性,实验证明该方法在多个数据集上显著提升一致性且不损害其他性能。
2025-10-23 cs.CV
Leveraging the Video-level Semantic Consistency of Event for Audio-visual Event Localization
School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院)
提出视频级语义一致性引导网络,通过事件语义一致性建模模块和两种新损失,在全/弱监督下提升音视频事件定位性能。
2023-10-20 cs.AI cs.CV
A Survey: Spatiotemporal Consistency in Video Generation
School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)计算机科学与技术学院);School of Computer Science and Engineering, Central South University(中南大学计算机科学与工程学院);Peng Cheng Laboratory(鹏城实验室);School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
本文综述了视频生成中时空一致性的最新进展,涵盖生成模型、特征表示、训练策略等,探讨了未来研究方向和挑战。
2026-02-18 cs.AI cs.CV
LSA: Localized Semantic Alignment for Enhancing Temporal Consistency in Traffic Video Generation
Mercedes-Benz AG(梅赛德斯-奔驰集团);ETH Zurich(苏黎世联邦理工学院);Friedrich-Alexander University Erlangen-Nuremberg(埃朗根-纽伦堡弗里德里希-亚历山大大学)
LSA通过局部语义对齐提升交通视频生成的时间一致性,无需外部控制信号。
2026-02-05 cs.AI cs.CV
Video Flow as Time Series: Discovering Temporal Consistency and Variability for VideoQA
Hefei University of Technology, Hefei, China(合肥工业大学);University of Science and Technology of China, Hefei, China(中国科学技术大学)
本文提出时间三元Transformer(T3T)架构,通过时间平滑、时间差分和时间融合模块分别建模视频的时间一致性与可变性,在多个VideoQA基准上提升了问答准确率。
2025-04-08 cs.AI cs.CV
Blind Video Temporal Consistency via Deep Video Prior
The Hong Kong University of Science and Technology(香港科技大学)
将图像处理算法独立地应用于每一视频帧通常导致所得视频中的时间不一致性。为了解决这个问题,我们提出了一种新的和一般的方法盲视频时间一致性。我们的方法只直接在一对原始和处理过的视频上训练,而不是在一个大的数据集上训练。与以前大多数使用光流实现时间一致性的方法不同,我们表明可以通过使用深度视频先验在视频上训练卷积网络来实现时间一致性。此外,一个精心设计的迭代重新加权的训练策略,提出了解决具有挑战性的多模态不一致性问题。我们证明了我们的方法的有效性7计算机视觉任务的视频。大量的定量和感知实验表明,我们的方法获得优于国家的最先进的方法在盲视频时间一致性的性能。我们的源代码可在github.com/ChenyangLEI/deep-video-prior上公开获取。
2020-10-22 cs.CV
Koala-36M: A Large-scale Video Dataset Improving Consistency between Fine-grained Conditions and Video Content
Shenzhen University(深圳大学);Tsinghua University(清华大学);Kuaishou Technology(快手科技)
为解决现有视频数据集在时间分割、字幕和质量过滤上的局限,本文提出大规模高质量数据集 Koala-36M,通过线性分类器优化时间分割、提供200词结构化字幕并开发VTSS评分筛选高质量视频,有效提升了细粒度条件与视频内容的一致性。
2025-04-26 cs.AI cs.CV
GeoSAM-3D: Geodesic Prompt Propagation for Open-Vocabulary 3D Scene Segmentation from Monocular Video
University of Minnesota, Twin Cities(明尼苏达大学,双城分校)
提出GeoSAM-3D方法,利用冻结的视觉基础模型和单目3D高斯泼溅重建,通过可微分的图-测地线传播核在场景图上传播用户提示,实现从单目视频的开放词汇3D场景分割。
2026-05-30 cs.AI cs.CV
Scene Consistency Representation Learning for Video Scene Segmentation
Shenzhen University(深圳大学);Tencent YouTu Lab(腾讯优图实验室);Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳市人工智能与机器人研究院);KAUST(阿卜杜拉国王科技大学)
一个长时间的视频,如电影或电视节目,是由各种场景组成的,每个场景代表一系列共享相同语义故事的镜头。从长期视频中发现正确的场景边界是一项具有挑战性的任务,因为模型必须了解视频的故事情节,才能确定场景的开始和结束位置。为此,我们提出了一个有效的自监督学习(SSL)框架,学习更好的镜头表示从未标记的长期视频。更具体地说,我们提出了一个SSL方案,以实现场景的一致性,同时探索相当大的数据增强和洗牌方法,以提高模型的泛化能力。我们引入了一个具有较少归纳偏差的香草时间模型来验证镜头特征的质量,而不是像以前的方法那样显式地学习场景边界特征。我们的方法实现了国家的最先进的性能上的视频场景分割的任务。此外,我们建议一个更公平合理的基准来评估视频场景分割方法的性能。代码可用。
2022-05-11 cs.AI cs.CV
AVC-Reward: Event-Centric Audio-Video Consistency Evaluation
Zhejiang University(浙江大学);HiThink Research(HiThink 研究院);Fudan University(复旦大学);Lanzhou University(兰州大学)
针对现有音视频评估指标不适用于复杂场景的问题,提出以事件为中心的AVC-Reward框架,构建AVC-Benchmark基准,实现与人类判断的最优一致性,可提升联合音视频生成模型的一致性。
2026-11-13 cs.AI cs.CV
Consistency-Preserving Diverse Video Generation
University of California, Berkeley(加州大学伯克利分校)
提出一种联合采样框架,在保持时间一致性的同时提高文本到视频生成中批次内视频的多样性,通过轻量级潜在空间模型避免视频解码和反向传播。
2026-06-05 cs.CV
Visual Prompting for One-shot Controllable Video Editing without Inversion
Singapore University of Technology and Design(新加坡科技设计大学);Wuhan University(武汉大学);Institute for Infocomm Research, Agency for Science, Technology and Research, Singapore(新加坡资讯与通信研究院)
本文提出一种基于视觉提示的无需DDIM反演的一次性可控视频编辑方法,并引入内容一致性与时间一致性采样,确保编辑帧与源帧的内容及时间一致性。
2025-04-19 cs.AI cs.CV
Deep Video Color Propagation
ETH Zurich(苏黎世联邦理工学院);Disney Research(迪士尼研究院)
用于视频中的颜色传播的传统方法依赖于连续视频帧之间的某种形式的匹配。使用外观描述符,颜色,然后传播空间和时间。然而,这些方法在计算上是昂贵的,并且不利用场景的语义信息。在这项工作中,我们提出了一个用于颜色传播的深度学习框架,该框架结合了局部策略和全局策略,该局部策略用于逐帧传播颜色以确保时间稳定性,该全局策略使用语义在更长范围内进行颜色传播。我们的评估表明,我们的策略优于现有的视频和图像的颜色传播方法,以及神经照片逼真的风格转移方法。
2018-08-09 cs.CV
Zero-TIG: Temporal Consistency-Aware Zero-Shot Illumination-Guided Low-light Video Enhancement
Visual Information Laboratory, University of Bristol(布里斯托大学视觉信息实验室)
本文提出Zero-TIG方法,利用Retinex理论和光流技术,通过增强模块和时间反馈模块提升低光照视频质量,无需配对数据实现时间一致性。
2025-06-25 cs.AI cs.CV
Video Propagation Networks
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Bernstein Center for Computational Neuroscience(伯恩斯坦计算神经科学中心)
我们提出了一种通过视频数据向前传播信息的技术。该方法在概念上是简单的,并且可以应用于需要基于视频内容传播结构化信息(诸如语义标签)的任务。我们提出了一个“视频传播网络”,以自适应的方式处理视频帧。该模型是在线应用的:它向前传播信息,而不需要访问未来的帧。特别是,我们结合了两个组件,一个时间双边网络的密集和视频自适应过滤,其次是空间网络,以改善功能和增加的灵活性。我们目前的视频对象分割和语义视频分割的实验,并表现出更高的性能相比,以前最好的特定于任务的方法,同时具有良好的运行时间。此外,我们展示了我们的方法在灰度视频中的颜色传播的一个例子回归任务。
2017-04-11 cs.CV
FireMatch: A Semi-Supervised Video Fire Detection Network Based on Consistency and Distribution Alignment
Fujian University of Technology(福建理工大学);Minjiang University(闽江学院);Zhengzhou University(郑州大学)
针对视频火灾检测标注数据不足的问题,提出基于一致性正则化与对抗分布对齐的半监督模型FireMatch,结合伪标签、跨集增强与公平性损失提升性能,在两个真实数据集上准确率超越现有半监督方法。
2023-11-09 cs.AI cs.CV
Domain Adaptive Video Segmentation via Temporal Consistency Regularization
Nanyang Technological University(南洋理工大学)
视频语义分割是视频分析和理解的一项重要任务。最近的努力主要集中在通过从完全注释的数据中学习来进行有监督的视频分割,但是当应用于不同领域的视频时,学习的模型通常会经历明显的性能下降。本文介绍了DA-VSN,域自适应视频分割网络,解决域的差距,视频的时间一致性正则化(TCR)的连续帧的目标域视频。DA-VSN由两种新颖且互补的设计组成。第一种是跨域TCR,其通过对抗学习引导目标帧的预测具有与源帧(从注释的源数据学习)相似的时间一致性。第二种是域内TCR,其引导目标帧的不置信预测具有与目标帧的置信预测相似的时间一致性。大量的实验证明了我们提出的域自适应视频分割网络的优越性,它始终优于多个基线的大利润率。
2021-07-23 cs.CV
BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment
Nanyang Technological University(南洋理工大学)
递归结构是视频超分辨率任务的流行框架选择。最先进的方法BasicVSR采用具有特征对齐的双向传播来有效地利用来自整个输入视频的信息。在这项研究中,我们重新设计BasicVSR提出二阶网格传播和流动引导变形对齐。我们表明,通过增强传播和对齐的经常性框架,可以更有效地利用时空信息跨错位的视频帧。新的组件导致在类似的计算约束下的性能提高。特别是,我们的模型BasicVSR++在PSNR方面超过BasicVSR 0.82 dB,参数数量相似。除了视频超分辨率之外,BasicVSR++还可以很好地推广到其他视频恢复任务,如压缩视频增强。在NTIRE 2021中,BasicVSR++在视频超分辨率和压缩视频增强挑战赛中获得三名冠军和一名亚军。代码和型号将发布给MME编辑。
2021-04-27 cs.CV
UniCtrl: Improving the Spatiotemporal Consistency of Text-to-Video Diffusion Models via Training-Free Unified Attention Control
University of Michigan(密歇根大学);University of Virginia(弗吉尼亚大学)
UniCtrl是一种免训练的即插即用方法,通过跨帧自注意力控制、运动注入和时空同步,提升文本到视频扩散模型的时空一致性和运动多样性。
2024-11-10 cs.CV
JVID: Joint Video-Image Diffusion for Visual-Quality and Temporal-Consistency in Video Generation
Imperial College London(伦敦帝国学院);Friedrich-Alexander-Universität(弗里德里希-亚历山大大学);University of Birmingham(伯明翰大学)
JVID通过联合潜在图像扩散模型与潜在视频扩散模型,在反向扩散过程中兼顾视觉质量与时间一致性,从而提升视频生成效果。
2024-09-27 cs.CV
Consistent and Editable: A Balanced Framework for Text-Guided Video Editing
USTC(中国科学技术大学)
针对视频编辑中时间一致性和可编辑性难以平衡的问题,提出EquiEdit框架。通过时间Mamba模块增强时间一致性,设计基于频谱变换的噪声注入策略提升可编辑性,实验证明该方法有效。
2026-07-07 cs.CV
Perceptual Consistency in Video Segmentation
Qualcomm AI Research(高通AI研究院);Qualcomm Technologies, Inc.(高通技术公司);Nanjing University of Science and Technology(南京理工大学)
在本文中,我们提出了一种新的感知一致性的角度来看,视频语义分割,它可以捕获时间的一致性和像素明智的正确性。给定两个相邻的视频帧,感知一致性度量分割决策与通过匹配一般感知特征获得的像素对应性的一致程度。更具体地说,对于一帧中的每个像素,我们在另一帧中找到感知相关性最高的像素。我们的直觉是,这样一对像素极有可能属于同一类。接下来,我们评估分割与这种感知对应性的一致程度,基于此,我们得出这两个帧中分割图的感知一致性。利用感知一致性,我们可以通过测量视频中连续对分割图的感知一致性来评估视频分割的时间一致性。此外,给定稀疏标记的测试视频,可以利用感知一致性来帮助预测未标记帧上的分割的逐像素正确性。更具体地说,通过测量预测的分割和附近帧上可用的地面实况之间的感知一致性,并将其与分割置信度相结合,我们可以准确地评估每个像素的分类正确性。我们的实验表明,所提出的感知一致性可以更准确地评估视频分割的时间一致性相比,基于流的措施。此外,与单独使用分类置信度相比,它可以帮助更自信地预测未标记测试帧的分割精度。最后,我们提出的度量可以在分割模型的训练过程中用作正则化器,从而在保持准确性的同时实现时间上更一致的视频分割。
2021-10-24 cs.AI cs.CV cs.LG
Learning from Untrimmed Videos: Self-Supervised Video Representation Learning with Hierarchical Consistency
Huazhong University of Science and Technology(华中科技大学);National University of Singapore(新加坡国立大学);Alibaba Group(阿里巴巴集团)
自然视频为自监督学习提供了丰富的视觉内容。然而,大多数现有的方法学习时空表示依赖于手动修剪的视频,导致有限的多样性的视觉模式和有限的性能增益。在这项工作中,我们的目标是通过利用未经修剪的视频中更丰富的信息来学习表示。为此,我们建议学习视频中的视频的层次结构,即,视觉一致性和主题一致性,分别对应于当被短时间间隔分开时倾向于视觉上相似的剪辑对和当被长时间间隔分开时共享相似主题的剪辑对。具体而言,分层一致性学习框架HiCo,其中视觉上一致的对被鼓励具有相同的表示通过对比学习,而主题一致的对耦合通过主题分类器,区分它们是否是主题相关的。此外,我们提出了一个渐进的采样算法的层次一致性学习,并证明了其理论上的优越性。从经验上讲,我们表明,不仅HiCo可以生成更强的表示未修剪的视频,它也提高了表示质量时,应用到修剪的视频。这与标准的对比学习形成对比,标准的对比学习不能从未经修剪的视频中学习适当的表示。
2022-04-06 cs.CV
CCTVBench: Contrastive Consistency Traffic VideoQA Benchmark for Multimodal LLMs
Technical University of Munich(慕尼黑技术大学);University of California, Los Angeles(加州大学洛杉矶分校)
CCTVBench通过真实事故视频与世界模型生成的反事实场景配对,提出对比一致性评估方法,揭示视频问答中对比一致性与标准指标间的显著差距,并引入C-TCD方法提升问答与一致性性能。
2026-04-22 cs.CV
On the Consistency of Video Large Language Models in Temporal Comprehension
National University of Singapore(新加坡国立大学);Seoul National University(首尔大学)
本文研究 Video-LLM 时间定位的预测一致性问题,通过多类探测揭示现有模型一致性不足,并提出事件时间验证微调以同时提升定位性能与一致性。
2025-03-17 cs.CV
Detecting Temporally Consistent Objects in Videos through Object Class Label Propagation
用于检测移动或静态视频对象的对象提案需要解决诸如速度、存储器复杂性和时间一致性之类的问题。我们提出了一个有效的视频对象建议(VOP)生成方法,并显示其有效性,学习一个更好的视频对象检测器。使用所提出的VOP学习的基于深度学习的视频对象检测器在Youtube对象数据集上实现了最先进的检测性能。我们进一步提出了一个集群的VOPs,可以有效地用于检测对象的视频流的方式。与应用基于逐帧卷积神经网络(CNN)的目标检测相反,我们提出的称为视频使能器中的对象粗糙标签传播(OVERLESS)的方法只需要通过对象建议的流聚类和类别标签传播来对每个视频帧中的所有候选建议的一小部分进行分类。源代码将很快提供。
2016-01-20 cs.CV
CoNo: Consistency Noise Injection for Tuning-free Long Video Diffusion
University of Science and Technology of China(中国科学技术大学)
针对免调优长视频扩散中的场景一致性问题,本文提出 CoNo,通过“回看”机制和长时一致性正则化增强视频片段间细粒度过渡并抑制内容偏移,在单文本和多文本条件下均验证了有效性。
2024-06-07 cs.CV
Face Consistency Benchmark for GenAI Video
TCL Research Europe(TCL欧洲研究中心);TCL Research America(TCL美国研究中心)
针对AI生成视频难以保持角色外观和属性一致性的问题,本文提出人脸一致性基准FCB框架,通过标准化指标评估现有方案不足,推动更可靠方法开发,是提升AI视频生成角色一致性的关键一步。
2025-05-16 cs.CV cs.MM
ViDE: Tuning-Free Video Coherence via Temporal Attention Reweighting and Prompt Blending
National University of Singapore(新加坡国立大学);Yale University(耶鲁大学)
本文提出TiARA算法和PromptBlend流程,通过时频注意力重加权与提示对齐,在无需调优的情况下提升单提示和多提示长视频生成的一致性与连贯性。
2026-11-10 cs.AI cs.CV cs.LG
Temporal Consistency Loss for High Resolution Textured and Clothed 3DHuman Reconstruction from Monocular Video
University of Surrey(萨里大学)
我们提出了一种新的方法来学习时间上一致的3D重建的衣服的人从单目视频。用于使用体积、隐式或参数化人体形状模型从单目视频进行3D人体重建的最近方法在应用于视频时产生每帧重建,从而给出时间上不一致的输出和有限的性能。在本文中,我们介绍了一种方法来学习时间一致的功能,从单目视频的纹理重建的衣服三维人体序列提出了两个进步:一个新的时间一致性损失函数;和混合表示学习隐式三维重建从二维图像和粗糙的三维几何。所提出的进步提高了时间的一致性和准确性的3D重建和纹理预测从单目视频。对人体图像的综合比较性能评估表明,该方法在重建精度、完整性、质量和时间一致性等方面都明显优于基于学习的单图像三维人体形状估计方法。
2021-04-19 cs.CV
Video Demoireing with Relation-Based Temporal Consistency
The University of Hong Kong(香港大学);TCL AI Lab(TCL人工智能实验室);Sun Yat-sen University(中山大学);The Chinese University of Hong Kong(香港中文大学)
当用数码相机拍摄屏幕时,以颜色失真出现的莫尔图案严重降低图像和视频质量。考虑到视频采集需求的不断增长,本文研究了如何去除视频中的莫尔条纹,即视频去噪。为此,我们引入了第一个手持视频demoireing数据集与一个专用的数据汇集管道,以确保空间和时间上的对齐捕获的数据。此外,开发了具有隐式特征空间对齐和选择性特征聚合的基线视频去毛模型,以利用来自附近帧的补充信息来改进帧级视频去毛。更重要的是,我们提出了一个基于关系的时间一致性损失,以鼓励模型直接从地面实况参考视频中学习时间一致性先验,这有助于产生时间一致的预测并有效地保持帧级质量。大量的实验表明了该模型的优越性。代码可在\url{https://daipengwa.github.io/VDmoire_ProjectPage/}上获得。
2022-04-06 cs.CV
Training-Free Motion-Guided Video Generation with Enhanced Temporal Consistency Using Motion Consistency Loss
The University of Adelaide(阿德莱德大学);The University of New South Wales(新南威尔士大学)
针对免训练运动引导视频生成的时间一致性差、运动跟随不准问题,提出结合初始噪声方法与运动一致性损失的方案,通过捕获参考视频帧间特征相关模式、用损失梯度引导生成,在免训练前提下提升了时间一致性,树立了高效连贯视频生成的新基准。
2025-01-13 cs.CV
3DPhysVideo: Consistency-Guided Flow SDE for Video Generation via 3D Scene Reconstruction and Physical Simulation
KAIST(韩国科学技术院)
本文提出了一种无需训练的管道,通过3D场景重建和物理模拟生成逼真视频,利用一致性引导流SDE分解预测速度以确保条件输入的一致性,从而在多物体和流体交互场景中实现从单张图像到物理合理视频的过渡。
2026-05-16 cs.AI cs.CV cs.GR
GeCo: Evaluating Geometric Consistency for Video Generation via Motion and Structure
Harvard University(哈佛大学);Google DeepMind(谷歌DeepMind);MIT(麻省理工学院)
GeCo通过融合残差运动和深度先验,检测静态场景中的几何变形和遮挡不一致问题,并用于评估视频生成模型的性能与缺陷。
2026-08-20 cs.CV
ConsistI2V: Enhancing Visual Consistency for Image-to-Video Generation
University of Waterloo(滑铁卢大学);Vector Institute(矢量研究所)
ConsistI2V通过第一帧时空注意力与低频带噪声初始化增强图像到视频生成的视觉一致性,并提出I2V-Bench基准验证其优越性。
2024-07-01 cs.CV
FastVideoEdit: Leveraging Consistency Models for Efficient Text-to-Video Editing
McGill University(麦吉尔大学);The Chinese University of Hong Kong(香港中文大学)
FastVideoEdit利用一致性模型的自一致性特性,实现零样本高效文本到视频编辑,无需反演或额外条件提取,在保持生成质量的同时显著提升编辑速度。
2024-11-18 cs.CV
Temporal Kernel Consistency for Blind Video Super-Resolution
University of Cambridge(剑桥大学);Samsung AI Center, Cambridge(三星剑桥人工智能中心);University of Warwick(华威大学)
基于深度学习的盲超分辨率(SR)方法最近在提升具有未知退化的帧方面取得了前所未有的性能。这些模型能够从给定的低分辨率(LR)图像中准确地估计未知的降尺度内核,以便在恢复过程中利用内核。虽然这些方法在很大程度上是成功的,但它们主要是基于图像的,因此不利用多个视频帧中内核的时间特性。在本文中,我们研究了内核的时间特性,并强调了其在盲视频超分辨率任务中的重要性。具体来说,我们测量了真实世界的视频的内核时间一致性,并说明了估计的内核如何在场景及其对象的动态性不同的视频中每帧发生变化。有了这个新的见解,我们重新审视了以前流行的视频SR方法,并表明,在整个恢复过程中使用一个固定的内核之前的假设可能会导致视觉伪影时,放大现实世界的视频。为了抵消这一点,我们定制了现有的单图像和视频SR技术,以利用内核的一致性,在内核估计和视频放大过程。对合成视频和真实视频的大量实验表明,在定量和定性上都有很大的恢复收益,实现了盲视频SR的最新技术水平,并强调了利用内核时间一致性的潜力。
2021-08-18 cs.AI cs.CV cs.LG
Learning Long-Term Style-Preserving Blind Video Temporal Consistency
L'Or\'eal Research
当试图独立地将图像训练算法应用于视频中的连续帧时,往往会出现有害的闪烁。最先进的后处理技术,旨在促进时间一致性,生成其他时间伪影,并在视觉上改变视频的风格。我们提出了一个后处理模型,不知道应用于视频的转换(例如,风格转移,使用GANs的图像操作等),以循环神经网络的形式。我们的模型使用乒乓过程及其相应的损失进行训练,最近引入了GAN视频生成,以及一种新颖的风格保留感知损失。前者改善了长期的时间一致性学习,而后者促进了风格的保持。我们在DAVIS和videvo.net数据集上评估了我们的模型,并表明我们的方法提供了关于闪烁去除的最先进的结果,并且比以前的方法更好地保持了视频的整体风格。
2021-03-12 cs.CV
Point-wise mutual information-based video segmentation with high temporal consistency
University of Freiburg(弗赖堡大学)
在本文中,我们解决的问题,时间一致的边界检测和分层分割的视频。虽然找到视频中区域分配的最佳高级推理是最近许多研究的焦点,但边界检测中的时间一致性迄今为止很少得到解决。我们认为,时间上一致的边界是时间上一致的区域分配的关键组成部分。该方法基于时空体素的逐点互信息(PMI)。时间上的一致性是建立在空间和时间上的谱域中基于PMI的点亲和力的评价。因此,所提出的方法独立于任何光流计算或先前学习的运动模型。所提出的低级别视频分割方法在标准区域度量方面优于基于学习的现有技术。
2016-06-08 cs.CV
QueryProp: Object Query Propagation for High-Performance Video Object Detection
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
视频目标检测一直是计算机视觉中一个重要而又具有挑战性的课题。传统的方法主要集中在设计图像级或框级的特征传播策略,以利用时间信息。本文认为,一个更有效的和高效的特征传播框架,视频对象检测器可以获得改善的准确性和速度。为此,本文研究了对象级特征传播,并提出了一个高性能视频目标检测的对象查询传播(QueryProp)框架。QueryProp包含两种传播策略:1)从稀疏关键帧到密集非关键帧进行查询传播,减少非关键帧上的冗余计算; 2)从先前关键帧到当前关键帧进行查询传播,通过时间上下文建模提高特征表示。为了进一步促进查询传播,自适应传播门的设计,以实现灵活的关键帧选择。我们在ImageNet VID数据集上进行了广泛的实验。QueryProp实现了与最先进的方法相当的准确性,并取得了不错的准确性/速度权衡。代码可在https://github.com/hf1995/QueryProp上获得。
2022-07-22 cs.CV
Fréchet Video Motion Distance: A Metric for Evaluating Motion Consistency in Videos
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(向量人工智能研究所);Peking University(北京大学);University of Toronto(多伦多大学)
针对视频生成中运动一致性评估不足的问题,提出基于关键点跟踪和 Fréchet 距离的 FVMD 指标,实验证明其更符合人类感知且能提升 VQA 模型性能。
2024-07-23 cs.CV
Improving Semantic Segmentation through Spatio-Temporal Consistency Learned from Videos
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Google(谷歌)
我们利用无监督学习的深度,自我运动,和相机的本质,以提高单图像语义分割的性能,通过强制执行3D几何和时间的一致性分割掩模跨视频帧。预测的深度、自运动和相机本征函数用于向分割模型提供额外的监督信号,从而显著提高其质量,或者减少分割模型所需的标签数量。我们的实验在ScanNet数据集上进行。
2020-05-20 cs.CV
DCDM: Divide-and-Conquer Diffusion Models for Consistency-Preserving Video Generation
Fudan University(复旦大学);Tencent(腾讯)
DCDM通过分而治之的扩散模型,解决视频生成中的语义、几何和身份一致性问题,提升视频生成的连贯性和可控性。
2026-02-14 cs.CV
Edit-A-Video: Single Video Editing with Object-Aware Consistency
Seoul National University(首尔大学)
提出Edit-A-Video框架,利用预训练文本到图像模型和单个文本-视频对实现视频编辑,通过两阶段扩展与反演及稀疏因果混合方法解决背景不一致问题,提升编辑质量。
2023-11-17 cs.CV
ProPainter: Improving Propagation and Transformer for Video Inpainting
Nanyang Technological University(南洋理工大学)
针对视频修复中传播机制和Transformer的局限性,提出ProPainter框架,通过双域传播和掩码引导的稀疏视频Transformer提升修复性能与效率。
2023-09-07 cs.CV
A Video Anomaly Detection Framework based on Appearance-Motion Semantics Representation Consistency
Xiamen University(厦门大学);Inria Paris-Rocquencourt(法国国家信息与自动化研究所巴黎-罗克库尔分部);Tibet University(西藏大学);Wright State University(莱特州立大学)
视频异常检测是指对偏离预期行为的事件进行识别。由于训练中缺乏异常样本,视频异常检测成为一项极具挑战性的任务。现有的方法几乎都遵循重建或未来帧预测模式。但是,这些方法忽略了样本的外观和运动信息之间的一致性,限制了其异常检测性能。异常只发生在监控视频的运动前景中,因此,在不考虑背景信息的情况下,异常检测中的视频帧序列和光流所表达的语义应该具有高度的一致性,对异常检测具有重要意义。基于这一思想,本文提出了一种基于正常数据外观和运动语义表示一致性的异常检测框架--外观-运动语义表示一致性(Appearance-Motion Semantics Representation Consistency,AMSRC).首先,设计了一个双流编码器对正常样本的外观和运动信息表示进行编码,并引入约束条件进一步增强正常样本的外观和运动信息之间的特征语义一致性,从而识别出外观和运动特征表示一致性较低的异常样本。此外,异常样本的外观和运动特征的较低一致性可用于生成具有较大重建误差的预测帧,这使得异常更容易被发现。通过仿真和实测数据处理验证了所提方法的有效性。
2022-04-08 cs.CV
ConsiSpace: Learning Geometric Consistency Matters for Video Spatial Reasoning
School of Intelligent Science and Technology, Nanjing University(南京大学智能科学与技术学院);School of Computer Science, Peking University(北京大学计算机科学学院);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
针对视频空间推理中现有模型难以聚合一致空间证据的问题,提出ConsiSpace框架,通过构建几何一致内存及采用统一一致性自监督强化学习,在三个空间推理基准测试上取得成绩提升,平均得分比最强基线高12.6分。
2026-07-21 cs.CV
An Empirical Study of Propagation-based Methods for Video Object Segmentation
ByteDance AI Lab(字节跳动人工智能实验室)
虽然基于传播的方法已经实现了视频对象分割的最先进的性能,但文献缺乏使用相同设置的不同方法的公平比较。在本文中,我们进行了实证研究的传播为基础的方法。我们从统一的角度看待这些方法,并对核心方法、输入线索、多目标组合和训练策略进行了详细的消融研究。经过精心设计,我们改进的端到端内存网络在DAVIS 2017 val集上实现了76.1的全局平均值。
2019-07-30 cs.CV
Temporal Knowledge Propagation for Image-to-Video Person Re-identification
University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
在许多人身份重识别(Person Re-ID)场景中,图库集合由大量的监控视频组成,而查询对象只是一幅图像,因此需要在图像和视频之间进行身份重识别。与视频相比,静态人物图像缺乏时间信息。此外,图像和视频特征之间的信息不对称增加了图像和视频匹配的难度。为了解决这个问题,我们提出了一种新的时间知识传播(TKP)的方法,传播的时间知识学习的视频表示网络的图像表示网络。具体来说,给定输入视频,我们强制图像表示网络在共享特征空间中拟合视频表示网络的输出。利用反向传播技术,可以通过传递时间知识来增强图像特征,从而缓解信息不对称问题。通过额外的分类和集成的三重损失,我们的模型可以学习表达性和区分性的图像和视频特征,用于图像到视频的重新识别。大量的实验证明了我们的方法的有效性,在两个广泛使用的数据集上的总体结果大大超过了最先进的方法。代码可在:https://github.com/guxinqian/TKP
2019-10-10 cs.CV
Image Diffusion Models Exhibit Emergent Temporal Propagation in Videos
Dept. of CSE, Korea University(计算机科学与工程系,韩国大学)
本文提出DRIFT框架,利用预训练图像扩散模型和SAM引导的掩码细化,实现视频中鲁棒的零样本物体跟踪。
2025-11-25 cs.CV
Domain Adaptive Video Segmentation via Temporal Pseudo Supervision
Nanyang Technological University(南洋理工大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
视频语义分割在大量带标签的训练数据的监督下取得了很大的进展。然而,域自适应视频分割,它可以减轻数据标签的约束,从一个标记的源域适应到一个未标记的目标域,在很大程度上被忽视。我们设计了时间伪监督(TPS),这是一种简单有效的方法,它探索了一致性训练的想法,用于从未标记的目标视频中学习有效的表示。与传统的在空间空间中建立一致性的一致性训练不同,我们通过在增强的视频帧中执行模型一致性来探索时空空间中的一致性训练,这有助于从更多样化的目标数据中学习。具体来说,我们设计了跨帧伪标签,以提供从以前的视频帧伪监督,同时从增强的当前视频帧学习。跨帧伪标签鼓励网络产生高确定性的预测,这有助于有效地进行跨帧增强的一致性训练。在多个公开数据集上的实验表明,TPS算法实现简单,训练稳定性好,与现有算法相比,具有更高的视频分割精度.
2022-07-06 cs.CV