Face Translation between Images and Videos using Identity-aware CycleGAN
Computer Vision Lab, ETH Zurich(苏黎世联邦理工学院计算机视觉实验室);VISICS, KU Leuven(鲁汶大学VISICS)
本文提出了一种新的图像和视频之间的非成对人脸转换问题,可应用于人脸视频的预测和增强。在这个问题中存在两个主要的技术挑战:1)设计一个鲁棒的静态图像和动态视频之间的翻译模型,以及2)在图像-视频翻译期间保持面部身份。为了解决这两个问题,我们通过利用图像-视频翻译模型和身份保留模型,将最先进的图像-图像翻译网络(周期一致性对抗网络)推广到图像-视频/视频-图像翻译环境。特别地,我们将最先进的Wasserstein GAN技术应用于图像-视频翻译的设置以实现更好的收敛,同时我们引入了人脸验证器以确保身份。标准图像/视频人脸数据集上的实验表明,该模型在定性和定量评价方面的有效性。
2017-12-04 cs.CV
MATRIX: Mask Track Alignment for Interaction-aware Video Generation
KAIST AI(韩国科学技术院人工智能系)
MATRIX通过引入遮罩跟踪对齐方法,提升视频生成中交互感知能力,增强语义对齐与传播,减少漂移和幻觉。
2026-04-07 cs.CV
FaceCam: Portrait Video Camera Control via Scale-Aware Conditioning
University of California, Merced(加州大学梅尔塞德斯分校);Adobe Research(Adobe研究)
FaceCam通过尺度感知条件化方法,提升单目人像视频的相机控制能力与视觉质量。
2026-03-05 cs.CV
GenVideo: One-shot Target-image and Shape Aware Video Editing using T2I Diffusion Models
Adobe(奥多比公司)
针对文本提示表达能力有限及目标物体形状大小差异导致编辑不准的问题,提出GenVideo方法,利用目标图像感知的T2I模型及新颖掩码和噪声校正策略,实现形状变化下的时间一致视频编辑。
2024-04-18 cs.CV
PhysFlow: Physics-Aware Optical Flow for Motion Controllable Video Generation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Zhongguancun Academy(中关村 Academy);School of Information Science and Technology, University of Science and Technology of China(中国科学技术大学信息科学技术学院);Beihang University(北京航空航天大学)
PhysFlow提出两阶段框架,先物理感知生成光流再据此合成外观,并构建含10K物体、50K序列的PhysVideo数据集,以提升生成视频的物理合理性与视觉保真度。
2026-09-09 cs.CV
StableVideo: Text-driven Consistency-aware Diffusion Video Editing
Microsoft Research Asia(微软亚洲研究院);Zhejiang University(浙江大学)
针对扩散模型编辑视频时对象外观时序不一致的问题,本文提出帧间传播机制并构建文本驱动框架 StableVideo,显著提升了视频编辑的一致性与效果。
2023-08-18 cs.CV
Context-aware Talking Face Video Generation
Tsinghua University(清华大学)
针对多人互动场景,本文提出以面部关键点为控制信号的两阶段跨模态可控视频生成流程,并通过3D视频扩散模型实现上下文一致的说话人脸生成。
2024-02-28 cs.CV
LoVoRA: Text-guided and Mask-free Video Object Removal and Addition with Learnable Object-aware Localization
Tsinghua University(清华大学);Huawei Inc.(华为公司);University of Science and Technology of China(中国科学技术大学)
LoVoRA通过可学习的对象感知定位机制实现无掩码的视频对象移除与添加,结合图像到视频转换和光流传播,实现端到端视频编辑。
2025-12-03 cs.CV
3D-Aware Video Generation
ETH Zürich(苏黎世联邦理工学院);Stanford University(斯坦福大学);KU Leuven(鲁汶大学);University of Würzburg(维尔茨堡大学)
本文提出一种4D生成对抗网络框架,结合神经隐式表示与时间感知判别器,仅用单目视频实现3D感知视频的无条件生成,并支持时空渲染新视觉效果。
2023-08-09 cs.CV cs.LG
PoseTraj: Pose-Aware Trajectory Control in Video Diffusion
University of Edinburgh(爱丁堡大学);Nanyang Technological University(南洋理工大学)
针对现有轨迹引导视频生成模型3D理解不足、难生成大角度旋转下6D姿态变化物体运动的问题,提出PoseTraj模型与两阶段预训练框架,通过合成数据集与3D边界框监督等提升性能,在姿态对齐与质量上优于基线。
2025-03-20 cs.CV
STARCaster: Spatio-Temporal AutoRegressive Video Diffusion for Identity- and View-Aware Talking Portraits
Imperial College London, UK(伦敦帝国理工学院);FAU Erlangen–Nürnberg, Germany(埃朗根-纽伦堡大学)
研究提出STARCaster模型,通过重新思考参考和几何范式,采用组合方法及解耦学习,解决语音驱动肖像动画和动态视点控制问题,能有效泛化,超越先前方法。
2026-07-21 cs.CV
TEAR: Temporal-aware Automated Red-teaming for Text-to-Video Models
University of Electronic Science and Technology of China(电子科学与技术大学);University of Manchester(曼彻斯特大学);Ant Group(蚂蚁集团);Nanyang Technological University(南洋理工大学);Jilin University(吉林大学)
TEAR通过时序感知自动化红队测试框架,有效识别文本到视频模型中的安全风险,实验显示攻击成功率高达80%
2026-03-11 cs.CV
Moaw: Unleashing Motion Awareness for Video Diffusion Models
Tsinghua University(清华大学);Beihang University(北航)
Moaw通过训练视频扩散模型进行运动感知,实现零样本运动迁移,推动生成建模与运动理解的结合。
2026-01-19 cs.CV
StereoWorld: Geometry-Aware Monocular-to-Stereo Video Generation
Beijing Jiaotong University(北京交通大学);Dzine AI;University of Toronto(多伦多大学)
StereoWorld通过几何感知正则化和时空拼接方案,实现高效高质量的单目到立体视频生成。
2025-12-11 cs.CV
PhysChoreo: Physics-Controllable Video Generation with Part-Aware Semantic Grounding
Harbin Institute of Technology(哈尔滨工业大学)
提出PhysChoreo框架,通过两阶段方法(部分感知物理属性重建与时序指导的可编辑物理模拟)从单张图像生成物理可控且逼真的视频,在多个指标上超越现有方法。
2026-06-29 cs.CV
Input-Aware Sparse Attention for Real-Time Co-Speech Video Generation
Carnegie Mellon University(卡内基梅隆大学);PAII Inc.(PAII公司)
针对现有扩散式语音同步视频生成方法速度慢难实时的问题,提出结合输入人体姿态的稀疏注意力与蒸馏损失,实现实时生成质量更优的语音同步视频。
2025-10-02 cs.CV
Layer-Aware Video Composition via Split-then-Merge
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google(谷歌)
StM通过分割未标注视频并融合动态前景与背景层,提升生成视频合成的控制能力和数据效率。
2026-08-26 cs.CV
LayerFlow: A Unified Model for Layer-aware Video Generation
The University of Hong Kong(香港大学);DAMO Academy, Alibaba Group(阿里云达摩院);Alibaba Group(阿里巴巴集团);Hupan Laboratory(虎跑实验室)
LayerFlow提出统一框架,利用层嵌入和子片段组织方式,结合多阶段训练策略与LoRA微调,实现分层感知视频生成及多种变体任务。
2025-06-04 cs.CV
CamC2V: Context-aware Controllable Video Generation
University of Bonn(波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)
提出CamC2V模型,通过集成多图像条件与3D约束及相机控制,实现上下文感知的连贯视频生成,在RealEstate10K数据集上FVD提升24.09%。
2026-05-28 cs.CV
PhysRAG: Enhancing Physics-Awareness in Video Generation via Retrieval-Augmented Generation
School of Computer Science, Peking University(北京大学计算机科学学院);Institute of AI for Industries, Chinese Academy of Sciences(中国科学院人工智能产业研究院)
提出PhysRAG管道,利用检索增强生成(RAG)和可学习查询注入物理知识,在7K高质量视频上训练,在PhyGenBench和VBench上达到最优视觉质量和物理规则遵从性。
2026-06-26 cs.CV
CamViG: Camera Aware Image-to-Video Generation with Multimodal Transformers
Google Research(谷歌研究院)
本文提出CamViG,通过将3D相机运动编码为调节信号,扩展多模态Transformer实现可控的图像到视频生成,并验证了相机控制的有效性与路径准确性。
2024-05-21 cs.AI cs.CV
Endless World: Real-Time 3D-Aware Long Video Generation
Johns Hopkins University(约翰霍普金斯大学);Adobe Research(Adobe研究)
Endless World通过实时3D感知机制生成无限长且连贯的视频,解决长视频生成中的3D一致性与动态场景合成问题。
2025-12-13 cs.CV
Enhancing Scene Transition Awareness in Video Generation via Post-Training
Stevens Institute of Technology(史蒂文斯理工学院)
本文提出TAV数据集,通过后训练提升视频生成中场景转换的理解能力,改善多场景生成效果并保持图像质量。
2026-07-31 cs.AI cs.CV
InstanceCap: Improving Text-to-Video Generation via Instance-aware Structured Caption
Nanjing University(南京大学);ByteDance(字节跳动);Nankai University(南开大学)
针对现有视频字幕细节不足、存在幻觉等影响文本到视频生成质量的问题,研究提出实例感知结构化字幕框架InstanceCap,构建InstanceVid数据集,实验证明其性能优于以往模型,提升了字幕与视频的保真度并减少幻觉。
2024-12-12 cs.AI cs.CV
Generating Videos with Dynamics-aware Implicit Generative Adversarial Networks
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);NAVER AI Lab(NAVER人工智能实验室)
在深度学习时代,由于视频的时空复杂性和连续性,高质量的长视频生成仍然具有挑战性。现有的现有工作已经尝试通过将视频表示为RGB值的3D网格来对视频分布进行建模,这阻碍了所生成的视频的规模并且忽略了连续动态。在本文中,我们发现,最近出现的模式隐式神经表示(INR),编码一个连续的信号到一个参数化的神经网络有效地缓解了这个问题。通过利用视频的INR,我们提出了动态感知隐式生成对抗网络(DIGAN),一种新的生成对抗网络的视频生成。具体来说,我们介绍了(a)一个基于INR的视频生成器,通过不同地操纵空间和时间坐标来提高运动动态性,以及(b)一个运动跟踪器,可以有效地识别不自然的运动,而无需观察整个长帧序列。我们证明了DIGAN在各种数据集下的优越性,以及多个有趣的属性,例如,长视频合成、视频外推和非自回归视频生成。例如,DIGAN将UCF-101上先前最先进的FVD分数提高了30.7%,并且可以在128 x128分辨率的128帧视频上进行训练,比先前最先进方法的48帧长80帧。
2022-02-21 cs.CV cs.LG
MoCA-Video: Motion-Aware Concept Alignment for Consistent Video Editing
Department of Computer Science(计算机科学系);King Abdullah University of Science and Technology(国王阿卜杜勒阿齐兹大学科学与技术学院)
MoCA-Video通过在冻结的视频扩散模型潜在空间中进行语义混合,实现无需训练的高质量视频编辑,通过动量修正和伽马残差模块提升时间稳定性和语义一致性。
2026-09-30 cs.AI cs.CV
Corruption-Aware Training of Latent Video Diffusion Models for Robust Text-to-Video Generation
William & Mary(威廉与玛丽学院);Carnegie Mellon University(卡内基梅隆大学);The University of Hong Kong(香港大学)
本文提出CAT-LVDM框架,通过结构化噪声注入提升视频扩散模型的鲁棒性,实验显示其在多个数据集上优于传统方法,且能扩展至自回归生成和多模态视频理解模型。
2026-03-29 cs.CV cs.LG
InsertAnywhere: Geometrically Grounded and Optics-Aware Video Object Insertion
本文提出InsertAnywhere框架,通过4D感知遮罩生成模块实现几何准确的物体放置,并引入光学感知表示对齐策略生成逼真光学效果,结合开放的ROSE++数据集提升复杂场景下的视频物体插入效果。
2026-06-29 cs.AI cs.CV
Consistent Zero-shot 3D Texture Synthesis Using Geometry-aware Diffusion and Temporal Video Models
Department of Image, Chung-Ang University(Chung-Ang大学图像系);Graphics AI Lab, NCSOFT(NCSOFT图形AI实验室);Department of Computer Science, University of Seoul(首尔大学计算机科学系)
提出VideoTex框架,利用视频生成模型和几何感知条件解决3D纹理合成中的时空不一致问题,通过结构级UV扩散策略提升遮挡区域生成质量,实现高保真且时空稳定的纹理合成。
2025-06-26 cs.AI cs.CV cs.GR
Diffusion as Shader: 3D-aware Video Diffusion for Versatile Video Generation Control
Hong Kong University of Science and Technology(香港科技大学);Zhejiang University(浙江大学);The University of Hong Kong(香港大学);Nanyang Technological University(南洋理工大学);Wuhan University(武汉大学);Texas A&M University(德克萨斯农工大学)
本文提出统一的3D感知视频扩散框架DaS,以3D跟踪视频作为控制输入,支持相机控制、运动迁移、物体操控和网格到视频生成等多种任务,并提升时间一致性。
2025-01-09 cs.AI cs.CV cs.GR
AgentMV: A State-Guided Multi-Agent Framework for Budget-Aware Music Video Generation
College of Computer Science, Sichuan University(四川大学计算机学院)
AllocMV提出了一种分层框架,将音乐视频合成建模为多重选择背包问题,通过动态规划优化资源分配,确保跨镜头一致性并降低生成成本。
2026-08-18 cs.AI cs.CV cs.LG
MAEVI: Motion Aware Event-Based Video Frame Interpolation
利用基于事件的摄像机有望提高视频帧插值解决方案的视觉质量。我们引入了一种基于学习的方法来利用视频序列中的运动区域边界来提高整体插值质量。事件摄像机使我们能够精确地确定运动区域;因此,通过使用适当的损失函数强调这些区域,可以实现更好的视频帧插值质量。结果表明,测试数据集的平均\textit{PSNR}显著改善了$1.3$ dB,并且主观上更令人愉悦的视觉结果具有较少的重影和模糊伪影。
2023-03-03 cs.CV eess.IV
Overfitting the Data: Compact Neural Video Delivery via Content-aware Feature Modulation
Beijing University of Posts and Telecommunications(北京邮电大学);Intel Labs China(英特尔中国实验室)
互联网视频交付在过去几年中经历了巨大的爆炸式增长。然而,视频传输系统的质量在很大程度上取决于互联网的带宽。最近,深度神经网络(DNN)被用来提高视频传输的质量。这些方法将视频划分为块,并将LR视频块和对应的内容感知模型流式传输到客户端。客户端运行模型的推理以超解析LR块。因此,大量的模型被流式传输以便递送视频。在本文中,我们首先仔细研究了不同块的模型之间的关系,然后我们巧妙地设计了一个联合训练框架以及内容感知特征调制(CaFM)层来压缩这些模型用于神经视频传输。{ \bf通过我们的方法,每个视频块仅需要少于$1\% $的原始参数来进行流传输,从而实现更好的SR性能。}我们进行了广泛的实验,在各种SR骨干,视频时间长度和缩放因子,以证明我们的方法的优势。此外,我们的方法也可以被看作是一种新的视频编码方法。我们的初步实验取得了更好的视频质量相比,商业H.264和H.265标准在相同的存储成本,显示了巨大的潜力,所提出的方法。代码可在:\url{https://github.com/Neural-video-delivery/CaFM-Pytorch-ICCV2021}
2021-09-17 cs.CV eess.IV
Texture-aware Video Frame Interpolation
University of Bristol(布里斯托大学)
时间插值有可能成为视频压缩的有力工具。用于帧内插的现有方法不区分视频纹理,并且通常调用能够内插大范围视频内容的单个通用模型。然而,过去的视频纹理分析和合成的工作表明,不同的纹理表现出截然不同的运动特性,它们可以分为三类(静态,动态连续和动态离散)。在这项工作中,我们研究了视频纹理对视频帧插值的影响,并提出了一个新的框架,在该框架中,给定一个插值算法,在不同的纹理上训练单独的模型。我们的研究表明,视频纹理对帧内插模型的性能有显着影响,并且具有专门适应这些纹理类的单独模型是有益的,而不是训练试图学习通用运动的单个模型。我们的研究结果表明,使用我们的框架微调的模型在所使用的测试集上平均实现了0.3dB的PSNR增益。
2021-02-26 cs.CV eess.IV
Uncertainty-Aware Deep Video Compression with Ensembles
Johns Hopkins University(约翰斯·霍普金斯大学);Microsoft Research Asia(微软亚洲研究院)
本文针对深度视频压缩中运动估计和量化的不确定性问题,提出基于深度集成的不确定性感知模型,并引入集成感知损失和对抗训练,在1080p序列上相比DVC Pro节省超过20%码率。
2024-03-28 cs.CV eess.IV
Learning Trajectory-Aware Transformer for Video Super-Resolution
Xi’an Jiaotong University(西安交通大学);Microsoft Research Asia(微软亚洲研究院)
视频超分辨率(VSR)旨在从低分辨率(LR)帧中恢复高分辨率(HR)帧序列。虽然已经取得了一些进展,但在整个视频序列中有效地利用时间依赖性仍然存在巨大的挑战。现有的方法通常从有限的相邻帧(例如,5或7帧),这妨碍了这些方法获得令人满意的结果。在本文中,我们进一步实现了视频中的有效时空学习。提出了一种新的基于轨迹感知的视频超分辨率Transformer(TTVSR)。特别是,我们制定的视频帧到几个预先对齐的轨迹,其中包括连续的视觉令牌。对于查询令牌,自我注意力只沿着时空轨迹在相关视觉令牌上学习。与普通Vision Transformers相比,这种设计显著降低了计算成本,并使Transformers能够对长距离特征进行建模。我们进一步提出了一个跨尺度特征标记化模块,以克服在长距离视频中经常发生的尺度变化问题。实验结果表明,所提出的TTVSR国家的最先进的模型的优越性,通过广泛的定量和定性评价在四个广泛使用的视频超分辨率基准。代码和预训练模型都可以在https://github.com/researchmm/TTVSR下载。
2022-04-20 cs.CV eess.IV
IVCA: Inter-Relation-Aware Video Complexity Analyzer
University of Science and Technology of China(中国科学技术大学)
本文提出IVCA,通过特征域运动估计、层级感知权重和多参考帧时间建模增强VCA,在几乎不增加时间复杂度的情况下显著提升视频复杂度估计精度。
2025-03-16 cs.CV eess.IV
Sali4Vid: Saliency-Aware Video Reweighting and Adaptive Caption Retrieval for Dense Video Captioning
Hanyang University(翰阳大学)
针对现有密集视频字幕模型帧权重均等、忽略场景转换的问题,提出Sali4Vid框架,通过显著性感知视频重加权和自适应字幕检索优化任务效果,在两个基准上达SOTA。
2025-09-04 cs.CV
Motion-Aware Feature for Improved Video Anomaly Detection
University of California, Merced(加州大学默塞德分校)
出于我们的观察,运动信息是视频中良好的异常检测性能的关键,我们提出了一个时间增强网络来学习运动感知功能。仅此功能就可以实现与以前最先进的方法竞争的性能,并且当与它们结合时,可以实现显着的性能改进。此外,我们将时间上下文的多实例学习(MIL)的排名模型,通过使用一个注意力块。学习的注意力权重可以帮助更好地区分异常和正常视频片段。通过提出的运动感知功能和时间MIL排名模型,我们在UCF Crime数据集中的异常检测和异常动作识别任务上都大大优于以前的方法。
2019-07-24 cs.CV cs.LG eess.IV
Position-aware Location Regression Network for Temporal Video Grounding
Seoul National University(首尔国立大学);Electronics and Telecommunications Research Institute (ETRI)(电子与电信研究所(ETRI))
视频监控成功接地的关键是理解与重要角色和对象相对应的语义短语。传统的方法忽略了短语的综合上下文,或者需要对多个短语进行大量计算。为了理解只有一个语义短语的综合上下文,我们提出了位置感知位置回归网络(PLRN),它利用查询和视频的位置感知功能。具体地,PLRN首先使用字和视频片段的位置信息对视频和查询两者进行编码。然后,语义短语特征提取的编码查询与注意。语义短语特征和编码视频被合并,并通过反映局部和全局上下文而成为上下文感知特征。最后,PLRN预测接地边界的开始、结束、中心和宽度值。我们的实验表明,PLRN实现了竞争力的性能比现有的方法具有更少的计算时间和内存。
2022-04-12 cs.CV
Video Relation Detection with Trajectory-aware Multi-modal Features
Beihang University(北京航空航天大学);YITU Technology(依图科技)
视频关系检测问题是指检测视频中不同对象之间的关系,例如空间关系和动作关系。在本文中,我们提出了视频关系检测与故障感知多模态功能来解决这个问题。考虑到视频中视觉关系检测的复杂性,本文将其分解为三个子任务:目标检测、轨迹建议和关系预测。我们使用最先进的目标检测方法来保证目标轨迹检测的准确性,并使用多模态特征表示来帮助预测目标之间的关系。该方法在ACM Multimedia 2020的Video Relation Understanding Grand Challenge视频关系检测任务中以11.74 mAP的成绩获得第一名,大大优于其他方法。
2021-01-20 cs.CV
DAVIDE: Depth-Aware Video Deblurring
Tampere University(坦佩雷大学);Huawei Technologies(华为技术有限公司)
本文提出DAVIDE深度感知视频去模糊数据集,研究深度信息注入现有RGB去模糊模型的方式,并构建强基线,证明深度信息可提升去模糊性能但随时间上下文增长而效果减弱。
2024-09-02 cs.CV
iMOVE: Instance-Motion-Aware Video Understanding
Kuaishou Technology(快手科技);Zhejiang University(浙江大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对视频大语言模型细粒度实例运动感知不足的问题,本文构建 iMOVE-IT 指令微调数据集,并提出 iMOVE 视频基础模型,以高效时空建模和相对位置令牌提升时序、通用及长时程视频理解。
2025-02-18 cs.CV
Semantic-Aware Pretraining for Dense Video Captioning
Southern University of Science and Technology(南方科技大学);The University of Hong Kong(香港大学)
本报告详细介绍了我们在ActivityNet Challenge 2021中进行事件密集字幕任务的方法。我们提出了一种语义感知的预训练方法密集的视频描述,使学习的功能,以识别高层次的语义概念。不同形式的不同视频特征被馈送到事件字幕模块中以生成准确且有意义的句子。我们最终的集成模型在测试集上获得了10.00的METEOR分数。
2022-04-13 cs.CV
The Pros and Cons: Rank-aware Temporal Attention for Skill Determination in Long Videos
University of Bristol(布里斯托大学)
我们提出了一个新的模型来确定相对技能的长视频,通过学习时间注意模块。技能确定被公式化为一个排名问题,使其适合于常见和通用的任务。然而,对于长视频,视频的部分与评估技能无关,并且在整个视频中展现的技能可能存在可变性。因此,我们提出了一种方法,它评估的相对整体水平的技能,在一个长视频出席其技能相关的部分。我们的方法训练时间注意模块,学习只有视频级的监督,使用一种新的排名感知损失函数。除了关注任务相关的视频部分之外,我们提出的损失联合训练两个注意力模块来分别关注表示较高(优点)和较低(缺点)技能的视频部分。我们在EPIC-Skills数据集上评估了我们的方法,并从YouTube视频中添加了一个更大的数据集,以确定五个以前未探索过的任务的技能。我们的方法在两个数据集上的成对准确率超过4%,在单个任务上的准确率高达12%,优于以前的方法和经典softmax attention。我们还展示了我们的模型的能力,参加排名感知部分的视频。
2019-04-10 cs.CV
The Need for Medically Aware Video Compression in Gastroenterology
Verily Life Sciences(Verily生命科学公司);Google Research(谷歌研究院)
压缩对于存储和传输医疗视频至关重要,但压缩对下游医疗任务的影响往往被忽视。此外,系统实际上依赖于标准视频编解码器,其在医学相关帧或帧的部分之间天真地分配比特。在这项工作中,我们提出了一个实证研究的一些经典的编解码器上的胃肠病视频的不足之处,并激励我们正在进行的工作,训练学习压缩模型结肠镜检查视频。我们发现,两个最常见的经典编解码器,H264和HEVC,压缩医学相关的帧统计上显着不如医学无关的,息肉检测器的性能迅速下降,随着压缩的增加。我们解释了一个学习的压缩器如何将比特分配给重要的区域,并允许检测性能更优雅地下降。我们提出的许多技术推广到胃肠病学以外的医学视频领域
2022-11-02 cs.CV cs.LG eess.IV
Learning Semantic-Aware Dynamics for Video Prediction
UCLA Vision Lab(加州大学洛杉矶分校视觉实验室);Stanford University(斯坦福大学)
我们提出了一个架构和训练方案来预测视频帧,明确建模dis-occlusion和捕捉视频中语义一致的区域的演变。场景布局(语义图)和运动(光流)被分解成层,这些层被预测并与它们的上下文融合以生成未来的布局和运动。使用共同可见区域中的预测运动从过去的帧中扭曲场景的外观;利用预测的场景布局利用内容感知修复来合成未被遮挡的区域。结果是一个预测模型,它显式地表示对象并学习它们的类特定运动,我们在视频预测基准上进行评估。
2021-04-20 cs.CV
Query-aware Long Video Localization and Relation Discrimination for Deep Video Understanding
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出一种基于图像-语言预训练模型的查询感知方法,用于长视频定位与关系判别,无需完整电影级知识图谱,在DVU挑战赛中取得优异成绩。
2023-10-19 cs.CV
Entity-aware and Motion-aware Transformers for Language-driven Action Localization in Videos
Beijing Laboratory of Intelligent Information Technology(北京智能信息技术实验室);Beijing Institute of Technology(北京理工大学)
视频中的语义驱动的动作定位是一项具有挑战性的任务,不仅涉及视觉语言匹配,而且还涉及动作边界预测。通过将语言查询与视频片段对齐已经取得了最新进展,但是估计精确的边界仍然没有得到充分的探索。在本文中,我们提出了实体感知和运动感知的Transformers,逐步本地化的行动,在视频中的第一个粗略定位剪辑与实体查询,然后精细预测准确的边界在一个收缩的时间区域与运动查询。实体感知的Transformer通过跨模态和跨帧注意力将文本实体并入视觉表示学习中,以促进与动作相关的视频片段的注意力。运动感知的Transformer通过将长短期记忆集成到自我注意模块中来捕获多个时间尺度上的细粒度运动变化,以进一步提高动作边界预测的精度。在Charades-STA和TACoS数据集上进行的大量实验表明,该方法比现有方法具有更好的性能。
2022-05-12 cs.CV cs.MM
Diversity-aware Multi-Video Summarization
University of California, Riverside(加州大学河滨分校)
大多数视频摘要方法都集中在从单个视频中提取摘要,我们提出了一个无监督的框架来总结一系列视频。我们观察到,集合中的每个视频可能包含一些其他视频没有的信息,因此探索潜在的互补性可能有助于创建多样化的信息摘要。我们开发了一种新的多样性感知的稀疏优化方法的多视频摘要,通过探索视频内的互补性。我们的方法提取多视频摘要,这是有趣的和代表性的描述整个视频集合。为了有效地解决我们的优化问题,我们开发了一种交替最小化算法,该算法每次最小化一个视频的整体目标函数,同时固定其他视频。此外,我们引入了一个新的基准数据集Tour20,它包含140个视频,其中包含多个人类创建的摘要,这些摘要是在一个受控实验中获得的。最后,通过在新的Tour20数据集和其他几个多视点数据集上的大量实验,我们证明了该方法在面向主题的视频摘要和摄像机网络中的多视点视频摘要两个问题上的性能明显优于现有的方法.
2017-06-09 cs.CV
STAU: A SpatioTemporal-Aware Unit for Video Prediction and Beyond
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Peking University(北京大学);Information Technology R&D Innovation Center of Peking University(北京大学信息技术创新研发中心)
视频预测的目标是通过对视频中复杂的时空动态进行建模来预测未来的帧。然而,大多数现有的方法仅以独立的方式对视频的时间信息和空间信息进行建模,而没有充分探索两者之间的相关性。在本文中,我们提出了一个时空感知单元(STAU)的视频预测和超越探索显着的时空相关性的视频。一方面,运动感知注意力权重从空间状态中学习,以帮助在时间域中聚合时间状态。另一方面,从时间状态学习外观感知注意力权重,以帮助在空间域中聚合空间状态。通过这种方式,时间信息和空间信息可以在两个域中很好地相互感知,在此期间,时空感受野也可以大大拓宽,以实现更可靠的时空建模。实验不仅在传统的视频预测任务上进行,而且在视频预测之外的其他任务上进行,包括早期动作识别和目标检测任务。实验结果表明,我们的STAU可以优于其他方法在所有任务的性能和计算效率。
2022-04-20 cs.CV
Locality-Aware Inter-and Intra-Video Reconstruction for Self-Supervised Correspondence Learning
Beijing University of Posts and Telecommunications(北京邮电大学);Zhejiang University(浙江大学);Baidu Research(百度研究院);Beijing Institute of Technology(北京理工大学);ETH Zurich(苏黎世联邦理工学院);University of Technology Sydney(悉尼科技大学)
我们的目标是从未标记的视频中学习视觉对应。我们开发了LIIR,一个局部感知的视频间和视频内重建框架,它填补了三个缺失的部分,即,实例判别,位置意识,空间紧凑性,自我监督对应学习难题。首先,而不是大多数现有的努力只集中在视频内的自我监督,我们利用跨视频的亲和力作为额外的负样本在一个统一的,帧间和帧内的视频重建方案。这使得能够通过将期望的视频内像素关联与负的视频间对应进行对比来进行实例区分性表示学习。其次,我们将位置信息合并到对应匹配中,并设计了一种位置偏移策略,以消除位置编码在视频间亲和力计算中的副作用,使我们的LIIR位置敏感。第三,为了充分利用视频数据的空间连续性,我们对对应匹配施加了基于紧性的约束,从而产生更稀疏和可靠的解决方案。在标签传播任务(包括对象、语义部分和关键点)上,学习到的表示超越了自我监督的最新技术水平。
2022-03-29 cs.CV
EgoDTM: Towards 3D-Aware Egocentric Video-Language Pretraining
AIM3 Lab, Renmin University of China(中国人民大学人工智能3实验室)
EgoDTM通过结合大规模3D感知视频预训练和视频-文本对比学习,提升视频-语言模型的3D感知能力,实现更丰富的空间理解。
2025-12-04 cs.AI cs.CV
StimuVAR: Spatiotemporal Stimuli-aware Video Affective Reasoning with Multimodal Large Language Models
Johns Hopkins University(约翰霍普金斯大学);Honda Research Institute USA(本田研究院美国)
StimuVAR提出首个基于多模态大语言模型的以观众为中心的视频情感推理框架,通过帧级与令牌级两级刺激感知机制及VAR指令训练,显著提升模型理解观众情感反应并给出合理解释的能力。
2025-06-03 cs.CV