Intrinsic Temporal Regularization for High-resolution Human Video Synthesis
Peking University(北京大学);Alibaba DAMO Academy(阿里巴巴达摩院)
时间一致性对于将图像处理流水线扩展到视频域是至关重要的,这通常通过相邻帧上的基于流的扭曲误差来实施。然而,对于人类视频合成,这种方案是不太可靠的,由于源和目标视频之间的不对准,以及在准确的流量估计的困难。在本文中,我们提出了一种有效的内在时间正则化方案来缓解这些问题,其中通过帧生成器估计内在置信度图,以通过时间损失调制来调节运动估计。这为将时间损失梯度直接反向传播到前端运动估计器创建了捷径,从而提高了输出视频中的训练稳定性和时间相干性。我们将我们固有的时间调节应用于单图像生成器,从而产生一个强大的“INTERnet”,能够生成具有时间连贯性的、逼真的视觉细节的$512\times512$分辨率的人类动作视频。大量的实验表明,建议INTERnet的优越性,在几个竞争力的基线。
2020-12-11 cs.CV
X-Humanoid: Robotize Human Videos to Generate Humanoid Videos at Scale
Show Lab, National University of Singapore(新加坡国立大学Show实验室)
X-Humanoid通过生成式视频编辑方法,将人类视频机器人化,生成大规模人形视频数据集,提升人形机器人研究的训练效果。
2025-12-04 cs.CV
WildShadowRemover: In-the-Wild Video Shadow Removal via Detail-Preserving Video Diffusion Models
针对野外视频阴影去除难题,提出WildShadowRemover框架,通过LoRA微调适配视频扩散模型,结合细节注入、频率分解调制及Depth Anything 3深度先验,构建对应数据集,在阴影去除质量与时间一致性上优于现有方法。
2026-08-25 cs.CV
Structure and Content-Guided Video Synthesis with Diffusion Models
Runway(Runway公司)
文本引导生成扩散模型解锁强大的图像创建和编辑工具。虽然这些方法已经扩展到视频生成,但当前编辑现有素材内容同时保留结构的方法需要对每个输入进行昂贵的重新训练,或者依赖于跨帧的图像编辑的易出错传播。在这项工作中,我们提出了一个结构和内容引导的视频扩散模型,编辑视频的基础上所需的输出的视觉或文本描述。用户提供的内容编辑和结构表示之间的冲突是由于这两个方面之间的不充分解缠而发生的。作为一个解决方案,我们表明,训练单目深度估计与不同层次的细节提供了控制结构和内容的保真度。我们的模型是在图像和视频上联合训练的,这也通过一种新的指导方法公开了对时间一致性的显式控制。我们的实验展示了各种各样的成功;对输出特性的细粒度控制,基于一些参考图像的定制,以及对我们模型结果的强烈用户偏好。
2023-02-06 cs.CV
Back to the Features: DINO as a Foundation for Video World Models
Meta FAIR
提出 DINO-world,在 DINOv2 潜在空间中基于大规模视频学习未来帧预测,在分割、深度等基准上优于已有模型,并可微调为动作条件模型用于潜在规划。
2025-07-25 cs.CV
AVID: Adapting Video Diffusion Models to World Models
Microsoft Research(微软研究院)
本文提出 AVID 方法,在不访问预训练模型参数的情况下,通过在小规模带动作标签视频数据集上训练适配器并利用学习掩码修改中间输出,将预训练视频扩散模型适配为以动作为条件的世界模型,在游戏和机器人数据上优于现有基线。
2024-11-24 cs.CV cs.LG
MotionVideoGAN: A Novel Video Generator Based on the Motion Space Learned from Image Pairs
Tsinghua University(清华大学);University of Science and Technology Beijing(北京科技大学)
得益于强大的图像生成器提供的高质量渲染,视频生成取得了快速进展。我们把视频合成任务看作是生成一系列共享相同内容但运动不同的图像。然而,大多数基于预训练图像生成器的视频合成框架将内容和运动生成分开处理,导致生成的视频不切实际。因此,我们设计了一个新的框架来建立运动空间,旨在实现视频生成的内容一致性和快速收敛。我们提出了MotionVideoGAN,这是一种新的视频生成器,它基于预训练图像对生成器学习的运动空间合成视频。首先,我们提出了一个名为MotionStyleGAN的图像对生成器来生成共享相同内容并产生各种运动的图像对。然后,我们设法获取运动代码来编辑生成的图像对中的一个图像,并保持另一个不变。运动代码帮助我们在运动空间内编辑图像,因为编辑后的图像与图像对中的另一个未改变的图像共享相同的内容。最后,我们介绍了一个潜在的代码生成器,以产生潜在的代码序列,使用运动代码的视频生成。我们的方法在用于无条件视频生成评估的最复杂的视频数据集UCF 101上实现了最先进的性能。
2023-03-06 cs.CV
Spectral video construction from RGB video: Application to Image Guided Neurosurgery
École Centrale de Lyon(里昂中央理工学院);University of Eastern Finland(东芬兰大学)
光谱成像在医学成像模态领域中已经引起了极大的兴趣。它为不同器官和非侵入性组织的分析提供了强大的工具。因此,已经进行了大量的研究来探索在生物医学应用中使用光谱成像的可能性。在手术过程中实时的观察光谱图像信息并监测器官和组织的时间变化是一项要求很高的任务。现有的光谱成像设备不足以以可接受的空间和光谱分辨率完成这项任务。这个问题的解决方案是从RGB视频中估计光谱视频,并使用最突出的光谱带执行可视化。在这项研究中,我们提出了一个框架,从RGB视频生成神经外科光谱视频。对每个RGB视频帧应用频谱估计技术。RGB视频是使用与专用于神经外科手术的手术显微镜连接的数码相机捕获的。神经外科光谱图像数据库用于收集训练数据并评估估计精度。搜索技术用于识别最佳训练集。五种不同的谱估计技术进行了实验,以确定最佳的方法。虽然这个框架是建立神经外科频谱视频生成,但是,这里概述的方法也适用于其他类似的研究。
2016-12-14 cs.CV
Noise Crystallization and Liquid Noise: Zero-shot Video Generation using Image Diffusion Models
Imperial College London(伦敦帝国学院)
针对扩散模型生成一致可控视频难度大、成本高的问题,本文提出噪声结晶与液体噪声两种零样本方法,修改图像扩散模型的输入噪声生成视频,还拓展了相关应用并得出VAE嵌入的理论见解。
2024-10-05 cs.CV
Omni-Video 2: Scaling MLLM-Conditioned Diffusion for Unified Video Generation and Editing
本文提出Omni-Video 2,通过连接预训练多模态大语言模型与视频扩散模型,实现视频生成与编辑的统一。核心方法是利用MLLM生成明确的目标描述以指导生成过程,并通过轻量适配器高效注入多模态条件token,提升复杂编辑任务性能。
2026-03-13 cs.CV
VACE: All-in-One Video Creation and Editing
Tongyi Lab, Alibaba Group(阿里巴巴集团通义实验室)
VACE提出一体化视频创作与编辑框架,通过视频条件单元和上下文适配器统一参考生成、视频编辑与掩码编辑等任务,性能与专用模型相当并支持灵活任务组合。
2025-03-11 cs.CV
DeforM: Reasoning-Guided Physics-Aware Video Generation via Spatial-Temporal Masking
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
研究针对视频生成模型难以生成物理感知视频的问题,提出DeforM框架,引入VLM引导的物理推理模块及两种策略,经实验验证该框架能提高生成变形场景的真实感,优于基线模型。
2026-07-22 cs.CV
VideoDirector: Precise Video Editing via Text-to-Video Models
Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区);Sun Yat-sen University(中山大学);Tsinghua University(清华大学);National University of Defense Technology(国防科技大学)
针对传统编辑范式迁移至T2V模型时的伪影问题,提出时空解耦引导、多帧空文本优化及自注意力控制策略,构建VideoDirector方法实现高精度、高保真且时序连贯的视频编辑。
2025-03-19 cs.CV
MotionBridge: Dynamic Video Inbetweening with Flexible Controls
Simon Fraser University(西蒙菲莎大学);Adobe Research(奥多比研究院)
提出统一视频中间帧生成框架 MotionBridge,通过双生成器、双分支嵌入器和课程训练融合轨迹、关键帧、遮罩、像素与文本控制,实现更动态可定制的过渡。
2025-01-07 cs.CV
VideoSketcher: Sequential Sketch Generation Using Video Model Priors
MIT(麻省理工学院)
提出VideoSketcher方法,结合LLM的语义规划与视频扩散模型的时序渲染,通过两阶段微调从少量样本学习笔画顺序与风格,生成高质量序列草图。
2026-06-19 cs.CV
EgoExo-WM: Unlocking Exo Video for Ego World Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出通过从外部视频提取结构化身体姿态并利用人体运动学先验将其转换为自我视频,从而利用丰富的野外外部数据训练自我世界模型,显著提升预测质量和下游规划性能。
2026-05-25 cs.CV
Video Generation Models Are Inherent Lighting Estimators
Peking University(北京大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院);OpenBayes Information Technology Co., Ltd.(北京智谱华章科技有限公司)
研究从单张自然视频恢复动态环境图的问题,核心方法是将光照估计重构为引导视频修复任务,贡献是提出V-LITE框架,能生成连贯HDR环境图,证明视频扩散模型可估计物理场景光照。
2026-07-07 cs.CV
VideoREPA: Learning Physics for Video Generation through Relational Alignment with Foundation Models
Dept. of CSE & School of AI & MoE Key Lab of Al, Shanghai Jiao Tong University(计算机科学与工程系及人工智能学院及人工智能基础实验室,上海交通大学);Shanghai Jiao Tong University(上海交通大学);The Chinese University of Hong Kong(香港中文大学)
提出VideoREPA框架,通过Token Relation Distillation损失在token级别对齐视频理解基础模型,将物理理解能力蒸馏到T2V模型中,显著提升CogVideoX生成符合物理规律视频的能力。
2025-05-29 cs.CV
CamViG: Camera Aware Image-to-Video Generation with Multimodal Transformers
Google Research(谷歌研究院)
本文提出CamViG,通过将3D相机运动编码为调节信号,扩展多模态Transformer实现可控的图像到视频生成,并验证了相机控制的有效性与路径准确性。
2024-05-21 cs.AI cs.CV
Transforming Image Editors into Video Editors
ByteDance Seed(字节跳动Seed);Johns Hopkins University(约翰斯·霍普金斯大学)
该研究提出基于锚点的视频编辑框架AVE,通过将强大图像编辑器转换为视频编辑器,在IVEBench和VIE-Bench上实现了指令遵循、时间一致性等方面的良好性能,为视频编辑提供了低成本替代方案。
2026-10-09 cs.CV
Towards motion from video diffusion models
Concordia University(康考迪亚大学);MILA Quebec AI Institute(MILA魁北克人工智能研究所)
本文探索利用文本到视频扩散模型和分数蒸馏采样引导 SMPL-X 身体变形来合成人体运动,并分析其保真度,揭示该方法的潜力与局限。
2024-11-19 cs.CV
GIFT: Generated Indoor video frames for Texture-less point tracking
Southern University of Science and Technology(南方科技大学)
针对无纹理或弱纹理区域点跟踪难题,本文提出纹理强度指标,构建含1800个标注室内视频的 GIFT 合成基准,并系统评估现有方法。
2025-03-17 cs.CV
Video2StyleGAN: Disentangling Local and Global Variations in a Video
KAUST(阿卜杜拉国王科技大学);UCL(伦敦大学学院);Adobe Research(Adobe研究院)
使用预训练的StyleGAN生成器进行图像编辑已成为面部编辑的强大范例,提供对年龄,表情,照明等的分离控制。我们假设,主要缺少的成分是缺乏细粒度和分离的控制面部位置,面部姿势和局部面部表情。在这项工作中,我们证明了这种细粒度控制确实可以使用预训练的StyleGAN通过跨多个(潜在)空间(即位置空间,W+空间和S空间)工作并组合多个空间的优化结果来实现。在这个支持组件的基础上,我们引入了Video2StyleGAN,它采用目标图像和驾驶视频,以目标图像的身份重新制定驾驶视频中的本地和全局位置和表情。我们评估了我们的方法在多个具有挑战性的情况下的有效性,并证明了替代方法的明显改进。
2022-05-30 cs.CV cs.GR
VideoLCM: Video Latent Consistency Model
Shanghai Jiao Tong University(上海交通大学);Alibaba Group(阿里巴巴集团);Huazhong University of Science and Technology(华中科技大学)
针对视频生成领域一致性模型研究不足的问题,提出基于潜在视频扩散模型与一致性蒸馏的VideoLCM框架,仅需4步即可高保真合成视频,为相关研究提供高效基准。
2023-12-14 cs.AI cs.CV
Vidu: a Highly Consistent, Dynamic and Skilled Text-to-Video Generator with Diffusion Models
Tsinghua University(清华大学);ShengShu(生数科技)
本文提出文本到视频扩散模型 Vidu,以 U-ViT 为主干,可单次生成长达 16 秒的 1080p 高连贯动态视频,并在多种可控生成任务中展现潜力。
2024-05-07 cs.CV cs.LG
Animating the Uncaptured: Humanoid Mesh Animation with Video Diffusion Models
Technical University of Munich(慕尼黑工业大学)
针对人形动画制作成本高的问题,提出利用视频扩散模型的运动先验,结合SMPL表示与运动优化,实现从静态3D人形网格和文本提示生成多样逼真4D动画的低成本方案。
2025-03-20 cs.CV cs.GR
GraphVid: Interactive Graph-Controllable Video Generation
研究如何实现可控视频生成,提出基于图条件的GraphVid模型及相关数据集,通过结构化交互图实现灵活精确控制,相比其他方法在减少训练数据和参数的情况下,提升了视频生成的可控性与质量。
2026-08-26 cs.AI cs.CV
Any-to-Bokeh: Arbitrary-Subject Video Refocusing with Video Diffusion Model
Zhejiang University(浙江大学);vivo Mobile Communication Co., Ltd(vivo移动通信有限公司)
本文提出首个一步式视频扩散框架,利用多平面图像表示和渐进式训练,实现时间连贯、深度感知的可控视频散景渲染,优于现有基线。
2025-10-10 cs.AI cs.CV
VidPanos: Generative Panoramic Videos from Casual Panning Videos
University of Washington(华盛顿大学);Google DeepMind(谷歌DeepMind);UC Berkeley(加州大学伯克利分校);Weitzmann Institute of Science(魏茨曼科学研究所)
该研究将随手拍摄的平移视频全景合成建模为时空外绘问题,通过把生成式视频模型嵌入完整系统,生成与输入等长且时空一致的广角全景视频。
2024-10-27 cs.CV cs.GR
Sphere-GAN: a GAN-based Approach for Saliency Estimation in 360° Videos
Department of Information Engineering University of Padova(信息工程系 佩鲁贾大学)
本文提出Sphere-GAN,一种基于球面卷积生成对抗网络的360°视频显著性检测模型,实验证明其在公共数据集上准确预测显著性图的能力优于现有最先进模型。
2025-09-15 cs.CV cs.MM eess.IV
A Simple and Powerful Global Optimization for Unsupervised Video Object Segmentation
Ecole des Ponts(巴黎桥路学院);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心)
我们提出了一种简单但功能强大的方法,用于视频中的无监督对象分割。我们引入了一个目标函数,其最小值表示输入序列上的主要显着对象的掩模。它只依赖于独立的图像特征和光流,这可以使用现成的自监督方法获得。它随序列的长度而扩展,不需要超像素或稀疏化,并且它可以推广到不同的数据集,而无需任何特定的训练。该目标函数实际上可以从应用于整个视频的谱聚类的形式导出。我们的方法在标准基准测试(DAVIS 2016,SegTrack-v2,FBMS 59)上达到了最先进的性能,同时在概念上和实际上都更简单。代码可在https://ponimatkin.github.io/ssl-vos上获得。
2022-10-19 cs.CV
Depth Any Video with Scalable Synthetic Data
Shanghai AI Laboratory(上海人工智能实验室);Zhejiang University(浙江大学);The University of Sydney(悉尼大学)
本文提出Depth Any Video模型,通过可扩展合成数据流水线和生成式视频扩散先验,结合混合时长训练与深度插值方法,解决了视频深度估计中数据稀缺和长度受限的问题,在空间精度与时间一致性上超越已有模型。
2025-03-12 cs.AI cs.CV
Image Motion Blur Removal in the Temporal Dimension with Video Diffusion Models
Nanjing University(南京大学);TopXGun Robotics(拓攻机器人)
提出将运动模糊视为时间平均现象,利用预训练视频扩散变换器模型在潜在空间捕捉运动动态,无需显式核估计,在合成和真实数据集上优于现有去模糊方法。
2025-01-22 cs.CV cs.LG eess.IV
Detecting AI-Generated Video via Frame Consistency
University of Science and Technology of China(中国科学技术大学);Peking University(北京大学);Zhejiang University(浙江大学);Aarhus University(阿鲁斯大学)
针对AI生成视频检测缺乏数据集和方法的问题,提出开源数据集和基于帧一致性的DeCoF检测模型,有效检测未见模型生成的视频,泛化能力强。
2025-04-20 cs.AI cs.CV
DiffSynth: Latent In-Iteration Deflickering for Realistic Video Synthesis
School of Data Science and Engineering, East China Normal University(华东师范大学数据科学与工程学院);School of Information, Xiamen University(厦门大学信息学院);Alibaba Group(阿里巴巴集团)
本文提出 DiffSynth,通过潜在迭代内去闪烁框架和 patch blending 算法将图像扩散模型改造为视频合成流程,有效抑制闪烁并提升视频一致性,适用于多种视频合成任务。
2023-08-10 cs.CV cs.MM
ElasticTTT: Prior-Preserving Test-Time Tuning for Video Editing
College of AI, Tsinghua University(清华大学人工智能学院);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
研究针对预训练扩散模型的测试时调优中存在的问题,提出ElasticTTT框架,通过目标分布正则化、对比条件采样和异步噪声调度等方法,成功保留基础模型生成先验,在一次性视频编辑中达领先性能。
2026-08-03 cs.AI cs.CV
ReLumix: Extending Image Relighting to Video via Video Diffusion Models
Technical University of Denmark(丹麦技术大学);KTH Royal Institute of Technology(皇家理工学院)
针对视频重打光方法灵活性不足的问题,提出ReLumix框架,通过两阶段流程结合门控交叉注意力与时序引导策略,实现任意图像重打光技术向视频的迁移,提升视觉保真度与时序一致性。
2025-09-28 cs.AI cs.CV cs.GR
Exploring MLLM-Diffusion Information Transfer with MetaCanvas
Meta Superintelligence Labs(Meta 超智能实验室);New York University(纽约大学);Nanyang Technological University(南洋理工大学)
MetaCanvas通过使MLLMs在潜在空间中推理和规划,提升多模态生成的精确度和结构化控制。
2025-12-12 cs.AI cs.CV cs.LG
MotionV2V: Editing Motion in a Video
Google(谷歌);Stony Brook University(石溪大学)
MotionV2V通过直接编辑稀疏轨迹实现视频运动编辑,利用生成性主干提升视频编辑能力,在用户研究中表现优异。
2025-11-25 cs.AI cs.CV cs.GR
Video Diffusion Alignment via Reward Gradients
Carnegie Mellon University(卡内基梅隆大学)
针对视频扩散模型适配下游任务需收集目标数据集的难题,提出利用预训练奖励模型的梯度反向传播实现高效对齐,在奖励查询和计算效率上优于无梯度方法。
2024-07-11 cs.AI cs.CV cs.LG
Kangaroo: A Powerful Video-Language Model Supporting Long-context Video Input
Meituan Group(美团集团);School of Electronic, Electrical and Communication Engineering, the University of Chinese Academy of Sciences(中国科学院大学电子电气与通信工程学院);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出Kangaroo视频多模态模型,通过构建高质量数据集和逐步提高分辨率与帧数的课程训练流程,有效解决了长视频输入难题,以8B参数在长视频理解基准上超越10B以上大模型。
2024-08-28 cs.AI cs.CV cs.MM
RandomSEMO: Normality Learning Of Moving Objects For Video Anomaly Detection
Yonsei University(延世大学)
最近的异常检测算法通过采用帧预测自编码器表现出强大的性能。然而,这些方法面临两个挑战性的情况。首先,它们可能被训练得过于强大,甚至可以很好地生成异常帧,这导致检测异常失败。其次,他们被前景和背景中捕捉到的大量物体分散了注意力。为了解决这些问题,我们提出了一种新的基于超像素的视频数据转换技术,称为随机超像素擦除移动对象(RandomSEMO)和移动对象丢失(MOLoss),建立在一个简单的轻量级自动编码器之上。RandomSEMO通过随机擦除它们的超像素来应用于移动对象区域。它强制网络关注前景对象,更有效地学习正常特征,而不是简单地预测未来帧。此外,MOLoss敦促模型通过放大移动对象附近像素的损失来专注于学习RandomSEMO中捕获的正常对象。实验结果表明,我们的模型优于国家的最先进的三个基准。
2022-02-13 cs.CV
MoCLIP-Lite: Efficient Video Recognition by Fusing CLIP with Motion Vectors
The ADAPT SFI Research Centre(ADAPT SFI研究机构);School of Computer Science, University College Dublin(大学学院计算机科学系);Amazon Development Center Germany GmbH(亚马逊德国开发中心);Beijing-Dublin International College(北京-都柏林国际学院)
MoCLIP-Lite提出双流晚期融合框架,结合冻结CLIP图像编码器与轻量级运动向量网络,仅训练MLP头,在UCF101上以89.2%准确率超越基线,实现高效视频识别。
2025-09-25 cs.CV
V-DPM: 4D Video Reconstruction with Dynamic Point Maps
University of Oxford(牛津大学)
V-DPM通过动态点图实现4D视频重建,利用预训练模型和合成数据提升动态场景的3D和4D重建性能。
2026-01-14 cs.CV
VISAGE: Video Instance Segmentation with Appearance-Guided Enhancement
Yonsei University(延世大学);Carnegie Mellon University(卡内基梅隆大学);Adobe Research(奥多比研究院)
针对在线视频实例分割方法过度依赖位置信息导致物体关联错误的问题,提出外观引导的解码器扩展方案,同时构建合成数据集验证,最终在多个基准上取得SOTA结果。
2024-03-08 cs.CV
Unsupervised Learning from Video with Deep Neural Embeddings
Stanford University(斯坦福大学);MIT(麻省理工学院)
由于视频丰富的动态结构及其在日常生活中的普遍存在,视频数据可以作为一种强大的无监督学习信号,用于在深度神经网络中训练视觉表示,这是一个很自然的想法。然而,实例化这个想法,特别是在大规模上,仍然是人工智能的一个重大挑战。在这里,我们提出了视频实例嵌入(VIE)框架,该框架将最近用于学习深度非线性嵌入的强大无监督损失函数扩展到大规模视频数据集上的多流时间处理架构。我们表明,VIE-trained网络在视频数据流的无监督学习方面大大提高了最新技术水平,无论是Kinetics数据集中的动作识别,还是ImageNet数据集中的对象识别。我们表明,静态和动态处理途径的混合模型是最佳的两个转移任务,并提供分析表明如何不同的途径。从上下文来看,我们的研究结果表明,深度神经嵌入是一种很有前途的方法,可以在各种领域进行无监督视觉学习。
2020-03-10 cs.AI cs.CV cs.LG
First image then video: A two-stage network for spatiotemporal video denoising
ZSky Technologies Inc(ZSky科技公司);NanKai University(南开大学);Chinese Academy of Sciences(CAS)(中国科学院);Peng Cheng Laboratory(PCL)(鹏城实验室)
视频去噪是从噪声污染的数据中去除噪声,从而通过时空处理恢复真实信号。用于时空视频去噪的现有方法往往遭受运动模糊伪影,即,移动对象的边界往往显得模糊,尤其是当对象经历快速运动时,导致光流计算中断。在本文中,我们通过设计一个先图像后视频的两阶段去噪神经网络来解决这一挑战,该网络由一个图像去噪模块组成,用于在空间上减少帧内噪声,然后是一个常规的时空视频去噪模块。直觉是简单而强大和有效的:图像去噪的第一阶段有效地降低了噪声水平,因此,允许时空去噪的第二阶段更好地建模和学习无处不在,包括沿着移动对象边界。这种两阶段网络在以端到端的方式进行训练时,在去噪质量和计算方面都能在视频去噪基准Vimeo90K数据集上获得最先进的性能。它还实现了一种无监督方法,该方法可以实现与现有监督方法相当的性能。
2020-01-22 cs.CV
Curvature: A signature for Action Recognition in Video Sequences
Johns Hopkins University(约翰斯·霍普金斯大学);National University of Singapore(新加坡国立大学)
本文提出了一种新的人体动作识别特征,即视频序列的曲率。以这种方式,对顺序数据的分布进行建模,这使得能够进行少样本学习。我们的算法不依赖于识别图像中的特征,而是将动作视为整个图像序列中通用时间尺度上的序列。视频序列,被看作是一个曲线在像素空间中,通过重新参数化对齐使用弧长的曲线在像素空间中。一旦获得这样的曲率,统计指标被提取并馈送到基于学习的分类器中。总的来说,我们的方法简单但强大。初步的实验结果表明,我们的方法是有效的,并达到了最先进的性能在基于视频的人体动作识别。此外,我们看到了将这种想法转移到其他基于序列的识别应用中的潜力,如语音识别,机器翻译和文本生成。
2019-06-16 cs.CV
Towards Data-Efficient Video Pre-training with Frozen Image Foundation Models
Eindhoven University of Technology(埃因霍温理工大学)
本文探讨了如何通过冻结预训练的图像基础模型并仅训练时间模块来实现数据高效的视频预训练,从而减少对大规模视频数据和计算资源的需求。
2026-05-18 cs.CV
AIM: Adapting Image Models for Efficient Video Action Recognition
University of Central Florida(中佛罗里达大学);Amazon Web Services(亚马逊云科技)
最近的基于视觉Transformer的视频模型大多遵循“图像预训练然后微调”的范式,并在多个视频基准测试中取得了巨大的成功。然而,考虑到预训练的图像Transformer模型已经表现出出色的可移植性,完全微调这样的视频模型在计算上可能是昂贵的并且是不必要的。在这项工作中,我们提出了一种新的方法来适应预训练的图像模型(AIM)有效的视频理解。通过冻结预训练的图像模型并添加一些轻量级的Adapters,我们引入了空间自适应,时间自适应和联合自适应,逐渐使图像模型具有时空推理能力。我们表明,我们提出的AIM可以实现竞争力,甚至比现有技术更好的性能与四个视频动作识别基准少得多的可调参数。由于其简单性,我们的方法通常也适用于不同的图像预训练模型,这有可能在未来利用更强大的图像基础模型。该项目的网页是\url{https://adapt-image-models.github.io/}。
2023-02-06 cs.CV
Guess What Moves: Unsupervised Video and Image Segmentation by Anticipating Motion
University of Oxford(牛津大学)
通过光流测量的运动为发现和学习图像和视频中的对象提供了强大的线索。然而,与使用外观相比,它有一些盲点,例如物体如果不移动就会变得不可见。在这项工作中,我们提出了一种方法,结合了基于运动和基于外观的分割的优势。我们建议监督图像分割网络的借口任务预测区域可能包含简单的运动模式,从而可能对应于对象。由于该模型仅使用单个图像作为输入,因此我们可以将其应用于两种设置:无监督视频分割和无监督图像分割。我们实现了国家的最先进的视频结果,并证明了我们的方法的可行性,包含新的对象的静态图像。此外,我们用不同的运动模型和光流骨干进行实验,发现该方法对这些变化具有鲁棒性。项目页面和代码可在https://www.robots.ox.ac.uk/~vgg/research/gwm获得。
2022-10-13 cs.CV
SimBase: A Simple Baseline for Temporal Video Grounding
School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电气与电子工程学院)
本文提出SimBase,一种用于时序视频定位的简单基线,通过轻量级一维时序卷积层和逐元素乘积替代复杂结构,在两个大规模数据集上取得最先进结果。
2024-11-12 cs.CV
VQ-Insight: Teaching VLMs for AI-Generated Video Quality Understanding via Progressive Visual Reinforcement Learning
提出VQ-Insight推理式视觉语言模型框架,通过渐进式学习与多维度奖励强化,提升AIGC视频质量评估的泛化与专业能力,并显著改进视频生成任务。
2025-06-23 cs.CV
Foundation Models for Video Understanding: A Survey
Aalborg University(奥尔堡大学);University of Central Florida(中佛罗里达大学)
该综述系统梳理200余种视频基础模型,按14项任务和三类架构比较其基准表现,发现基于图像的模型通常优于基于视频的模型,而多模态通用基础模型性能更强。
2024-05-06 cs.CV