GePSAn: Generative Procedure Step Anticipation in Cooking Videos
Samsung AI Centre(三星人工智能中心);Waabi(Waabi公司);York University(约克大学)
针对程序性视频中未来步骤预测的多样性问题,提出生成模型GePSAn,通过文本预训练迁移至视频领域,在YouCookII上取得最先进结果并支持零样本迁移。
2023-10-12 cs.CV cs.LG
Breakdance Video classification in the age of Generative AI
Eluvio AI Labs(Eluvio AI实验室)
本研究评估现代视频基础模型在霹雳舞视频分类中的适用性,发现视频编码器模型优于视频语言模型,并提供了编码器选择见解及微调解码器的工作原理分析。
2025-10-23 cs.AI cs.CV cs.LG
Towards Accurate Generative Models of Video: A New Metric & Challenges
Johannes Kepler University(约翰内斯开普勒大学);IDSIA, SUPSI, USI(IDSIA、苏普西大学、瑞士意大利语区大学);Google Brain(谷歌大脑)
深度生成模型的最新进展在合成高质量图像方面取得了显着进展。继它们在图像处理和表示学习中的成功应用之后,下一个重要的步骤是考虑视频。学习视频的生成模型是一项更困难的任务,除了对象的视觉呈现之外,还需要模型捕获场景的时间动态。虽然最近在制定视频生成模型方面的尝试取得了一些成功,但目前的进展受到以下因素的阻碍:(1)缺乏考虑视觉质量,时间一致性和样本多样性的定性指标,以及(2)纯合成视频数据集和具有挑战性的真实世界数据集之间的巨大差距。在这个程度上,我们提出了Fréchet视频距离(FVD),一个新的度量生成模型的视频,和星际争霸2视频(SCV),一个基准的游戏玩从自定义星际争霸2的场景,挑战当前的能力生成模型的视频。我们贡献了一个大规模的人类研究,这证实了FVD与生成的视频的定性人类判断相关,并提供了SCV的初步基准结果。
2019-03-27 cs.AI cs.CV cs.LG
MMAudioSep: Taming Video-to-Audio Generative Model Towards Video/Text-Queried Sound Separation
Sony Group Corporation, Japan(日本索尼集团公司);Sony AI, USA(美国索尼人工智能)
MMAudioSep基于预训练视频到音频模型,通过利用视频/文本与音频的关系实现更高效的声学分离,优于现有方法并保留原始视频到音频生成能力。
2026-04-17 cs.CV cs.LG cs.SD
Generative Video Transformer: Can Objects be the Words?
Rutgers University(罗格斯大学);SAP Labs(SAP实验室);Rutgers Center for Cognitive Science(罗格斯认知科学中心)
Transformers已经成功地用于许多自然语言处理任务。然而,由于高计算复杂性和缺乏自然标记化,将Transformers应用于视频域以执行诸如长期视频生成和场景理解之类的任务仍然是难以捉摸的。在本文中,我们提出了以对象为中心的视频Transformer(OCVT),它利用对象为中心的方法分解成适合用于生成视频Transformer令牌的场景。通过将视频分解为对象,我们的完全无监督模型能够学习场景中多个交互对象的复杂时空动态,并生成视频的未来帧。我们的模型也比基于像素的模型具有更高的内存效率,因此能够使用单个48 GB GPU对长度高达70帧的视频进行训练。我们将我们的模型与以前的基于RNN的方法以及其他可能的视频Transformer基线进行了比较。我们证明了OCVT在生成未来帧时与基线相比表现良好。OCVT还为视频推理开发了有用的表示,在CATER任务上实现了最先进的性能。
2021-07-20 cs.CL cs.CV cs.LG
VideoPDE: Unified Generative PDE Solving via Video Inpainting Diffusion Models
University of Michigan(密歇根大学)
本研究提出VideoPDE框架,将偏微分方程求解重构为广义视频修复问题,基于Transformer架构与像素空间分层视频扩散模型,实现正/逆、全/部分观测等多类PDE任务的统一求解,性能优于现有最优基线。
2025-06-17 cs.AI cs.CV cs.LG
REGEN: Learning Compact Video Embedding with (Re-)Generative Decoder
Adobe Research(奥多比研究院);Northeastern University(东北大学)
REGEN提出用编码器-生成器框架替代传统编码器-解码器,以DiT从紧凑潜在空间合成缺失细节,实现高达32倍时间压缩比,并验证其在文本到视频生成中的高效性与鲁棒性。
2025-03-11 cs.AI cs.CV cs.LG
Deep Generative Video Compression
Dartmouth College(达特茅斯学院);Disney Research LA(迪士尼研究院洛杉矶);DisneyResearch|Studios(迪士尼研究工作室);University of California, Irvine(加州大学欧文分校)
深度生成模型在图像压缩中的应用已经使传统编解码器获得了令人印象深刻的性能提升,而神经视频压缩仍处于起步阶段。在这里,我们提出了一种端到端的深度生成建模方法来压缩时间序列,重点是视频。我们的方法建立在变分自编码器(VAE)模型的顺序数据,并结合他们最近的工作神经图像压缩。该方法共同学习将原始序列转换为低维表示,以及根据序列VAE的预测对该表示进行离散化和熵编码。对来自不同复杂性和多样性的公共数据集的小视频进行的率失真评估表明,我们的模型在对通用视频内容进行训练时会产生有竞争力的结果。在专门的内容上训练模型时,可以实现极高的压缩性能。
2019-11-01 cs.CV cs.LG eess.IV
Generative Memorize-Then-Recall framework for low bit-rate Surveillance Video Compression
University of Science and Technology of China(中国科学技术大学);DAMO Academy in Alibaba Group(阿里巴巴集团达摩院)
近年来,监控视频在保障公共安全和日常生活中的应用得到了迅速发展,它经常对视频序列中的目标进行检测和识别。传统的视频编码框架通过分块运动补偿去除视频中的时间冗余,缺乏对视频固有结构信息的提取和利用。在本文中,我们弄清楚这个问题,通过解开监控视频到一个全局的时空特征(内存)的结构组的图片(GoP)和骨架的每帧(线索)。通过将GoP内部的帧顺序地馈送到递归神经网络中来获得记忆,描述GoP内部出现的对象的外观。当骨架由姿势估计器计算时,它被视为回忆记忆的线索。此外,一个注意力机制,以获得外观和骨架之间的关系。最后,我们使用生成对抗网络来重建每一帧。实验结果表明,该方法能有效地生成基于外观和骨架的真实感重建图像,与最新的视频压缩标准H.265相比,在监控视频上具有更高的压缩性能。
2020-05-06 cs.CV cs.LG eess.IV
ActionParty: Multi-Subject Action Binding in Generative Video Games
Snap Research(Snap研究院);University of Oxford(牛津大学);University of Toronto(多伦多大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文提出ActionParty,一种可控制多主体的生成视频游戏世界模型,通过引入主体状态标记和空间偏置机制,提升动作关联准确性与身份一致性。
2026-08-03 cs.AI cs.CV cs.LG
Insights from Generative Modeling for Neural Video Compression
University of California Irvine(加州大学欧文分校);DeepMind
本文以深度自回归和潜变量生成模型统一审视神经视频编解码器,提出改进的时间变换、结构化熵模型和可变比特率架构,实现高分辨率视频压缩的最优性能。
2023-07-09 cs.CV cs.LG eess.IV
REST: REtrieve & Self-Train for generative action recognition
Samsung AI Cambridge(三星人工智能剑桥研究院);Queen Mary University of London(伦敦玛丽女王大学)
这项工作是训练生成动作/视频识别模型,其输出是描述视频的自由形式的动作特定标题(而不是动作类标签)。生成式方法具有实际优势,例如产生更细粒度和人类可读的输出,并且是自然开放的世界。为此,我们建议采用预训练的生成式视觉和语言(V&L)基础模型进行视频/动作识别。虽然最近有一些尝试将用对比学习(例如CLIP)训练的V&L模型用于视频/动作,但据我们所知,我们提出了第一种方法来实现生成模型的这一目标。我们首先表明,直接微调的生成模型产生的动作类遭受严重的过拟合。为了缓解这一问题,我们引入了REST,一个训练框架,由两个关键组成部分:一个无监督的方法,用于通过伪字幕生成和自训练,即不使用任何特定于动作的标签,使生成模型适应动作/视频;(b)基于CLIP的检索方法,用于为每个视频发现不同的伪字幕集,以训练模型。重要的是,我们表明,这两个组件是必要的,以获得高精度。我们评估REST上的zero-shot动作识别的问题,我们表明,我们的方法是非常有竞争力的相比,基于对比学习的方法。代码将提供。
2022-09-29 cs.AI cs.CV cs.LG
FREGAN : an application of generative adversarial networks in enhancing the frame rate of videos
GLA University(GLA大学)
数字视频是单个帧的集合,当流式传输视频时,场景利用每个帧的时间片。高刷新率和高帧速率是所有高技术应用的需求。由于高刷新率,视频中的动作跟踪变得更容易,游戏应用中的运动变得更平滑。它提供了更快的响应,因为屏幕上显示的每个帧之间的时间更短。FREGAN(帧速率增强生成对抗网络)模型已经被提出,其基于过去帧的序列来预测视频序列的未来帧。在本文中,我们研究了GAN模型,并提出了FREGAN的帧速率的视频增强。我们利用Huber损失作为一个损失函数在建议的FREGAN。它在超分辨率方面提供了出色的结果,我们试图在帧速率增强的应用中实现这种性能。在标准数据集(UCF101和RFree500)上验证了该模型的有效性。实验结果表明,该模型具有34.94的峰值信噪比(PSNR)和0.95的结构相似性指数(SSIM)。
2021-11-01 cs.CV cs.LG eess.IV
Exploiting video sequences for unsupervised disentangling in generative adversarial networks
UNR-CONICET(国立罗萨里奥大学-阿根廷国家科学与技术研究理事会)
在这项工作中,我们提出了一种对抗性训练算法,该算法利用视频中的相关性来学习-没有监督-具有解开的潜在空间的图像生成器模型。所提出的方法只需要对生成对抗网络(GAN)的标准算法进行一些修改,并且涉及使用从短视频中获取的帧集进行训练。我们在两个以面部为中心的视频数据集上训练我们的模型,这些视频呈现不同的人说话或移动头部:VidTIMIT和YouTube Faces数据集。我们发现,我们的建议允许我们将生成器潜在空间分成两个子空间。其中一个控制内容属性,这些属性不会随着短视频序列而改变。对于所考虑的数据集,这是所生成的面部的身份。另一个子空间控制运动属性,这些属性被观察到沿着短视频变化。我们观察到,这些运动属性是面部表情,头部方向,嘴唇和眼睛的运动。所提出的实验提供了定量和定性的证据支持,所提出的方法诱导解开这两种属性的潜在空间。
2019-10-16 cs.CV cs.LG stat.ML
Learning to navigate image manifolds induced by generative adversarial networks for unsupervised video generation
Institut national de la recherche scientifique (INRS-EMT)(国家科学研究院(INRS-EMT))
在这项工作中,我们介绍了一个两步的框架生成建模的时态数据。具体而言,生成对抗网络(GANs)设置用于生成移动对象的合成场景。为此,我们提出了一个两步训练方案,其中:首先训练静态帧的生成器。然后,训练一个递归模型,目标是为先前训练的帧生成器提供一系列输入,从而产生看起来自然的场景。在这两个训练步骤中都采用了对抗性设置。然而,为了避免GANs中已知的训练不稳定性,使用多重训练方法来训练这两个模型。在研究的视频数据集的结果表明,通过采用这种方法,经常性的部分是能够学习如何连贯地导航由帧生成器引起的图像流形,从而产生更自然的场景。
2019-01-23 cs.CV cs.LG stat.ML
ReCapture: Generative Video Camera Controls for User-Provided Videos using Masked Video Fine-Tuning
Google(谷歌);National University of Singapore(新加坡国立大学)
本文提出ReCapture,一种从用户提供的单个视频生成新视角视频的方法,通过多视角扩散或点云渲染生成锚定视频,再经掩码视频微调得到干净一致的结果。
2024-11-07 cs.AI cs.CV cs.GR
H-DDCM: Hadamard Codebooks for Fast Generative Image and Video Compression
Technion – Israel Institute of Technology(以色列理工学院)
H-DDCM用隐式随机哈达玛字典替代高斯码本,提出高效无字典词典编码方案,适配自回归视频流模型,在单GPU上实现接近实时的长视频生成式压缩,降低了相关压缩方法的内存与计算开销。
2026-10-14 cs.AI cs.CV cs.LG
Video Generative Adversarial Networks: A Review
University of New South Wales(新南威尔士大学);Princess Nourah bint Abdulrahman University(诺拉·本特·阿卜杜勒拉赫曼公主大学)
随着媒体、教育和娱乐等多个领域对内容创作领域的兴趣日益浓厚,使用AI算法生成图像、视频、音频和文本等内容的论文越来越多。生成对抗网络(GANs)是一种很有前途的模型,它可以合成与真实数据样本相似的数据样本。虽然GANs模型的变化,一般来说,已经在一定程度上涵盖了几个调查文件,据我们所知,这是第一个调查文件,审查国家的最先进的视频GANs模型。本文首先将GANs综述论文分为一般GANs综述论文、图像GANs综述论文和特殊领域GANs综述论文,如异常检测、医学成像或网络安全。然后,本文总结了GANs框架的主要改进,这些框架最初不是为视频域开发的,但已被多种视频GANs变体采用。然后,根据条件的存在或不存在,在两个主要部分下提供视频GANs模型的全面回顾。然后,条件模型根据条件的类型进一步分组为音频、文本、视频和图像。本文最后强调了当前视频GANs模型的主要挑战和局限性。补充材料中提供了数据集、应用的损失函数和评估指标的全面列表。
2020-11-04 cs.CV cs.LG eess.IV
vidax: A Unified JAX Framework for Video Generative Models on Accelerator Meshes
Massachusetts Institute of Technology(麻省理工学院)
vidax是一个开源的JAX/Flax推理引擎,统一了张量和序列并行,支持多种视频生成模型,在TPU上实现高效推理,并开源作为基线。
2026-09-17 cs.CV cs.DC cs.LG
VideoPhy: Evaluating Physical Commonsense for Video Generation
University of California Los Angeles(加州大学洛杉矶分校);Google Research(谷歌研究院)
本文提出 VideoPhy 基准,通过材料相互作用提示评估文本到视频模型的物理常识能力,发现现有模型表现不佳,并引入自动评估器 VideoCon-Physics。
2024-10-03 cs.AI cs.CV cs.LG
Audio Input Generates Continuous Frames to Synthesize Facial Video Using Generative Adiversarial Networks
School of Information Technology and Electrical Engineering(信息技术与电气工程学院);The University of Queensland(昆士兰大学)
本文提出了一种基于音频的语音视频生成的简单方法:给定一段音频,我们可以生成一个视频的目标人脸说这个音频。本文提出了一种生成对抗网络(GAN),它以剪切语音音频输入为条件,在生成器和搜索器中使用卷积门递归单元(GRU)。我们的模型通过利用短音频和此持续时间内的帧来训练。为了训练,我们剪切音频并在相应的帧中提取人脸。我们设计了一个简单的编码器,并比较了使用GAN和不使用GRU生成的帧。我们使用GRU的时间相干帧和结果表明,短音频可以产生相对真实的输出结果。
2022-07-18 cs.CV cs.GR cs.LG
Towards Multi-Task Multi-Modal Models: A Video Generative Perspective
Google(谷歌);UC Merced(加州大学默塞德分校)
本文从视频生成视角构建多任务多模态模型,提出高保真潜在表示与掩码多任务Transformer,实现语言模型超越扩散模型及视频分词器优于标准编解码器,并支持多模态生成。
2024-05-26 cs.AI cs.CV cs.LG
VGMShield: Mitigating Misuse of Video Generative Models
University of Virginia(弗吉尼亚大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出VGMShield,通过虚假视频检测、来源追溯和向查询图像添加不可见扰动的预防方法,构建覆盖生成全生命周期的多方位缓解方案,在七个开源模型上实现超过90%的检测与追溯准确率。
2025-07-04 cs.AI cs.CR cs.CV
Convolutional Transformer based Dual Discriminator Generative Adversarial Networks for Video Anomaly Detection
Columbia University(哥伦比亚大学);University of Connecticut(康涅狄格大学);NEC Laboratories America, Inc.(NEC美国实验室)
在真实世界的监控视频中检测异常活动是一项重要而具有挑战性的任务,因为有关视频异常的先验知识通常是有限的或不可用的。尽管已经开发了许多方法来解决这个问题,但很少有方法能够有效地捕获正常的时空模式。此外,现有的工作很少明确考虑在帧级的局部一致性和全局一致性的时间动态的视频序列。为此,我们提出了基于卷积Transformer的双鉴别器生成对抗网络(CT-D2 GAN)来执行无监督的视频异常检测。具体来说,我们首先提出了一个卷积Transformer来执行未来的帧预测。它包含三个关键组成部分,即,卷积编码器,用于捕获输入视频剪辑的空间信息;时间自注意模块,用于编码时间动态;以及卷积解码器,用于整合时空特征并预测未来帧。接下来,一个基于双阈值的对抗性训练过程,它联合考虑了图像阈值,可以保持局部一致性在帧级和视频阈值,可以强制执行的时间动态的全局一致性,以提高未来帧的预测。最后,利用预测误差来识别异常视频帧。对三个公开的视频异常检测数据集进行了深入的实证研究,UCSD Ped 2,CUHK Avenue和上海理工大学校园,证明了所提出的对抗时空建模框架的有效性。
2021-07-29 cs.AI cs.CV cs.LG
VSTAR: Generative Temporal Nursing for Longer Dynamic Video Synthesis
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Mannheim(曼海姆大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of Tübingen(蒂宾根大学)
针对开源 T2V 扩散模型难以生成长时动态视频的问题,本文提出 VSTAR,通过 LLM 视频概要提示与时间注意力正则化在推理阶段增强动态控制。
2025-03-18 cs.AI cs.CV cs.LG
Synthesizing Dynamic Patterns by Spatial-Temporal Generative ConvNet
University of California, Los Angeles (UCLA)(加州大学洛杉矶分校)
视频序列包含丰富的动态模式,例如在时域中表现出平稳性的动态纹理模式,以及在空域或时域中非平稳的动作模式。我们表明,时空生成ConvNet可以用来建模和合成动态模式。该模型在视频序列上定义了一个概率分布,对数概率由时空ConvNet定义,该时空ConvNet由多层时空滤波器组成,以捕获不同尺度的时空模式。该模型可以通过迭代以下两个步骤的“合成分析”学习算法从训练视频序列中学习。步骤1从当前学习的模型合成视频序列。然后,步骤2基于合成的视频序列和观察到的训练序列之间的差异来更新模型参数。我们表明,学习算法可以合成现实的动态模式。
2017-05-29 cs.CV cs.LG cs.NE
T2VSafetyBench: Evaluating the Safety of Text-to-Video Generative Models
UCAS(中国科学院大学);Tsinghua University(清华大学);Institute for AI(人工智能研究院);Tsinghua-Bosch Joint ML Center(清华-博世联合机器学习中心);THBI Lab(THBI实验室);BNRist Center(BNRist中心);RealAI
本文提出T2VSafetyBench基准,通过12个安全维度和多来源恶意提示评估文本到视频模型,揭示模型安全差异、GPT-4评估有效性及可用性与安全性的权衡。
2024-09-08 cs.AI cs.CL cs.CR
FoleyGAN: Visually Guided Generative Adversarial Network-Based Synchronous Sound Generation in Silent Videos
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
基于深度学习的视觉到声音生成系统本质上需要开发,特别是考虑到视觉和音频特征随时间的同步性方面。在这项研究中,我们引入了一个新的任务,指导类条件生成对抗网络的时间视觉信息的视频输入的视觉到声音生成任务适应视听模态之间的同步性特征。我们提出的FoleyGAN模型能够调节视觉事件的动作序列,从而产生视觉上对齐的逼真音轨。我们扩展了我们之前提出的自动Foley数据集,以使用FoleyGAN进行训练,并通过人类调查评估我们的合成声音,该调查显示出值得注意的(平均81%)视听同步性能。与其他基线模型和视听数据集相比,我们的方法在统计实验中也表现出色。
2021-07-20 cs.AI cs.CV cs.LG
GMS-CAVP: Improving Audio-Video Correspondence with Multi-Scale Contrastive and Generative Pretraining
Carnegie Mellon University(卡内基梅隆大学);MBZUAI;Tsinghua University(清华大学)
GMS-CAVP通过多尺度对比和生成预训练方法提升音频视频对应关系建模,实现更深入的跨模态理解和高保真生成。
2026-01-27 cs.AI cs.CV cs.LG
SpecMaskFoley: Steering Pretrained Spectral Masked Generative Transformer Toward Synchronized Video-to-audio Synthesis via ControlNet
Sony Group Corporation, Japan(日本索尼集团公司)
SpecMaskFoley通过ControlNet引导预训练SpecMaskGIT模型,并设计频率感知时间特征对齐器解决视频时间特征与音频时频特性差异,在拟音合成基准上超越从头训练基线。
2025-07-17 cs.AI cs.LG cs.SD