SAGA: Stochastic Whole-Body Grasping with Contact
ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
人类抓握的合成有许多应用,包括AR/VR,视频游戏和机器人。虽然已经提出了方法来生成逼真的手-物体交互,用于物体抓取和操纵,但这些方法通常只考虑交互手。我们的目标是合成全身抓握动作。从一个任意的初始姿态开始,我们的目标是产生多样的和自然的全身人体运动,以接近和掌握在3D空间中的目标对象。这项任务具有挑战性,因为它需要对全身动力学和灵巧的手指运动进行建模。为此,我们提出了SAGA(随机全身抓取与contAct),一个框架,其中包括两个关键组成部分:(a)静态全身抓取姿势生成。具体来说,我们提出了一个多任务生成模型,共同学习静态全身抓取姿势和人-物体接触。(b)抓取动作填充。给定初始姿势和生成的全身抓取姿势分别作为运动的开始和结束,我们设计了一种新的接触感知生成运动填充模块,以生成各种各样的抓取运动。我们证明了我们的方法的有效性,这是一种新的生成框架来合成逼真的和富有表现力的全身运动,方法和把握随机放置的看不见的对象。代码和模型可在https://jiahaoplus.github.io/SAGA/saga.html上获得。
2022-08-17 cs.CV
VideoFlow: A Conditional Flow-Based Model for Stochastic Video Generation
Google Research, Brain Team(谷歌研究院大脑团队)
原则上,可以建模和预测未来事件序列的生成模型可以学习捕获复杂的现实世界现象,例如物理交互。然而,视频预测的一个核心挑战是未来是高度不确定的:过去对事件的一系列观察可能意味着许多可能的未来。虽然最近的一些作品已经研究了概率模型,可以代表不确定的未来,这样的模型要么是非常昂贵的计算像素级自回归模型的情况下,或不直接优化数据的可能性。据我们所知,我们的工作是第一个提出多帧视频预测与规范化流,它允许直接优化的数据可能性,并产生高质量的随机预测。我们描述了一种建模的潜在空间动态的方法,并证明了基于流的生成模型提供了一个可行的和有竞争力的方法生成建模的视频。
2020-02-12 cs.AI cs.CV cs.LG
A Hierarchical Variational Neural Uncertainty Model for Stochastic Video Prediction
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
预测视频的未来帧是一项具有挑战性的任务,部分原因是潜在的随机现实世界现象。解决此任务的先前方法通常估计表征此随机性的潜在先验,然而不考虑(深度学习)模型的预测不确定性。这种方法通常从生成的帧和地面实况之间的均方误差(MSE)导出训练信号,这可能导致次优训练,特别是当预测不确定性很高时。为此,我们引入了神经不确定性量化器(NUQ)-模型预测不确定性的随机量化,并使用它来衡量MSE损失。我们提出了一个分层的,变分的框架,以获得NUQ的原则性的方式使用一个深,贝叶斯图形模型。我们在四个基准随机视频预测数据集上的实验表明,与最先进的模型相比,我们提出的框架训练更有效(特别是当训练集很小时),同时针对几个评估指标展示了更好的视频生成质量和多样性。
2021-10-06 cs.AI cs.CV cs.LG
AVID: Any-Length Video Inpainting with Diffusion Model
Rutgers University(罗格斯大学);Meta
AVID通过运动模块、可调结构引导及Temporal MultiDiffusion采样流程,解决了文本引导视频修复中的时间一致性、多类型修复和任意时长生成问题。
2024-03-29 cs.CV
Stochastic Coherence Over Attention Trajectory For Continuous Learning In Video Streams
University of Siena(锡耶纳大学);University of Florence(佛罗伦萨大学);Inria(法国国家信息与自动化研究所);Universitè Côte d’Azur(蔚蓝海岸大学)
设计能够生活在环境中并通过观察周围环境进行学习的智能代理是人工智能的长期目标。从纯粹的机器学习角度来看,当代理被阻止利用大型全注释数据集时,挑战就会出现,而是与监督信号的交互在空间和时间上稀疏分布。本文提出了一种新的神经网络为基础的方法,逐步和自主开发的视频流中的像素表示。所提出的方法是基于一个类似人类的注意力机制,允许代理学习,通过观察什么是在参加的位置移动。沿着注意力轨迹的时空随机相干性,与对比项配对,导致自然地应对所考虑的设置的无监督学习标准。与大多数现有的工作不同,学习的表示用于每个帧像素的开集类增量分类,依赖于很少的监督。我们的实验利用3D虚拟环境,他们表明,所提出的代理可以通过观察视频流来学习区分对象。从最先进的模型继承特性并不像人们想象的那么强大。
2022-04-26 cs.AI cs.CV cs.LG
Stochastic Video Generation with a Learned Prior
Courant Institute, New York University(纽约大学柯朗研究所);Facebook AI Research(Facebook人工智能研究部门)
针对视频生成中结果分布不完整和模糊问题,提出一种学习不确定性先验的无监督模型,通过采样与确定性估计结合生成多样且清晰的未来帧。
2018-03-02 cs.AI cs.CV cs.LG
GVCC: Zero-Shot Video Compression via Codebook-Driven Stochastic Rectified Flow
Graduate School of Fundamental Science and Engineering, Waseda University(早稻田大学基础科学与工程研究生院)
GVCC通过预训练视频生成模型直接作为解码器,在极低比特率下实现高质量视频重建,通过编码生成轨迹的随机创新信息,提升压缩效率。
2026-09-28 cs.AI cs.CV
From Here to There: Video Inbetweening Using Direct 3D Convolutions
Google Research(谷歌研究院)
我们考虑的问题,产生合理的和不同的视频序列,当我们只给一个开始和结束帧。这个任务也被称为中间插入,它属于随机视频生成的更广泛领域,通常通过递归神经网络(RNN)来实现。在本文中,我们提出了一种完全卷积模型,直接在像素域中生成视频序列。我们首先获得一个潜在的视频表示使用随机融合机制,学习如何将信息从开始和结束帧。我们的模型通过逐渐增加时间分辨率来学习产生这种潜在表示,然后使用3D卷积在时空域中进行解码。该模型通过最小化对抗损失进行端到端训练。在几个广泛使用的基准数据集上的实验表明,它能够生成有意义的和多样化的中间视频序列,根据定量和定性的评价。
2019-06-04 cs.AI cs.CV cs.LG
Stochastic Video Prediction with Structure and Motion
Koç University(科奇大学)
虽然随机视频预测模型能够在不确定性下进行未来预测,但它们大多无法对现实世界场景的复杂动态进行建模。例如,它们不能为具有移动相机的场景和驾驶场景中独立移动的前景对象提供可靠的预测。现有的方法不能完全捕捉动态的结构化世界只关注像素的变化。在本文中,我们假设有一个潜在的过程,在视频中创建的意见,并建议将其分解为静态和动态组件。我们建立的静态部分的基础上的场景结构和自我运动的车辆,和动态部分的基础上的剩余运动的动态对象。通过学习前景和背景中变化的单独分布,我们可以将场景分解为静态和动态部分,并分别对每个部分的变化进行建模。我们的实验表明,解开结构和运动有助于随机视频预测,从而在两个真实驾驶数据集KITTI和Cityscapes上的复杂驾驶场景中实现更好的未来预测。
2022-04-29 cs.CV cs.LG
Stochastic Latent Residual Video Prediction
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);LIP6(巴黎第六大学计算机实验室);Criteo AI Lab(Criteo人工智能实验室)
设计视频预测模型来考虑未来的固有不确定性是一项挑战。文献中的大多数作品都是基于随机图像自回归递归网络,这引起了一些性能和适用性问题。另一种方法是使用完全潜在的时间模型,解开帧合成和时间动态。然而,由于设计和训练困难,在文献中还没有提出这样的随机视频预测模型。在本文中,我们克服了这些困难,通过引入一种新的随机时间模型,其动态在一个潜在的空间由残差更新规则。这种一阶格式是由微分方程的离散化方案所激发的。它自然地对视频动态进行建模,因为它允许我们更简单,更可解释的潜在模型在具有挑战性的数据集上优于现有的最先进的方法。
2020-08-07 cs.CV cs.LG stat.ML
Inference-time Stochastic Refinement of GRU-Normalizing Flow for Real-time Video Motion Transfer
Department of Industrial and Management Systems Engineering(工业与管理系统工程系);School of Mathematical and Data Sciences(数学与数据科学学院)
本文提出一种在推理时结合随机采样和GRU-NF的改进方法,以提升实时视频运动转移中未来预测的多样性和准确性。
2026-02-02 cs.CV cs.LG
Stochastic Adversarial Video Prediction
University of California, Berkeley(加利福尼亚大学伯克利分校)
要想预测未来可能发生的事情,就需要深入了解支配世界的物理和因果规则。能够做到这一点的模型有许多吸引人的应用,从机器人规划到表示学习。然而,学习预测原始的未来观察结果(例如视频中的帧)是非常具有挑战性的-问题的模糊性可能导致一个天真设计的模型将可能的未来平均为一个单一的模糊预测。最近,这已经通过两种不同的方法来解决:(a)显式建模潜在随机性的潜在变分变量模型和(b)旨在产生自然图像的逆向训练模型。然而,标准的潜变量模型很难产生现实的结果,而标准的逆向训练模型没有充分利用潜变量,无法产生多样化的预测。我们表明,这些不同的方法实际上是互补的。将两者结合起来,可以产生对人类评级者来说更现实的预测,并更好地涵盖可能的未来范围。我们的方法在这些方面优于先前和并发的工作。
2018-04-04 cs.AI cs.CV cs.LG
Long-horizon video prediction using a dynamic latent hierarchy
Huawei Technologies R&D(华为技术研发)
众所周知,视频预测和生成的任务非常困难,这一领域的研究主要限于短期预测。虽然受到噪声和随机性的困扰,但视频由时空层次结构中组织的特征组成,不同的特征具有不同的时间动态。在本文中,我们介绍了动态潜在层次(DLH)-一种深度层次潜在模型,将视频表示为在单独和流体时间尺度上演变的潜在状态层次结构。每个潜在状态都是一个混合分布,有两个组成部分,代表最近的过去和预测的未来,导致模型只学习足够不相似的状态之间的转换,同时将时间上持久的状态聚集在一起。使用这个独特的属性,DLH自然地发现数据集的时空结构,并在其层次结构中学习分解的表示。我们假设这简化了视频的时间动态建模任务,提高了长期依赖关系的学习,并减少了错误积累。作为证据,我们证明了DLH在视频预测方面优于最先进的基准,能够更好地表示随机性,以及动态调整其层次和时间结构。我们的论文展示了表示学习的进步如何转化为预测任务的进步。
2023-01-09 cs.AI cs.CV cs.LG
Two Frames Matter: A Temporal Attack for Text-to-Video Model Jailbreaking
College of Science, Mathematics and Technology, Wenzhou-Kean University(科学、数学与技术学院,温州市凯恩大学);State Key Laboratory of Complex & Critical Software Environment, Beihang University(复杂与关键软件环境国家重点实验室,北航);AI Security Lab(360人工智能安全实验室)
本文提出TFM攻击方法,通过碎片化提示和隐式替换,提高文本到视频模型的劫持效果,显著提升攻击成功率。
2026-03-07 cs.CR cs.CV
STDiff: Spatio-temporal Diffusion for Continuous Stochastic Video Prediction
本文提出STDiff视频预测模型,通过分解运动与内容信息,结合神经随机微分方程与图像扩散模型自回归生成视频帧,实现了最先进性能及任意高帧率的无监督时间连续预测。
2023-12-11 cs.CV
Stochastic Image-to-Video Synthesis using cINNs
Heidelberg University(海德堡大学);Ryerson University(瑞尔森大学);Vector Institute for AI(Vector人工智能研究所);Samsung AI Centre Toronto(三星多伦多人工智能中心)
视频理解需要一个模型来学习静态场景内容及其动态之间的特征相互作用:给定一幅图像,模型必须能够预测所描绘场景的未来进展,相反,视频应该根据其静态图像内容和初始帧中不存在的所有剩余特征来解释。这自然暗示视频域与静态内容以及残余信息之间的双射映射。与常见的随机图像到视频合成相比,这样的模型不仅仅生成推进初始图像的任意视频。给定此图像,它在采样时提供残差向量和具有随机结果的视频之间的一对一映射。该方法自然使用条件可逆神经网络(cINN)来实现,该cINN可以通过独立地对静态和其他视频特征进行建模来解释视频,从而为受控视频合成奠定基础。四个不同的视频数据集上的实验证明了我们的方法在合成结果的质量和多样性方面的有效性。我们的项目页面可以在https://bit.ly/3t66bnU上找到。
2021-06-17 cs.CV
Learning Stochastic Bridges for Video Object Removal via Video-to-Video Translation
提出基于随机桥接模型的视频到视频翻译框架,利用输入视频的结构先验引导对象移除,并通过自适应掩码调制策略平衡背景保真度与生成灵活性,显著提升视觉质量和时间一致性。
2026-06-29 cs.CV
HAVANA: Hierarchical stochastic neighbor embedding for Accelerated Video ANnotAtions
Delft University of Technology(代尔夫特理工大学)
针对视频标注耗时的问题,提出基于HSNE的HAVANA标注流水线,通过多尺度特征表示加速标注,实现10倍以上点击量 reduction,验证了有效性并探究了最优参数配置。
2024-09-16 cs.CV
From Deterministic to Generative: Multi-Modal Stochastic RNNs for Video Captioning
University of Electronic Science and Technology of China(电子科技大学);Chinese Academy of Sciences(中国科学院);Delft University of Technology(代尔夫特理工大学)
视频描述在本质上是一个复杂的自然过程,这是由各种不确定性所产生的视频内容,主观判断等,在本文中,我们建立在使用编码器-解码器的框架视频描述的最新进展,并解决我们发现是一个关键的不足,现有的方法,大多数的解码器传播确定性隐藏状态。这种复杂的不确定性不能有效地建模的确定性模型。在本文中,我们提出了一种生成方法,称为多模态随机RNN网络(MS-RNN),它使用潜在随机变量对数据中观察到的不确定性进行建模。因此,MS-RNN可以提高视频描述的性能,并且考虑不同的随机因素来生成多个句子来描述视频。具体来说,首先提出了一种多模态LSTM(M-LSTM)来与视觉和文本特征进行交互,以捕获高级表示。然后,提出了一种后向随机LSTM(S-LSTM),通过引入潜变量来支持不确定性传播。在具有挑战性的数据集MSVD和MSR-VTT上的实验结果表明,我们提出的MS-RNN方法优于最先进的视频描述基准。
2017-10-20 cs.CV
Deep Sequence Learning for Video Anticipation: From Discrete and Deterministic to Continuous and Stochastic
The Australian National University(澳大利亚国立大学)
视频预测是在给定有限的部分观察的情况下预测一个/多个未来表示的任务。这是一项具有挑战性的任务,因为在有限的观察下,未来的表示可能非常模糊。基于任务的性质,视频预期可以从两个角度考虑:细节水平和预测未来的确定性水平。在这项研究中,我们从预测确定性未来的粗表示开始,然后转向预测随机过程的连续和细粒度的未来表示。前者的例子是视频动作预测,其中我们感兴趣的是预测一个动作标签给定的部分观察到的视频和后者的例子是预测多个不同的人类运动的延续给定的部分观察到的一个。特别是,在这篇论文中,我们作出了一些贡献的文学视频预测…
2020-10-09 cs.CV
Stochastic Variational Video Prediction
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Berkeley(加州大学伯克利分校);Google Brain(谷歌大脑)
在现实世界中预测未来,特别是从原始的感官观察,如图像,是非常具有挑战性的。现实世界的事件可能是随机和不可预测的,自然图像的高维性和复杂性要求预测模型建立对自然世界的复杂理解。许多现有的方法通过对环境进行简化假设来解决这个问题。一个常见的假设是,结果是确定性的,只有一个合理的未来。这可能导致在具有随机动态的真实世界设置中的低质量预测。在本文中,我们开发了一种随机变分视频预测(SV2P)方法,预测其潜在变量的每个样本的不同可能的未来。据我们所知,我们的模型是第一个为现实世界的视频提供有效的随机多帧预测。我们证明了所提出的方法在预测多个真实世界的数据集上的视频的详细未来帧的能力,无论是无动作的还是有动作条件的。我们发现,我们提出的方法产生大幅改善的视频预测相比,相同的模型没有随机性,和其他随机视频预测方法。我们的SV2P实现将在发布时开源。
2018-03-06 cs.CV cs.RO
Temporal Stochastic Softmax for 3D CNNs: An Application in Facial Expression Recognition
École de technologie supérieure(高等技术学院);Concordia University(康考迪亚大学)
训练深度学习模型以准确地时空识别视频中的面部表情需要大量的计算资源。出于实际原因,3D卷积神经网络(3D CNN)通常使用从视频中随机提取的相对较短的剪辑进行训练。然而,这样的均匀采样通常是次优的,因为相等的重要性被分配给每个时间剪辑。在本文中,我们提出了一种基于视频的3D CNN有效训练策略。它依赖于softmax时间池和加权采样机制来选择最相关的训练片段。所提出的softmax策略提供了几个优点:由于有效的剪辑采样而降低了计算复杂性,并且由于时间加权在训练和推理期间都集中于更相关的剪辑而提高了准确性。在几个面部表情识别基准上使用所提出的方法获得的实验结果显示了在训练视频中关注更多信息片段的好处。特别是,我们的方法提高了性能和计算成本,减少不准确的修剪和粗略的视频注释的影响,以及视觉信息在不同时间的异构分布。
2020-11-10 cs.CV cs.LG
Dual-MTGAN: Stochastic and Deterministic Motion Transfer for Image-to-Video Synthesis
Graduate Institute of Communication Engineering, National Taiwan University(台湾大学通讯工程研究所);ASUS Intelligent Cloud Services(华硕智能云服务)
在计算机视觉中,生成具有内容和运动变化的视频是一项具有挑战性的任务。虽然GAN的最新发展允许从潜在表示生成视频,但是生成具有感兴趣的运动模式的特定内容的视频并不容易。在本文中,我们提出了双运动传输GAN(Dual-MT GAN),它以图像和视频数据作为输入,同时学习解纠缠的内容和运动表示。我们的Dual-MTGAN能够执行确定性运动传输和随机运动生成。基于给定的图像,前者保留输入内容并转移从另一个视频序列中观察到的运动模式,而后者直接基于输入图像产生具有合理但多样的运动模式的视频。所提出的模型以端到端的方式进行训练,而不需要利用预定义的运动特征,如姿势或面部标志。我们的定量和定性结果将证实我们的模型在解决这种条件图像到视频任务的有效性和鲁棒性。
2021-02-26 cs.CV
Lightweight Stochastic Video Prediction via Hybrid Warping
Waseda University(早稻田大学);Yokohama National University(横滨国立大学)
针对长期视频预测中运动动态、遮挡及不确定性问题,本文提出 SVPHW,融合前向与后向变形并采用基于 MobileNet 的轻量架构,在两个基准上达到最优性能。
2024-12-04 cs.CV
Stochastic Backpropagation: A Memory Efficient Strategy for Training Video Models
AWS AI Labs(AWS人工智能实验室);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
我们提出了一种名为随机反向传播(SBP)的内存高效方法,用于在视频上训练深度神经网络。它是基于这样的发现,即来自反向传播的不完全执行的梯度仍然可以以最小的准确性损失有效地训练模型,这归因于视频的高冗余。SBP保留所有前向路径,但在每个训练步骤中随机且独立地移除每个网络层的后向路径。它通过消除缓存与丢弃的反向路径对应的激活值的需要来降低GPU内存成本,其数量可以通过可调整的保持比率来控制。实验表明,SBP可以应用于视频任务的各种模型,节省高达80.0%的GPU内存和10%的训练加速,动作识别和时间动作检测的准确率下降不到1%。
2022-03-31 cs.CV
Deep Variational Luenberger-type Observer for Stochastic Video Prediction
本研究结合随机状态空间模型与深度神经网络,提出基于变分编码器与 Luenberger 型观测器的深度变分模型,通过推导稳定性理论提升鲁棒性,并在 Bouncing Balls 和 Pendulum 数据集上优于同期工作。
2023-09-10 cs.CV
iPOKE: Poking a Still Image for Controlled Stochastic Video Synthesis
Ludwig Maximilian University of Munich(路德维希·马克西米利安慕尼黑大学);Heidelberg University(海德堡大学)
一个静态的场景会对一个局部的戳有什么反应?如果你能局部地推动一个物体,那么它的其他部分会受到什么影响呢?尽管我们世界的随机性造成了明显的变化,但仍会有独特的运动。这些结果是由物体的特征运动学决定的,这些运动学决定了由局部相互作用引起的物体的整体运动。相反,物体的运动提供了关于其基本的独特运动学及其部件之间的相互依赖性的关键信息。这种双向关系促使学习对象运动学和合理的未来图像序列之间的双射映射。因此,我们提出了iPOKE -可逆预测的对象Kinetics-,条件的初始帧和本地戳,允许采样对象的运动学,并建立一个一对一的对应关系,相应的似是而非的视频,从而提供了一个受控的随机视频合成。与以前的作品相比,我们不会生成任意逼真的视频,而是提供有效的运动控制,同时仍然捕捉我们环境的随机性和它所带来的合理结果的多样性。此外,我们的方法可以转移到新的对象实例的运动学,并不局限于特定的对象类。我们的项目页面可在https://bit.ly/3dJN4Lf上找到。
2021-10-06 cs.CV
Visual Representation Learning with Stochastic Frame Prediction
KAIST(韩国科学技术院);UC Berkeley(加州大学伯克利分校);Dyson Robot Learning Lab(戴森机器人学习实验室)
本文提出结合随机帧预测与掩码图像建模的自监督视觉表征学习框架,以共享解码器高效学习时序和帧内稠密信息,并在视频与机器人任务上验证有效性。
2024-08-08 cs.AI cs.CV cs.LG
E2V-SDE: From Asynchronous Events to Fast and Continuous Video Reconstruction via Neural Stochastic Differential Equations
事件摄像机对场景中的亮度变化做出异步响应,并独立于每个像素。由于这些属性,这些相机具有独特的功能:高动态范围(HDR),高时间分辨率和低功耗。然而,事件相机的结果应该被处理成计算机视觉任务的替代表示。此外,它们通常很吵,在事件很少的区域性能很差。近年来,许多研究人员试图从事件中重建视频。然而,由于缺乏来自不规则和不连续数据的时间信息,它们不能提供高质量的视频。为了克服这些困难,我们引入了一个E2 V-E2 V,其动力学是由随机微分方程(E2 V)的潜空间。因此,E2 V-SVM可以在任意时间步长快速重建图像,并对看不见的数据进行现实的预测。此外,我们成功地采用了各种图像合成技术,提高图像清晰度和时间一致性。通过对模拟和真实场景数据集进行广泛的实验,我们验证了我们的模型在各种视频重建设置下的性能优于最先进的方法。在图像质量方面,LPIPS评分提高了12%,重建速度比ET-Net高出87%。
2022-10-13 cs.CV cs.LG eess.IV
SLAMP: Stochastic Latent Appearance and Motion Prediction
Koç University(科奇大学);Hacettepe University(哈斯特帕大学)
运动是视频预测的一个重要线索,通常用于将视频内容分为静态和动态分量。大多数以前的工作利用运动是确定性的,但也有随机方法,可以模拟未来的固有不确定性。现有的随机模型要么没有明确的原因运动或限制的假设静态部分。在本文中,我们的原因是外观和运动的视频随机预测的基础上的运动历史的未来。没有历史的运动的显式推理已经达到了当前随机模型的性能。运动历史通过允许预测未来几帧的一致动态来进一步改进结果。我们的模型在通用视频预测数据集上的表现优于最先进的模型,但是,在具有复杂运动和动态背景的两个具有挑战性的现实世界自动驾驶数据集上的表现明显优于它们。
2021-08-05 cs.CV
Dyn-HaMR: Recovering 4D Interacting Hand Motion from a Dynamic Camera
Imperial College London(伦敦帝国学院)
Dyn-HaMR首次从动态相机单目视频中重建4D全局手部运动,通过结合SLAM、交互手部先验和分层初始化的多阶段优化流程,显著优于现有方法并建立新基准。
2025-05-31 cs.CV
High Fidelity Video Prediction with Large Stochastic Recurrent Neural Networks
University of Michigan(密歇根大学);Google(谷歌);Google Research(谷歌研究院);Adobe Research(奥多比研究院)
预测未来的视频帧极具挑战性,因为有许多变化因素构成了帧如何随时间变化的动态。以前提出的解决方案需要在具有高度专业化计算的网络架构内进行复杂的归纳偏置,包括分割掩码、光流以及前景和背景分离。在这项工作中,我们质疑这种手工制作的架构是否有必要,而是提出了一种不同的方法:在最大化网络容量的同时,为视频预测找到最小的归纳偏差。我们通过进行第一次大规模的实证研究来研究这个问题,并通过在三个不同的数据集上学习大型模型来展示最先进的性能:一个用于建模对象交互,一个用于建模人类运动,一个用于建模汽车驾驶。
2019-11-05 cs.CV
State-space Decomposition Model for Video Prediction Considering Long-term Motion Trend
Xi’an Jiaotong University(西安交通大学)
针对现有状态空间模型在非平稳动态场景下长期运动推断的难题,提出一种状态空间分解随机视频预测模型,将生成解耦为外观与运动预测,通过条件帧推断长期运动趋势指导生成,在多数据集上性能优于基线。
2024-04-17 cs.CV
Visual Dynamics: Stochastic Future Generation via Layered Cross Convolutional Networks
我们研究的问题,从一个单一的输入图像合成的一些可能的未来帧。与以确定性或非参数方式解决此问题的传统方法相比,我们建议以概率方式对未来帧进行建模。我们的概率模型使我们能够从单个输入图像中采样和合成许多可能的未来帧。为了合成物体的真实运动,我们提出了一种新的网络结构,即交叉卷积网络;该网络将图像和运动信息分别编码为特征图和卷积核。在实验中,我们的模型表现良好的合成数据,如2D形状和动画游戏精灵,并在现实世界的视频帧。我们对学习的网络表示进行了分析,表明它正在隐式地学习对象外观和运动的紧凑编码。我们还展示了它的一些应用,包括视觉类比制作和视频外推。
2019-08-09 cs.AI cs.CV cs.LG
Ani3DHuman: Photorealistic 3D Human Animation with Self-guided Stochastic Sampling
City University of Hong Kong(香港城市大学)
Ani3DHuman通过结合运动学动画与视频扩散先验,利用自引导随机采样实现逼真3D人体动画生成。
2026-02-22 cs.CV cs.GR cs.LG
Text Is MASS: Modeling as Stochastic Embedding for Text-Video Retrieval
Rochester Institute of Technology(罗切斯特理工学院);Amazon Prime Video(亚马逊Prime视频);Army Research Laboratory(陆军研究实验室)
针对文本-视频检索中单一文本嵌入表达能力不足的问题,本文提出随机文本建模方法 T-MASS,通过相似度感知半径模块和支持文本正则化将文本建模为具有弹性语义范围的随机嵌入,在五个基准数据集上取得最先进性能。
2024-03-26 cs.CV
Stochastic Talking Face Generation Using Latent Distribution Matching
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);NVIDIA(英伟达)
仅仅根据听到的声音就能想象出一张会说话的脸的视觉效果,这是人类独有的能力。最近已经有许多作品解决了这种能力。我们与这些方法的不同之处在于,基于单个音频输入实现了各种说话面部生成。事实上,仅仅是能够生成一张会说话的脸就可以让一个系统在本质上几乎是机器人。相比之下,我们的无监督随机音频到视频生成模型允许从单个音频输入生成不同的生成。特别是,我们提出了一个无监督的随机音频到视频生成模型,可以捕获多种模式的视频分布。我们确保所有不同的世代都是合理的。我们这样做,通过一个原则性的多模态变分自编码器框架。我们在具有挑战性的LRW和GRID数据集上证明了其有效性,并表现出比基线更好的性能,同时能够生成多个不同的嘴唇同步视频。
2020-11-21 cs.CV
SLPC: a VRNN-based approach for stochastic lidar prediction and completion in autonomous driving
University of Stuttgart(斯图加特大学);Robert Bosch GmbH(罗伯特·博世有限公司)
预测未来的3D LiDAR点云是一项具有挑战性的任务,在自动驾驶的许多应用中非常有用,例如轨迹预测,姿态预测和决策制定。在这项工作中,我们提出了一个新的LiDAR预测框架,该框架基于生成模型,即变分递归神经网络(VRNNs),名为随机LiDAR预测和完成(SLPC)。我们的算法是能够解决以前的视频预测框架的局限性时,处理稀疏数据空间修复的深度图在即将到来的帧。因此,我们的贡献可以总结如下:我们介绍了从空间稀疏数据预测和完成深度图的新任务,我们提出了一个稀疏版本的VRNN和一个有效的自监督训练方法,不需要任何标签。实验结果表明,我们的框架相比,在视频预测的最先进的方法的有效性。
2021-02-19 cs.AI cs.CV
AutoRefiner: Improving Autoregressive Video Diffusion Models via Reflective Refinement Over the Stochastic Sampling Path
Australian National University(澳大利亚国立大学);Sony AI(索尼人工智能);Sony Group Corporation(索尼集团)
AutoRefiner通过路径噪声细化和反射式KV缓存改进AR-VDMs的样本保真度
2025-12-15 cs.CV
Uncertainty-quantified Pulse Signal Recovery from Facial Video using Regularized Stochastic Interpolants
Johns Hopkins University(约翰霍普金斯大学);University of Virginia(弗吉尼亚大学)
本文提出RIS-iPPG方法,通过正则化随机插值提升面部视频中脉冲信号的恢复质量与不确定性估计,实验表明其在三个数据集上表现优异。
2026-04-12 cs.CV
Diffusion Probabilistic Modeling for Video Generation
University of California Irvine(加州大学欧文分校)
去噪扩散概率模型是一类很有前途的新的生成模型,它标志着高质量图像生成的一个里程碑。本文展示了它们顺序生成视频的能力,在感知和概率预测指标方面超过了以前的方法。我们提出了一个自回归,端到端优化的视频扩散模型的灵感来自神经视频压缩的最新进展。该模型通过使用由逆扩散过程生成的随机残差来校正确定性下一帧预测,从而连续地生成未来帧。我们将这种方法与涉及自然和基于模拟的视频的四个数据集上的五个基线进行比较。我们发现所有数据集的感知质量都有显着改善。此外,通过引入适用于视频的连续排序概率分数(CRPS)的可扩展版本,我们表明,我们的模型在概率帧预测能力方面也优于现有方法。
2022-12-08 cs.CV cs.LG stat.ML
Temporal View Synthesis of Dynamic Scenes through 3D Object Motion Estimation with Multi-Plane Images
Indian Institute of Science(印度科学学院)
本文针对动态场景的时间视图合成问题,提出一种将运动解耦为用户与物体运动的框架,利用多平面图像(MPI)结合部分卷积和掩码相关层估计并外推3D物体运动,合成下一帧并填补遮挡区域,实验表明其优于现有方法。
2022-08-19 cs.CV
Wildfire Forecasting with Satellite Images and Deep Generative Model
Beloit College(贝洛伊特学院);SSEC, University of Wisconsin, Madison(威斯康星大学麦迪逊分校空间科学与工程中心);Stanford University(斯坦福大学)
野火预测一直是人文学科想要蓬勃发展的最关键的任务之一。它在保护人类生命方面起着至关重要的作用。另一方面,野火预测是困难的,因为它的随机和混沌特性。我们通过将一系列野火图像解释为视频来解决这个问题,并用它来预测未来火灾的行为。然而,创建考虑未来固有不确定性的视频预测模型具有挑战性。大部分已发表的尝试是基于随机图像自回归递归网络,这会带来各种性能和应用困难,例如计算成本和大规模数据集上的有限效率。另一种可能性是使用结合帧合成和时间动态的完全潜在的时间模型。然而,由于设计和训练问题,在文献中还没有提出这样的随机视频预测模型。本文通过引入一种新的随机时间模型来解决这些问题,该模型的动态是在一个潜在的空间中驱动的。它通过允许我们更轻,更可解释的潜在模型来自然预测视频动态,以击败GOES-16数据集上以前的最先进方法。结果将与各种基准模型进行比较。
2022-08-22 cs.CV
VISTA: Mitigating Semantic Inertia in Video-LLMs via Training-Free Dynamic Chain-of-Thought Routing
School of Electronic and Computer Engineering, Peking University(电子与计算机工程学院,北京大学)
VISTA通过动态推理路由和潜在推理共识机制,缓解视频大语言模型中的语义惯性问题,提升视频理解性能。
2026-01-07 cs.AI cs.CV
Stream Forcing: Constructing Unified Training Trajectory for Robust Streaming Video Generation
Huazhong University of Science & Technology(华中科技大学);Horizon Robotics(地平线机器人);Anyverse Dynamics
针对流视频扩散模型的训练-推理不匹配问题,提出Stream Forcing统一训练框架,通过构建训练轨迹及相关算法,在UCF-101基准测试中FVD分别提升36.6%、27.9%,提升了生成质量与长时序泛化能力。
2026-08-12 cs.CV
Sound2Sight: Generating Visual Dynamics from Sound and Context
Mitsubishi Electric Research Laboratories(三菱电机研究实验室);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
跨模态的学习关联对于鲁棒的多模态推理至关重要,特别是在推理过程中可能缺少模态时。在本文中,我们研究这个问题的背景下,音频条件的视觉合成-一个任务,这是很重要的,例如,在遮挡推理。具体来说,我们的目标是生成未来的视频帧和它们的运动动态条件的音频和一些过去的帧。为了解决这个问题,我们提出了Sound 2Sight,这是一个深度变分框架,它被训练来学习基于音频和过去帧的联合嵌入的每帧随机先验。这种嵌入是通过一个多头注意力为基础的视听Transformer编码器学习。然后对所学习的先验进行采样,以进一步调节视频预测模块以生成未来帧。随机先验允许模型对与所提供的音频和过去上下文一致的多个可能的未来进行采样。此外,为了提高所生成的帧的质量和一致性,我们提出了一个多模式的视频,区分合成和一个真正的视听剪辑。我们在两个新的数据集上实证评估了我们的方法,即(i)带有惊喜障碍的多模态随机移动MNIST,(ii)Youtube绘画;以及现有的Audio-Set Drums数据集。我们广泛的实验表明,Sound 2Sight在生成的视频质量方面明显优于最先进的技术,同时还能生成多样化的视频内容。
2020-07-23 cs.CV cs.LG cs.SD
Self-Supervised Exploration via Disagreement
CMU(卡内基梅隆大学);Facebook AI Research(Facebook人工智能研究院)
有效的探索是感觉运动学习中一个长期存在的问题。在无噪声、非随机的领域,如视频游戏和模拟,已经证明了重大进展。然而,这些公式中的大多数要么在具有随机动态的环境中卡住,要么效率太低,无法扩展到真正的机器人设置。在本文中,我们提出了一个公式的启发工作的探索主动学习文献。具体来说,我们训练一个动力学模型的集合,并激励代理进行探索,以使这些集合的分歧最大化。这允许代理通过以自我监督的方式探索来学习技能,而无需任何外部奖励。值得注意的是,我们进一步利用分歧目标以可区分的方式优化代理的策略,而不使用强化学习,这会导致样本有效的探索。我们证明了这种配方在各种基准环境,包括随机Atari,Mujoco和Unity的有效性。最后,我们实现了我们的微分探索一个真正的机器人,学会完全从头开始与对象进行交互。项目视频和代码在https://pathak22.github.io/exploration-by-disagreement/
2019-06-10 cs.AI cs.CV cs.LG
MoCoGAN: Decomposing Motion and Content for Video Generation
Snap Research(Snap 研究院);NVIDIA(英伟达)
视频中的视觉信号可以分为内容和运动。虽然内容指定了视频中的对象,但运动描述了它们的动态。在此基础上,我们提出了运动和内容分解的生成对抗网络(MoCoGAN)的视频生成框架。所提出的框架通过将随机向量序列映射到视频帧序列来生成视频。每个随机向量由内容部分和运动部分组成。当内容部分保持固定时,运动部分被实现为随机过程。为了以无监督的方式学习运动和内容分解,我们引入了一种利用图像和视频鉴别器的新型对抗学习方案。在几个具有挑战性的数据集上进行的大量实验结果与最先进的方法进行了定性和定量比较,验证了所提出的框架的有效性。此外,我们表明,MoCoGAN允许生成具有相同内容但不同运动的视频以及具有不同内容和相同运动的视频。
2017-12-14 cs.CV
Unsupervised Learning of Object Structure and Dynamics from Videos
Google Research(谷歌研究院)
在没有监督的情况下从视频中提取和预测对象结构和动态是机器学习的主要挑战。为了解决这一挑战,我们采用了基于关键点的图像表示,并学习关键点的随机动力学模型。从关键点和参考帧重建未来帧。通过在关键点坐标空间中建模动态,我们实现了稳定的学习并避免了像素空间中的错误复合。我们的方法改进后,非结构化表示像素级视频预测和下游任务需要对象级的运动动态的理解。我们在不同的数据集上评估我们的模型:多智能体运动数据集,Human3.6M数据集,以及基于DeepMind Control Suite连续控制任务的数据集。空间结构化表示在一系列与运动相关的任务(如对象跟踪、动作识别和奖励预测)上优于非结构化表示。
2020-03-02 cs.CV
Revisiting Hierarchical Approach for Persistent Long-Term Video Prediction
KAIST(韩国科学技术院);Google Research(谷歌研究院);University of Michigan(密歇根大学);MOLOCO;LG AI Research(LG AI研究院)
学习预测视频帧的长期未来是众所周知的挑战,由于在遥远的未来固有的模糊性和预测误差随时间的显着放大。尽管最近在文献中取得了进展,但现有的方法仅限于适度的短期预测(不到几秒钟),而将其外推到更长的未来很快会导致结构和内容的破坏。在这项工作中,我们重新审视视频预测中的分层模型。我们的方法通过首先估计语义结构的序列,然后通过视频到视频的翻译将结构翻译为像素来预测未来的帧。尽管简单,我们表明,建模结构及其动态的离散语义结构空间与随机经常性估计导致令人惊讶的成功的长期预测。我们在涉及汽车驾驶和人类舞蹈的三个具有挑战性的数据集上评估了我们的方法,并证明它可以在很长一段时间内生成复杂的场景结构和运动(即,数千帧),从而设定了具有比现有方法长的数量级的预测时间的视频预测的新标准。完整的视频和代码可以在https://1konny.github.io/HVP/上找到。
2021-04-14 cs.CV
ProxyUp: Training-Free Proxy-Conditioned Video Generation for Controllable Dynamics
Shanghai Jiao Tong University(上海交通大学);Huawei Inc.(华为公司)
现代视频生成模型精确控制复杂动力学具挑战性。提出代理条件视频生成,以代理视频控制前景物体运动。基于预训练模型构建免训练框架ProxyUp,用区域潜在噪声和随机流松弛,实验表明其在动态保真度和文本对齐方面优于基线。
2026-07-07 cs.CV
PlaySlot: Learning Inverse Latent Dynamics for Controllable Object-Centric Video Prediction and Planning
Autonomous Intelligent Systems, Computer Science Institute VI – Intelligent Systems(智能系统);Robotics, Center for Robotics(机器人学);the Lamarr Institute for Machine Learning(拉马尔机器学习研究所);Artificial Intelligence, University of Bonn, Germany(人工智能,波恩大学,德国)
针对现有视频预测方法依赖精确动作标注、难以利用无标注视频的问题,提出以对象为中心的PlaySlot模型,可从无标注视频推断对象表征与潜在动作,生成多类未来场景,在视频预测任务上优于基线,还能高效学习机器人行为。
2025-05-21 cs.CV cs.RO
Point-to-Point Video Generation
National Tsing Hua University(国立清华大学)
虽然图像处理实现了巨大的突破(例如,生成逼真的人脸)近年来,视频生成的探索少得多,并且难以控制,这限制了其在现实世界中的应用。例如,视频编辑需要跨多个剪辑的时间相干性,并且因此在视频序列内提出开始和结束约束。我们引入了点对点视频生成,它通过两个控制点控制生成过程:目标开始帧和结束帧。该任务具有挑战性,因为该模型不仅生成帧的平滑过渡,而且还提前计划以确保生成的结束帧符合各种长度视频的目标结束帧。我们建议在跳帧训练策略下最大化条件数据似然的修正变分下界。我们的模型可以生成序列,使得它们的端帧与目标端帧一致,而不会损失质量和多样性。在随机移动MNIST、Weizmann人体动作和Human3.6M上进行了大量的实验,以评估所提出方法的有效性。我们在一系列场景下演示了我们的方法(例如,动态长度生成),并且定性结果展示了点对点生成的潜力和优点。有关项目页面,请参见https://zswang666.github.io/P2PVG-Project-Page/
2019-08-07 cs.CV
Motion and Context-Aware Audio-Visual Conditioned Video Prediction
National University of Singapore(新加坡国立大学)
本文将音视频条件视频预测解耦为运动与外观建模,利用音频-运动相关性预测光流,并通过运动记忆和上下文感知细化提升长期预测性能,在现有基准上取得有竞争力的结果。
2023-09-20 cs.CV