QueryMamba: A Mamba-Based Encoder-Decoder Architecture with a Statistical Verb-Noun Interaction Module for Video Action Forecasting @ Ego4D Long-Term Action Anticipation Challenge 2024
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Fraunhofer IOSB(弗劳恩霍夫IOSB研究所)
本文提出QueryMamba架构,通过统计动词-名词共现矩阵增强视频动作预测,在Ego4D LTA挑战赛获第二名且名词预测精度第一。
2024-07-04 cs.CV
Dense Semantic Forecasting in Video by Joint Regression of Features and Feature Motion
University of Zagreb, Faculty of Electrical Engineering and Computing(萨格勒布大学电气工程与计算学院);Rimac Automobili(里马茨汽车公司)
密集语义预测通过推断未观察到的未来图像的像素级语义来预测视频中的未来事件。我们提出了一种新的方法,适用于各种单帧架构和任务。我们的方法包括两个模块。移动到运动(F2M)模块预测一个密集的变形场,将过去的特征扭曲到未来的位置。场景到特征(F2F)模块直接回归未来的特征,因此能够解释紧急场景。复合F2MF模型以任务不可知的方式将运动的效果与新颖性的效果进行了比较。我们的目标是将F2MF预测应用于所需单帧模型的最子采样和最抽象的表示。我们的设计利用了相邻时刻的可变形卷积和空间相关系数。我们在三个密集预测任务上进行实验:语义分割、实例级分割和全景分割。结果揭示了三个密集预测任务的最新预测准确性。
2021-12-16 cs.CV
Snipper: A Spatiotemporal Transformer for Simultaneous Multi-Person 3D Pose Estimation Tracking and Forecasting on a Video Snippet
University of Alberta(阿尔伯塔大学);Meta Reality Labs(Meta现实实验室);Spree3D
本文提出Snipper统一框架,通过可变形注意力机制在单阶段内同时完成多人3D姿态估计、跟踪与运动预测,在三个公开数据集上表现媲美专门的最先进基线。
2023-09-12 cs.CV
A deep learning approach to solar-irradiance forecasting in sky-videos
Carnegie Mellon University(卡内基梅隆大学);IBM Research Labs(IBM研究院实验室);GE Power(通用电气电力公司)
面板上入射太阳辐照度的提前预测指示预期的能量产量,并且对于有效的电网分布和规划至关重要。传统上,这些预测是基于气象物理模型,其参数由地球卫星感测的粗粒度辐射瓦片调整。这项研究提出了一种新的应用深度神经网络的方法来观察和估计短期天气的影响,从视频。具体来说,我们使用时间流逝的视频(天空视频)从向上面对的宽镜头相机(天空相机)直接估计和预测太阳辐照度。我们介绍并提出了两个大型的公开提供的数据集,从气象站在北美两个地区使用相对便宜的光学硬件的结果。这些数据集包含超过100万张图像,分别跨越1年和12年,是我们所知的最大的此类集合。与基于卫星的方法相比,所提出的深度学习方法显著降低了临近预报(即,在捕获帧的情况下对太阳辐照度的预测)以及预报(持续时间长达4小时的提前辐照度预测)两者的归一化平均绝对百分比误差。
2019-01-15 cs.CV
Forecasting Future Videos from Novel Views via Disentangled 3D Scene Representation
State University of New York at Buffalo(纽约州立大学布法罗分校)
针对VEST中纠缠表示导致的运动与渲染误差,本文通过3D点云解耦场景几何与运动,并分两阶段预测自运动及动态对象残差运动,在两个城市数据集上优于强基线。
2024-08-02 cs.CV
EMAG: Ego-motion Aware and Generalizable 2D Hand Forecasting from Egocentric Videos
Keio University(庆应义塾大学);NVIDIA(英伟达)
本文提出EMAG方法,通过引入单应性矩阵表示的自我运动及光流、轨迹等模态,解决自我中心视频中2D手部预测受自我运动影响和视觉过拟合问题,在Ego4D和EPIC-Kitchens 55数据集上取得优于先前方法的性能。
2024-08-23 cs.CV
Action Forecasting with Feature-wise Self-Attention
IHPC, A*STAR(新加坡科技研究局高性能计算研究所)
我们提出了一个新的架构,从视频中预测人类的行动。时间递归编码器捕获输入视频的时间信息,而自注意模型用于关注输入空间的相关特征维度。为了处理观测到的视频数据中的时间变化,采用特征掩蔽技术。我们使用辅助分类器对观察到的动作进行准确分类,这有助于理解到目前为止发生了什么。然后,解码器根据递归编码器的输出和自注意模型生成未来的动作。在实验中,我们验证了我们的架构的每个组件,我们看到,自我注意力的影响,以确定相关的特征尺寸,时间掩蔽,并观察到辅助分类。我们评估我们的方法在两个标准的行动预测基准,并获得国家的最先进的结果。
2021-07-19 cs.CV
From Seeing to Predicting: A Vision-Language Framework for Trajectory Forecasting and Controlled Video Generation
Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences(基础模型研究中心、自动化研究所、中国科学院);Peng Cheng Laboratory, Shenzhen, China(鹏城实验室、深圳中国);School of Artificial Intelligence, University of Chinese Academy of Science, Beijing, China(人工智能学院、中国科学院大学、北京中国);Wuhan AI Research, Wuhan, China(武汉人工智能研究、武汉中国);MAPLE Lab, Westlake University(MAPLE实验室、西湖大学)
针对现有视频生成模型运动物理一致性差的问题,提出两阶段物理感知图像到视频生成框架TrajVLM-Gen,通过视觉语言模型预测物理一致的粗粒度轨迹再经注意力机制细化运动,构建轨迹数据集并在基准测试中取得优于现有方法的FVD成绩。
2025-10-01 cs.CV
JEPA Guided Diffusion: Predictive Vision-Language Conditioning for Generative Traffic Forecasting
Ho Chi Minh City University of Technology and Engineering(胡志明市技术教育大学)
提出一种解耦的交通预测框架,利用冻结的V-JEPA编码器提取预测性潜在表示,通过轻量级对齐模块引导冻结的Cosmos扩散模块生成未来视频,在AI City Challenge 2026 Track 5上以75.1297分排名第三,显著降低训练成本。
2026-09-21 cs.CV
Forecasting Human-Object Interaction: Joint Prediction of Motor Attention and Actions in First Person Video
Georgia Institute of Technology(佐治亚理工学院);ETH Zürich(苏黎世联邦理工学院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们解决了在第一人称视频中预测人与物体交互的挑战性任务。大多数现有的方法忽略了相机佩戴者如何与对象交互,或者简单地将身体运动视为单独的模态。相反,我们观察到,国际手部运动揭示了未来活动的关键信息。受此启发,我们采用有意的手部运动作为未来的表示,并提出了一种新的深度网络,该网络联合建模和预测以自我为中心的手部运动、交互热点和未来动作。具体来说,我们将未来的手部运动视为运动注意力,并在我们的深度模型中使用潜变量对这种注意力进行建模。预测的运动注意力进一步被用于识别用于预测动作和交互热点的区分性时空视觉特征。我们提出了广泛的实验证明所提出的联合模型的好处。重要的是,我们的模型在EGTEA Gaze+和EPIC-Kitterfly数据集上产生了新的最先进的动作预测结果。我们的项目页面可以在https://aptx4869lm.github.io/ForecastingHOI/上找到
2020-07-20 cs.CV
Forecasting future action sequences with attention: a new approach to weakly supervised action forecasting
Institute of High Performance Computing, A*STAR(新加坡科技研究局高性能计算研究所)
基于部分行为观测的人类未来行为预测是辅助机器人、视频监控和安全等实际应用中的一个重要问题。我们提出了一种方法来预测行动的视频看不见的未来,使用神经机器翻译技术,使用编码器-解码器架构。该模型的输入是观察到的RGB视频,目标是预测正确的未来符号动作序列。与之前的方法不同,我们预测完成活动所需的完整动作序列。我们把这个任务称为动作序列预测。为了满足两种类型的不确定性在未来的预测,我们提出了一种新的损失函数。我们展示了最优运输和未来不确定性损失的组合有助于改善结果。我们扩展了我们的动作序列预测模型,对两个具有挑战性的数据集,早餐和50沙拉进行弱监督动作预测。具体来说,我们提出了一个模型来预测未来看不见的帧的动作,而无需在训练过程中使用帧级注释。使用Fisher向量特征,我们的监督模型在Breakfast和50Salads数据集上的表现分别优于最先进的动作预测模型0.83%和7.09%。我们的弱监督模型仅落后于最新的最先进的监督模型0.6%,并且获得了与其他已发表的完全监督方法相当的结果,有时甚至在早餐数据集上优于它们。最有趣的是,我们的弱监督模型比以前的模型高出1.04%,利用提出的弱监督架构,并有效地使用注意力机制和损失函数。
2022-02-03 cs.CV
Forecasting Epileptic Seizures from Contactless Camera via Cross-Species Transfer Learning
本文提出基于视频的癫痫发作预测任务,利用短预发作视频片段预测后续5秒内是否会发作,通过跨物种迁移学习利用大量啮齿类动物视频数据提升预测准确性,实验结果显示在纯视频设置下预测准确率超过70%。
2026-03-13 cs.CV cs.LG
Momentum-Guided Semantic Forecasting (MoFore) for Self-Supervised Video Representation Learning
Qinwu Xu, PhD(秦武 Xu 博士)
提出MoFore框架,通过预测未来潜在嵌入进行自监督视频表示学习,结合对比正则化防止表示崩溃,在UCF101上验证了时间一致性和语义结构。
2026-06-16 cs.AI cs.CV cs.LG
Improving Tropical Cyclone Forecasting With Video Diffusion Models
Imperial College London(帝国理工学院);University of Cambridge(剑桥大学)
本文提出用于热带气旋预报的视频扩散模型,通过时间层和两阶段训练同时生成多帧,显著提升预测精度并将可靠预报时效延长至50小时。
2025-05-12 cs.CV physics.ao-ph
Wildfire Forecasting with Satellite Images and Deep Generative Model
Beloit College(贝洛伊特学院);SSEC, University of Wisconsin, Madison(威斯康星大学麦迪逊分校空间科学与工程中心);Stanford University(斯坦福大学)
野火预测一直是人文学科想要蓬勃发展的最关键的任务之一。它在保护人类生命方面起着至关重要的作用。另一方面,野火预测是困难的,因为它的随机和混沌特性。我们通过将一系列野火图像解释为视频来解决这个问题,并用它来预测未来火灾的行为。然而,创建考虑未来固有不确定性的视频预测模型具有挑战性。大部分已发表的尝试是基于随机图像自回归递归网络,这会带来各种性能和应用困难,例如计算成本和大规模数据集上的有限效率。另一种可能性是使用结合帧合成和时间动态的完全潜在的时间模型。然而,由于设计和训练问题,在文献中还没有提出这样的随机视频预测模型。本文通过引入一种新的随机时间模型来解决这些问题,该模型的动态是在一个潜在的空间中驱动的。它通过允许我们更轻,更可解释的潜在模型来自然预测视频动态,以击败GOES-16数据集上以前的最先进方法。结果将与各种基准模型进行比较。
2022-08-22 cs.CV
Physics-Grounded Motion Forecasting via Equation Discovery for Trajectory-Guided Image-to-Video Generation
Monash University(墨尔本大学);Harbin Institute of Technology(哈尔滨工业大学);Institute for Clarity in Documentation(文档清晰研究所);Inria Paris-Rocquencourt(巴黎-罗quentcourt研究所);Rajiv Gandhi University(拉朱·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕勒尔研究实验室)
提出融合符号回归与轨迹引导图像到视频生成的框架,通过发现运动方程预测物理准确轨迹,无需微调即可提升生成视频的物理对齐性。
2025-07-09 cs.AI cs.CV
CosmosAlign: Adapting a World Foundation Model for Generative Traffic Video Forecasting
Simon Fraser University(西蒙菲莎大学);Institut Polytechnique de Paris(巴黎综合理工学院)
该研究提出基于Cosmos3-Nano的CosmosAlign框架,通过两阶段LoRA适配与推理优化,在AI City Challenge 2026 Track 5基准中获76.49分排名第一,实现了高质量交通视频预测。
2026-08-11 cs.AI cs.CL cs.CV
A Novel Transformer Network with Shifted Window Cross-Attention for Spatiotemporal Weather Forecasting
Khalifa University(哈利法大学)
地球观测站是一个不断发展的研究领域,可以利用人工智能的力量进行短期预测,即即时预测场景。在这项工作中,我们使用视频Transformer网络来应对天气预报的挑战。视觉Transformer架构已经在各种应用中被探索,主要约束是注意力的计算复杂性和数据饥饿训练。为了解决这些问题,我们建议使用视频Swin-Transformer,再加上一个专用的增强方案。此外,我们采用渐进的空间减少的编码器侧和解码器上的交叉注意。该方法在Weather 4Cast 2021天气预报挑战数据上进行了测试,该数据需要从每小时天气产品序列中预测8小时的未来帧(每小时4帧)。将数据集归一化为0-1,以便于在不同数据集上使用评价指标。当提供有训练数据时,该模型的MSE得分为0.4750,而在不使用训练数据的情况下,在迁移学习期间的MSE得分为0.4420。
2022-08-02 cs.CV
EggHand: A Multimodal Foundation Model for Egocentric Hand Pose Forecasting
DGIST, Republic of Korea(韩国忠南科学技术院)
本文提出EggHand模型,通过结合视觉-语言-动作模型的动作解码器和第一人称视频-文本编码器,实现对第一人称视频中手姿态序列的预测,提升了在剧烈视角变化下的鲁棒性和可控性。
2026-05-08 cs.CV
Leveraging Temporal Joint Depths for Improving 3D Human Pose Estimation in Video
Mobility Technologies Co., Ltd.
从视频的每帧中估计的2D姿态预测3D姿态的方法的有效性已经被证明用于3D人体姿态估计。然而,没有人的外观信息的2D姿态相对于联合深度具有很大的模糊性。在本文中,我们提出了在视频的每一帧中估计3D姿态,并考虑时间信息对其进行细化。该方法减少了联合深度的模糊性,提高了3D姿态估计精度。
2020-11-04 cs.CV
Learning to Forecast Videos of Human Activity with Multi-granularity Models and Adaptive Rendering
Simon Fraser University(西蒙弗雷泽大学)
我们提出了一种方法来预测视频的复杂的人类活动,涉及多个人。直接的像素级预测过于简单,无法处理复杂活动中的外观变化。因此,我们开发新的中间表示。提出了一种结合用于预测人体姿态的分层时间模型和用于绘制目标外观的编码器-解码器卷积神经网络的架构。我们的层次模型捕捉人与人之间的互动,采用动态的基于组的互动机制。接下来,我们的外观渲染网络通过使用全卷积网络学习自适应外观过滤器来编码目标的外观。最后,将这些滤波器放入编码器-解码器神经网络中完成渲染。我们证明了我们的模型可以生成优于最先进方法的视频,并且可以在视频预测中处理复杂的人类活动场景。
2017-12-05 cs.CV
Leveraging Trajectory Prediction for Pedestrian Video Anomaly Detection
University of Michigan(密歇根大学)
视频异常检测是视觉领域的一个核心问题。从视频数据中正确检测和识别行人的异常行为将使安全关键型应用成为可能,如监控、活动监控和人机交互。在本文中,我们建议利用轨迹定位和预测的无监督行人异常事件检测。不同于以前的基于重建的方法,我们提出的框架依赖于正常和异常行人轨迹的预测误差来检测空间和时间上的异常。我们在不同时间尺度的真实世界基准数据集上进行了实验,结果表明,我们提出的基于概率预测的异常检测管道在识别视频中行人的异常活动方面是有效和高效的。代码将在https://github.com/akanuasiegbu/Leveraging-Trajectory-Prediction-for-Pedestrian-Video-Anomaly-Detection上提供。
2022-07-05 cs.CV
Deep Video Prediction for Time Series Forecasting
J. P. Morgan AI Research(摩根大通人工智能研究院)
时间序列预测是许多领域决策的基础。在这项工作中,我们解决了预测多个潜在的相互作用的金融资产之间的价格演变的挑战。解决这一问题对政府、银行和投资者来说显然很重要。自回归积分滑动平均(ARIMA)等统计方法被广泛应用于这些问题。在本文中,我们提出了一种新的方法,通过视频预测的经济时间序列预测的多个金融资产。考虑到多个潜在相互作用的金融资产的过去价格,我们的目标是预测未来的价格演变。我们没有将每个时间点的价格快照视为向量,而是将这些价格在2D空间中布局为图像,这样我们就可以利用CNN的力量来学习这些金融资产的潜在表示。因此,这些价格的历史变成了一系列图像,我们的目标变成了预测未来的图像。我们建立在一个国家的最先进的视频预测方法来预测未来的图像。我们的实验涉及在美国股票市场交易的九种金融资产的价格演变的预测任务。所提出的方法优于基线,包括ARIMA,Prophet和所提出的方法的变体,证明了在经济时间序列预测问题中利用CNN的力量的好处。
2021-11-03 cs.CV cs.LG econ.EM
Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction
Visual Geometry Group, University of Oxford(视觉几何组,牛津大学);Naver Labs Europe(Naver欧洲实验室)
Geo4D利用预训练视频扩散模型的动态先验,仅用合成数据训练即可零样本泛化,通过融合点图、视差图和射线图并采用滑动窗口推理,显著提升动态场景单目四维重建精度。
2025-08-19 cs.CV
Exo2EgoPose: Leveraging Exocentric Demonstrations for Vision-Language guided Egocentric 3D Hand Pose Forecasting
University of Electronic Science and Technology of China(电子科技大学)
研究视觉语言引导的自我中心3D手部姿态预测任务,提出Exo2EgoPose框架,利用外心演示补偿自我中心视角线索不足,含双层外心重建模块和全局到局部调制模块,实验显示该方法优于现有技术,具备人机转移能力且有改进。
2026-08-06 cs.CV
How Far Can I Go ? : A Self-Supervised Approach for Deterministic Video Depth Forecasting
University of Surrey(萨里大学);IIT Jodhpur(印度理工学院焦特布尔分校);NTNU(挪威科技大学)
在本文中,我们提出了一种新的自我监督的方法来预测未来的深度估计,未观察到的现实世界的城市场景。这项工作是第一个探索自监督学习的单眼深度估计未来未观察到的视频帧。现有的作品依赖于大量的注释样本来生成未见过的帧的深度的概率预测。然而,这使得它不切实际,因为它需要大量的注释深度样本的视频。此外,这种情况的概率性质,即一个过去可能有多个未来结果,往往导致不正确的深度估计。与以前的方法不同,我们将未观察到的帧的深度估计建模为视图合成问题,其将未观察到的视频帧的深度估计作为辅助任务,同时使用学习的姿势合成视图。这种方法不仅具有成本效益-我们不使用任何地面真实深度进行训练(因此实用),而且具有确定性(过去帧的序列映射到不久的将来)。为了解决这个问题,我们首先开发了一个新的深度预测网络DeFNet,它通过预测潜在特征来估计未观察到的未来的深度。其次,我们开发了一个基于通道注意力的姿态估计网络,估计未观察到的帧的姿态。使用这个学习的姿势,估计的深度图被重建回图像域,从而形成一个自我监督的解决方案。我们提出的方法显示出显着的改善,在Abs Rel指标相比,国家的最先进的替代品的短期和中期的预测设置,基准上KITTI和城市景观。代码可在https://github.com/sauradip/depthForecasting上获得
2022-07-08 cs.CG cs.CV
EcoLens: Leveraging Multi-Objective Bayesian Optimization for Energy-Efficient Video Processing on Edge Devices
Siebel School of Computing and Data Science(计算与数据科学学院)
本文提出EcoLens系统,通过离线配置画像与多目标贝叶斯优化在线动态调整CPU频率、帧过滤、差分阈值和视频比特率,在边缘设备上以最小能耗实现目标推理精度。
2025-05-31 cs.CV
FastVideoEdit: Leveraging Consistency Models for Efficient Text-to-Video Editing
McGill University(麦吉尔大学);The Chinese University of Hong Kong(香港中文大学)
FastVideoEdit利用一致性模型的自一致性特性,实现零样本高效文本到视频编辑,无需反演或额外条件提取,在保持生成质量的同时显著提升编辑速度。
2024-11-18 cs.CV
EgoSpeed-Net: Forecasting Speed-Control in Driver Behavior from Egocentric Video Data
University of Iowa(爱荷华大学);Worcester Polytechnic Institute(伍斯特理工学院)
速度控制预测是驾驶员行为分析中的一个具有挑战性的问题,其目的是预测驾驶员未来控制车辆速度的行为,如制动或加速。在本文中,我们试图解决这一挑战,仅使用以自我为中心的视频数据,在文献中的大多数作品使用第三人称视图数据或额外的车辆传感器数据,如GPS,或两者兼而有之。为此,我们提出了一种新的图卷积网络(GCN)为基础的网络,即EgoSpeed-Net。我们的动机是这样一个事实,即随着时间的推移,物体的位置变化可以为我们预测未来的速度变化提供非常有用的线索。我们首先建模的对象之间的空间关系,从每个类,逐帧,使用完全连接的图形,在其上的GCN应用于特征提取。然后,我们利用一个长短期记忆网络融合这些功能,每类随着时间的推移到一个向量,连接这些向量和预测的速度控制行动使用多层感知器分类。我们在本田研究所驾驶数据集上进行了广泛的实验,并展示了EgoSpeed-Net的卓越性能。
2022-09-27 cs.CV cs.LG
Future Optical Flow Prediction Improves Robot Control & Video Generation
Salesforce AI Research(Salesforce AI研究院);Stony Brook University(石溪大学)
FOFPred通过统一的视觉-语言模型和扩散架构,实现高效的未来光流预测,提升机器人控制与视频生成的性能。
2026-01-15 cs.CV
Forecasting Whole-Brain Neuronal Activity from Volumetric Video
Google Research(谷歌研究院);Harvard University(哈佛大学);HHMI Janelia(霍华德·休斯医学研究所珍妮亚研究园区)
本文研究直接从体积视频预测全脑神经元活动,设计了具有大感受野的深度学习模型以捕捉长程依赖,并在ZAPBench基准上证明其优于基于轨迹的方法,凸显了保留空间结构的优势。
2025-02-27 cs.CV cs.LG q-bio.NC
LIVE: Leveraging Image Manipulation Priors for Instruction-based Video Editing
Nankai University(南开大学);Pengcheng Laboratory(鹏城实验室);Kuaishou Technology(快手科技);Nankai International Advanced Research Institute (SHENZHEN·FUTIAN)(南开国际先进研究院(深圳·福田))
本文提出LIVE框架,结合大规模高质量图像编辑数据和视频数据提升编辑能力,通过帧级噪声策略和两阶段训练策略,构建包含60多项挑战性任务的评估基准,实验表明方法达到SOTA。
2026-04-18 cs.CV
Multi-Modal Fusion of In-Situ Video Data and Process Parameters for Online Forecasting of Cookie Drying Readiness
Department of Mechanical Science and Engineering, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校机械科学与工程系);Department of Mechanical Engineering, University of Michigan(密歇根大学机械工程系)
针对食品干燥就绪状态实时预测难的问题,提出融合原位视频与工艺参数的端到端多模态框架,采用带模态专属编码器和transformer解码器的新架构,在饼干干燥任务中误差仅15秒,性能优于现有方法且适配工业场景。
2025-04-22 cs.CV cs.LG
Leveraging Procedural Knowledge and Task Hierarchies for Efficient Instructional Video Pre-training
Georgia Insitute of Technology(佐治亚理工学院);Google DeepMind(谷歌DeepMind)
该论文提出利用任务层级和程序性步骤作为先验知识,预训练模型Pivot以高效识别和预测教学视频中的任务与步骤,在数据与计算受限时优于基线,实现高效视频推荐。
2025-02-24 cs.CV
Leveraging Auxiliary Information in Text-to-Video Retrieval: A Review
University of Bristol(布里斯托大学)
本综述回顾了81篇利用辅助信息提升文本到视频检索性能的研究论文,详细分析了相关方法论、基准数据集结果及未来研究方向。
2025-05-29 cs.CV
Leveraging Motion Information for Better Self-Supervised Video Correspondence Learning
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院)
提出自监督视频对应学习框架MER,通过运动增强引擎和多簇采样策略捕捉动态运动信息,在视频对象分割和关键点跟踪任务上优于现有方法。
2025-04-30 cs.CV
From Where to How: Continuous 4D Interaction Forecasting from Egocentric Video
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院);Pengcheng Laboratory(鹏城实验室);School of Software, Shandong University(山东大学软件学院)
提出Coherent4D数据集和HIGFlow框架,通过级联的从何处到如何过程,实现基于第一人称视频的连续4D交互位置与全身姿态预测。
2026-09-09 cs.AI cs.CV
LMP: Leveraging Motion Prior in Zero-Shot Video Generation with Diffusion Transformer
East China Normal University(华东师范大学)
针对现有扩散Transformer视频生成模型细粒度运动控制不足、图像到视频运动控制难的问题,提出LMP框架,通过前景背景解耦、重加权运动迁移和外观分离模块,实现零样本下参考运动视频的文本/图像到视频生成,性能达SOTA。
2025-05-20 cs.CV
FakeOut: Leveraging Out-of-domain Self-supervision for Multi-modal Video Deepfake Detection
Reichman University(赖希曼大学)
FakeOut利用多模态域外自监督骨干网络,适应视频深度伪造检测,在跨数据集泛化上达到最先进结果,证明域外训练可提升检测鲁棒性。
2024-02-07 cs.CV
Leveraging Multimodal LLM Descriptions of Activity for Explainable Semi-Supervised Video Anomaly Detection
Department of Electrical Engineering University of South Florida(电气工程系 佛罗里达州立大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
本文提出利用多模态大语言模型描述活动,以实现可解释的半监督视频异常检测,有效检测复杂交互异常并提升模型可解释性。
2026-02-26 cs.CV
Leveraging Endo- and Exo-Temporal Regularization for Black-box Video Domain Adaptation
Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);School of Electrical and Electronic Engineering, NTU(南洋理工大学电气与电子工程学院)
为了使视频模型能够无缝地应用于不同环境中的视频任务,已经提出了各种视频无监督领域自适应(VUDA)方法来提高视频模型的鲁棒性和可移植性。尽管在模型鲁棒性方面有所改进,但这些VUDA方法需要访问源数据和源模型参数以进行自适应,从而引起严重的数据隐私和模型可移植性问题。为了解决上述问题,本文首先制定了黑盒视频领域自适应(BVDA)作为一个更现实的,但具有挑战性的情况下,源视频模型只提供作为一个黑盒预测。虽然在图像域中提出了一些黑盒领域自适应(BDA)方法,但这些方法不能应用于视频域,因为视频模态具有更复杂的时间特征,难以对齐。为了解决BVDA,我们提出了一种新的Endo和eXo-TEmporal正则化网络(EXTERN),通过应用掩码混合策略和视频定制的正则化:时间内正则化和时间外正则化,在剪辑和时间特征上执行,同时从黑箱预测器获得的预测中提取知识。实验结果表明,EXTERN在各种跨域闭集和部分集动作识别基准测试中的性能达到了最先进水平,甚至超过了大多数现有的具有源数据可访问性的视频领域自适应方法。
2022-11-09 cs.CV
Uni-Classifier: Leveraging Video Diffusion Priors for Universal Guidance Classifier
Shanghai Jiao Tong University(上海交通大学);University of Science and Technology of China(中国科学技术大学)
本文提出Uni-Classifier,通过利用视频扩散先验引导前序模型的去噪过程,提升生成质量,适用于视频和3D生成任务。
2026-03-20 cs.CV
Forecasting Human Dynamics from Static Images
University of Michigan(密歇根大学);Adobe Research(Adobe研究院)
本文首次提出了从静态图像中预测人体动态的研究。问题是输入单个RGB图像并在3D中生成即将到来的人体姿势序列。为了解决这个问题,我们提出了3D姿态预测网络(3D-PFNet)。我们的3D-PFNet集成了单图像人体姿态估计和序列预测的最新进展,并将2D预测转换为3D空间。我们使用三步训练策略来训练我们的3D-PFNet,以利用不同来源的训练数据,包括基于图像和视频的人体姿势数据集和3D运动捕捉(MoCap)数据。我们通过定量和定性的结果证明了我们的3D-PFNet在2D姿态预测和3D姿态恢复方面的竞争力。
2017-04-11 cs.CV
Leveraging Modality Tags for Enhanced Cross-Modal Video Retrieval
School of Computer Science University of Bristol(计算机科学学院英国布里斯托尔大学)
针对视频检索的跨模态对齐问题,提出MAC-VR方法,利用基础模型提取的模态特定标签,结合辅助潜在概念的学习与对齐增强跨模态匹配,在多个数据集上取得优于或比肩现有SOTA的效果。
2025-08-31 cs.CV
Unmasking Deep Fakes: Leveraging Deep Learning for Video Authenticity Detection
BRAC University(布拉克大学)
针对Deepfake视频对数字媒体真实性的威胁,本文提出结合MTCNN人脸检测器与EfficientNet-B5编码器的深度学习检测方法,在Kaggle DFDC数据集上取得了93.80%的AUC与86.82%的F1值。
2025-06-15 cs.CV
Leveraging Video Coding Knowledge for Deep Video Enhancement
深度学习技术的最新进展显着提高了压缩视频的质量。然而,以前的方法没有充分利用压缩视频的运动特性,例如视频内容和压缩视频的分层编码结构之间的运动的剧烈变化。这项研究提出了一种新的框架,利用视频压缩的低延迟配置,以增强现有的最先进的方法,BasicVSR++。我们采用了上下文自适应的视频融合方法,以提高压缩视频的最终质量。所提出的方法已在NTIRE22挑战,视频恢复和增强的基准进行了评估,并实现了改进的定量指标和视觉质量相比,以前的方法。
2023-02-27 cs.CV eess.IV
GMG: A Video Prediction Method Based on Global Focus and Motion Guided
College of Atmospheric Sciences, Lanzhou University(兰州大学大气科学学院);College of Computer and Mathematics, Central South University of Forestry and Technology(中央林业科技大学计算机与数学学院);Center for Language and Information Processing, University of Munich (LMU)(慕尼黑大学语言与信息处理中心);Department of Computer Science, University of Manchester(曼彻斯特大学计算机科学系)
本文提出GMG模型,通过全局聚焦和运动引导模块解决时空数据预测中的遥相关特征识别和非刚体运动建模问题,提升预测准确性。
2026-02-11 cs.CV
Leveraging LLMs with Iterative Loop Structure for Enhanced Social Intelligence in Video Question Answering
Keio University(庆应义塾大学)
本文提出循环视频辩论(LVD)框架,融合大语言模型与视觉信息,在Social-IQ 2.0基准上无需微调即达最先进性能,提升视频问答中的社会智能。
2025-03-27 cs.CV
TextOCVP: Object-Centric Video Prediction with Language Guidance
University of Bonn(波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔人工智能机器学习研究所);Center for Robotics(机器人中心)
TextOCVP通过文本指导的对象中心模型实现更精确可控的视频预测,优于现有基线。
2026-02-04 cs.CV
Multi-View Video-Based Learning: Leveraging Weak Labels for Frame-Level Perception
RIKEN(理化学研究所)
本文提出一种利用序列级弱标签训练多视角视频基础模型的新框架,通过潜在损失函数获取各视角嵌入,提升下游帧级动作识别与检测的准确性。
2024-03-19 cs.CV
Clue Matters: Leveraging Latent Visual Clues to Empower Video Reasoning
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院航天信息研究所)
本文提出ClueNet框架,通过两阶段监督微调方法,解决视频推理中视觉线索提取、过滤与推理对齐问题,提升视频问答的准确性和可解释性。
2026-03-16 cs.CV
Predictive Representation Learning for Manipulation via Streaming Egocentric 3D Hand Forecasting
The University of Tokyo(东京大学)
SFHand通过流式注视三维手预测实现具身体验,结合流式自回归架构和增强记忆层,首次在语言引导下实现三维手预测,提升任务成功率。
2026-11-09 cs.CV
Leveraging Temporal Contextualization for Video Action Recognition
Seoul National University(首尔大学);NAVER AI Lab(NAVER AI实验室)
提出视频理解框架 TC-CLIP,通过逐层时间信息注入机制 TC 提取跨帧上下文 token 进行特征编码,并利用 VP 模块生成文本提示,在多种动作识别设置中验证了有效性。
2024-07-24 cs.CV
Simple means Faster: Real-Time Human Motion Forecasting in Monocular First Person Videos on CPU
TCS Research and Innovation Labs(塔塔咨询服务研究与创新实验室)
我们提出了一个简单,快速,轻量级的基于RNN的框架,用于预测第一人称单目视频中人类的未来位置。这项工作的主要动机是设计一个网络,可以在CPU上以非常高的速度准确预测未来的轨迹。这种系统的典型应用将是社交机器人或所有人的视觉辅助系统,因为两者都不能拥有高计算能力,以避免变得更重,更低的功率效率和更昂贵。与许多依赖于多种类型的线索(如摄像机自我运动或人类的2D姿势)的方法相比,我们表明,精心设计的仅依赖于边界框的网络模型不仅可以表现得更好,而且可以以非常高的速度预测轨迹,同时尺寸非常低,约为17 MB。具体来说,我们证明了在过去信息的编码阶段使用自动编码器,并在最后使用正则化层可以提高预测的准确性,而开销可以忽略不计。我们使用三个第一人称视频数据集进行实验:CityWalks,FPL和JAAD。我们在CityWalks上训练的简单方法超过了最先进方法(STED)的预测精度,同时在CPU上的速度提高了9.6倍(STED在GPU上运行)。我们还证明了我们的模型可以将zero-shot或仅经过15%的微调后转移到其他类似的数据集,并在这些数据集(FPL和DTP)上与最先进的方法相提并论。据我们所知,我们是第一个在CPU上以每秒78个轨迹的非常高的预测速度准确预测轨迹的人。
2020-11-10 cs.CV cs.RO