TTPP: Temporal Transformer with Progressive Prediction for Efficient Action Anticipation
University of Electronic Science and Technology of China(电子科技大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人研究院)
视频动作预测的目的是从观察到的帧预测未来的动作类别。目前的最先进的方法主要依靠递归神经网络编码的历史信息到隐藏的状态,并预测未来的行动从隐藏的表示。众所周知,循环流水线在捕获长期信息方面效率低下,这可能会限制其在预测任务中的性能。为了解决这个问题,本文提出了一个简单而有效的时间Transformer与渐进预测(TTPP)框架,它重新使用transformer风格的架构来聚合观察到的特征,然后利用轻量级网络来逐步预测未来的特征和动作。具体地,预测的特征连同预测的概率被累积到后续预测的输入中。我们在三个动作数据集上评估了我们的方法,即TVSeries,THUMOS-14和TV-Human-Interaction。此外,我们还对几种流行的聚合和预测策略进行了全面的研究。大量的结果表明,TTPP不仅优于国家的最先进的方法,而且更有效。
2020-03-07 cs.CV
TransAction: ICL-SJTU Submission to EPIC-Kitchens Action Anticipation Challenge 2021
Imperial College London(帝国理工学院);Shanghai Jiao Tong University(上海交通大学)
在本报告中,我们提供了提交EPIC-Kitchener Action Anticipation Challenge 2021的技术细节。提出了一种用于动作预测的层次化注意力模型,该模型利用基于transformer的注意力机制分别聚合时间维、模态和共生分支的特征。在平均前5名召回行动方面,我们提交的团队名称ICL-SJTU在总体测试集中达到13.39%,在未看到的子集中达到10.05%,在尾子集中达到11.88%。此外,值得注意的是,我们的提交在所有三个(子)集中的动词类方面排名第一。
2021-07-28 cs.CV
Anticipative Feature Fusion Transformer for Multi-Modal Action Anticipation
Fraunhofer IOSB(弗劳恩霍夫光学、电子与精密工程研究所);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
虽然人类动作预测是一项固有的多模态任务,但众所周知的动作预测数据集上的最新方法通过应用集成方法和平均单峰预测网络的分数来利用这些数据。在这项工作中,我们介绍了Transformer为基础的模态融合技术,统一多模态数据在早期阶段。我们的预期特征融合Transformer(AFFT)被证明优于流行的评分融合方法,并在EpicKitchen-100和EGTEA Gaze+上呈现出优于以前方法的最新结果。我们的模型是很容易扩展,并允许添加新的模式,而无需架构的变化。因此,我们在EpicKitchen-100上提取了音频特征,并将其添加到社区中常用的特征集中。
2022-10-23 cs.CV cs.RO
Understanding Multimodal Complementarity for Single-Frame Action Anticipation
Department of Computer Technology, University of Alicante(阿尔瓦雷斯大学计算机技术系);Institute of Computer Science, FORTH(福蒂研究所);Computer Science Department, University of Crete(克里特大学计算机科学系);Department of Management, Science and Technology, Hellenic Mediterranean University(希腊地中海大学管理、科学与技术系)
本研究通过单帧动作预测框架AAG+,探索多模态互补性对动作预测的影响,验证单帧信息在动作预测中的有效性。
2026-01-29 cs.CV
Action Anticipation from SoccerNet Football Video Broadcasts
Aalborg University(奥尔堡大学);Universitat de Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心);University of Liège(列日大学);KAUST(阿卜杜拉国王科技大学)
针对足球赛事转播视频中动作发生前的预测问题,提出动作预测任务并发布SoccerNet Ball Action Anticipation数据集,设计适配FUTR的FAANTRA模型,引入新指标评估,为体育分析提供支持。
2025-04-16 cs.CV
Interaction Region Visual Transformer for Egocentric Action Anticipation
Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局(A*STAR)高性能计算研究所(IHPC));Centre for Frontier AI Research (CFAR), Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局(A*STAR)前沿人工智能研究中心(CFAR))
本文提出InAViT模型,通过空间交叉注意力和轨迹交叉注意力建模手与物体的交互变化,构建以交互为中心的视频表示,在EK100和EGTEA Gaze+上取得最先进的动作预测性能。
2024-01-11 cs.CV
VS-TransGRU: A Novel Transformer-GRU-based Framework Enhanced by Visual-Semantic Fusion for Egocentric Action Anticipation
Northwestern Polytechnical University(西北工业大学)
本文提出VS-TransGRU框架,首次引入语义特征并通过视觉-语义融合模块,结合Transformer编码器与GRU解码器,在第一人称动作预测任务上取得新的最先进性能。
2023-07-08 cs.CV
Untrimmed Action Anticipation
University of Catania(卡塔尼亚大学);Philips Research(飞利浦研究院);Next Vision s.r.l – Spinoff of the University of Catania(Next Vision有限责任公司 - 卡塔尼亚大学衍生公司)
自我中心的行动预测包括预测未来的行动,相机佩戴者将执行从自我中心的视频。虽然该任务最近引起了研究界的注意,但目前的方法假设输入视频是“修剪”的,这意味着在动作开始之前的固定时间对短视频序列进行采样。我们认为,尽管在该领域的最新进展,修剪动作预期在现实世界中的情况下,它是重要的是要处理“未修剪”的视频输入,它不能假设,在该行动将开始的确切时刻是已知的测试时间有一个有限的适用性。为了克服这些限制,我们提出了一个未修剪的动作预测任务,它类似于时间动作检测,假设输入视频在测试时未修剪,同时仍然需要在动作实际发生之前进行预测。我们设计了一个评估程序的方法,旨在解决这个新的任务,并比较几个基线的EPIC-KITCHENS-100数据集。实验表明,目前设计的修剪动作预期模型的性能是非常有限的,需要更多的研究在这方面的任务。
2022-02-08 cs.CV
Hierarchical GRU with Input-Conditioned Slot Queries for Ball Action Anticipation
GameChanger by Dick’s Sporting Goods(迪克体育用品的GameChanger)
提出分层模型,利用局部Transformer、GRU和输入条件化事件槽解码器,结合频率重加权匈牙利匹配和高斯软标签,在SoccerNet基准上实现17.91% mAP。
2026-06-16 cs.CV
Delving into 3D Action Anticipation from Streaming Videos
针对流式视频3D动作预测问题,梳理评估指标与基础模型,探究训练片段长度、采样方法及多任务学习策略的影响,提出带多任务损失的新方法,达基准测试SOTA性能。
2023-06-15 cs.CV
NVIDIA-UNIBZ Submission for EPIC-KITCHENS-100 Action Anticipation Challenge 2022
NVIDIA(英伟达);Free University of Bozen-Bolzano(博尔扎诺自由大学)
在本报告中,我们描述了我们提交的EPIC-Kitchen-100行动预测挑战的技术细节。我们的建模,高阶递归时空Transformer和具有边缘学习的消息传递神经网络,都是基于递归的架构,仅观察2.5秒的推理上下文来形成动作预期预测。通过对使用我们提出的训练管道编译的一组模型的预测得分进行平均,我们在测试集上取得了很好的表现,总体平均前5名召回率为19.61%,在公共排行榜上排名第二。
2022-06-22 cs.CV
A Survey on Deep Learning Techniques for Action Anticipation
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);Fraunhofer IOSB(弗劳恩霍夫光学、系统技术与图像处理研究所);University of Bonn(波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习和人工智能研究所)
本文综述了深度学习在日常生活中动作预测的最新进展,分类并总结了相关方法,探讨了评估指标和数据集,并提出了未来研究方向。
2026-04-12 cs.CV
DiffAnt: Diffusion Models for Action Anticipation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Fraunhofer IOSB(弗劳恩霍夫IOSB研究所);University of Bonn(波恩大学)
本文从生成式视角重新思考动作预测问题,提出基于扩散模型的 DiffAnt 框架,通过在潜空间中从高斯噪声迭代生成未来动作以捕捉不确定性,在四个基准数据集上取得优异效果。
2023-11-27 cs.CV
Bidirectional Action Sequence Learning for Long-term Action Anticipation with Large Language Models
Panasonic Connect Co Ltd(松下连接有限公司);Panasonic Holdings Corporation(松下控股公司);Chubu University(名古屋大学)
针对传统长期动作预测方法单向特性导致的性能局限,提出结合大语言模型的双向动作序列学习方法BiAnt,融合前向与后向预测,在Ego4D数据集上编辑距离指标优于基线。
2025-08-01 cs.CV
Spatio-Temporal Action Detection with Cascade Proposal and Location Anticipation
在这项工作中,我们解决了时间上未修剪的视频中的时空动作检测问题。这是一个重要的和具有挑战性的任务,因为在时间和空间空间中找到准确的人类行为对于分析大规模视频数据非常重要。为了解决这个问题,我们提出了一个级联的建议和位置预测(CPLA)模型的帧级动作检测。我们的模型有几个突出点:(1)级联区域建议网络(casRPN)用于动作建议生成,并表现出更好的定位精度相比,单区域建议网络(RPN);(2)动作时空分布是通过位置预测网络(LAN),因此帧级动作检测不是独立进行的。然后通过解决链接分数最大化问题来链接帧级检测,并在时间上修剪成时空动作管。我们证明了我们的模型在具有挑战性的UCF 101和LIRIS-HARL数据集上的有效性,两者都达到了最先进的性能。
2017-07-31 cs.CV
Action Anticipation with RBF Kernelized Feature Mapping RNN
The Australian National University(澳大利亚国立大学)
我们引入了一种新的基于递归神经网络的算法,用于未来的视频特征生成和动作预测,称为特征映射RNN。我们的新型RNN架构建立在机器学习的三个有效原则之上,即参数共享、径向基函数内核和对抗训练。仅使用视频的一些最早帧,特征映射RNN能够生成未来的特征,其参数仅为传统RNN所需的一小部分。通过将这些未来特征输入到一个简单的多层感知器中,并使用RBF内核层,我们能够准确地预测视频中的动作。在我们的实验中,我们在JHMDB-21数据集上获得了18%的改进,在UCF 101 -24数据集上获得了6%的改进,在UT-交互数据集上获得了13%的改进。
2021-07-11 cs.CV
Towards Streaming Egocentric Action Anticipation
University of Catania(卡塔尼亚大学)
自我中心动作预测是基于过去的视频观察来预测相机佩戴者可能执行的未来动作的任务。虽然在现实世界的系统中,在动作开始之前输出此类预测是至关重要的,但过去的工作通常没有在评估期间关注模型运行时。事实上,目前的评估方案假设预测可以离线进行,因此计算资源不受限制。相比之下,在本文中,我们提出了一个“流”以自我为中心的行动预期评估协议,明确考虑模型运行时间的性能评估,假设预测将仅在当前的视频片段被处理后,这取决于处理时间的方法。根据所提出的评估方案,我们在两个流行的数据集上对不同的以自我为中心的行动预测方法进行了基准测试。我们的分析表明,在所考虑的流媒体场景中,具有较小运行时间的模型往往优于较重的模型,从而改变了通常在标准离线评估中观察到的排名。基于这一观察,我们提出了一个轻量级的动作预测模型,包括在一个简单的前馈3D CNN,我们建议使用知识蒸馏技术和自定义损失进行优化。结果表明,所提出的方法优于现有技术中的流的情况下,也与其他轻量级模型相结合。
2022-05-10 cs.CV
A-ACT: Action Anticipation through Cycle Transformations
University of California, Riverside(加州大学河滨分校);JD.com AI Research(京东人工智能研究院)
虽然动作预测最近已经获得了很多的研究兴趣,大多数的作品集中在预测未来的行动直接通过观察到的视觉线索。在这项工作中,我们后退一步,分析人类预测未来的能力如何转移到机器学习算法中。要将这种能力融入智能系统,一个值得思考的问题是,我们究竟是如何预测的?是通过从过去的经验中预测未来的行动吗?或者是通过模拟基于当前线索的可能场景?最近一项关于人类心理学的研究解释说,在预测发生的事情时,人类的大脑依赖于两个系统。在这项工作中,我们研究的影响,每个系统的行动预期的任务,并引入一个范式,将它们整合在一个学习框架。我们相信,通过利用心理预测模型设计的智能系统将在人类行为预测任务中做得更加细致入微。此外,我们在特征和语义标签空间的时间维度上引入循环变换,以灌输人类基于预测的未来推理过去动作的能力。在Epic-Kitchen、Breakfast和50 Salads数据集上的实验表明,使用两个系统的组合以及循环转换学习的动作预测模型与各种最先进的方法相比表现良好。
2022-04-02 cs.CV
Action Anticipation with Goal Consistency
University of Bonn(波恩大学);Lamarr Institute(拉马尔研究所)
本文提出一种利用高级意图信息进行短期动作预测的方法,通过引入目标预测分支和一致性损失函数,使预测动作符合视频高级目标,在Assembly101和COIN数据集上取得SOTA结果。
2023-06-26 cs.CV
VIENA2: A Driving Anticipation Dataset
ANU(澳大利亚国立大学);ACRV(澳大利亚机器人视觉中心);EPFL(洛桑联邦理工学院);Data61-CSIRO(联邦科学与工业研究组织Data61)
在需要在行动完成之前做出反应的场景中,行动预期是至关重要的。例如,在自动驾驶中,汽车需要,例如,避免撞到行人,尊重交通灯。虽然已经提出了解决方案来解决驾驶预期任务的子集,但通过使用不同的特定于任务的传感器,没有单一的数据集或框架可以以一致的方式解决所有这些问题。因此,在本文中,我们引入了一个新的大规模数据集,称为VIENA2,涵盖5个通用驾驶场景,共有25个不同的动作类。它包含超过15K的全高清,在各种驾驶条件,天气,白天和环境中采集的5s长视频,并辅以一组常见的真实传感器测量。这相当于超过225万帧,每个帧都有一个动作标签,对应于每个动作类600个样本。我们讨论了我们的数据采集策略和数据集的统计数据,并对最先进的动作预测技术进行了基准测试,包括一种新的多模态LSTM架构,该架构具有有效的损失函数,用于驾驶场景中的动作预测。
2018-10-29 cs.CV
Knowledge Distillation for Human Action Anticipation
Stony Brook University(石溪大学)
我们考虑的任务是训练一个神经网络来预测视频中的人类动作。考虑到视频数据的复杂性、未来的随机性以及带注释的训练数据的有限量,该任务具有挑战性。在本文中,我们提出了一种新的知识蒸馏框架,使用一个动作识别网络来监督动作预测网络的训练,指导后者参加正确预测未来的行动所需的相关信息。这个框架是可能的,由于一个新的损失函数,以考虑在动态视频中的语义概念的位置转移。知识蒸馏框架是自监督学习的一种形式,它利用了未标记的数据。在JHMDB和EPIC-KITCHENS数据集上的实验结果表明了该方法的有效性。
2021-10-03 cs.CV
Weakly-Supervised Dense Action Anticipation
National University of Singapore(新加坡国立大学)
密集预期的目的是预测未来的行动及其长期持续时间。现有方法依赖于完全标记的数据,即标有所有未来行动及其持续时间的序列。我们提出了一个(半)弱监督的方法,只使用少量的完全标记的序列和占主导地位的序列,其中只有(一个)即将到来的行动被标记。为此,我们提出了一个框架,生成伪标签为未来的行动和他们的持续时间,并自适应地完善他们通过一个细化模块。仅给定即将到来的动作标签作为输入,这些伪标签指导未来的动作/持续时间预测。我们进一步设计了一个注意力机制来预测上下文感知的持续时间。早餐和50 Salads基准上的实验验证了我们方法的有效性;即使与完全监督的最先进模型相比,我们也具有竞争力。我们将在https://github.com/zhanghaotong1/WSLVideoDenseAnticipation上提供我们的代码。
2021-11-15 cs.CV
Bidirectional Progressive Transformer for Interaction Intention Anticipation
University of Science and Technology of China(中国科学技术大学);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院)
本文提出双向渐进式 Transformer,通过时空重建、双向增强和随机不确定性建模联合预测手部轨迹与交互热点,并在三个基准上达到 SOTA。
2024-05-09 cs.CV
Inductive Attention for Video Action Anticipation
NVIDIA AI Technology Center(英伟达人工智能技术中心);Free University of Bozen-Bolzano(博尔扎诺自由大学)
在视频理解和预测性计算机视觉中,基于时空观测预测未来动作是必不可少的。此外,能够预测未来的模型具有重要的应用,它可以帮助预防系统在事件发生之前做出反应。然而,与动作识别任务不同,未来的信息在观察时是不可访问的-模型不能直接将视频帧映射到目标动作以解决预期任务。相反,需要进行时间推断,以将相关证据与未来可能采取的行动联系起来。因此,基于动作识别模型的现有解决方案仅是次优的。最近,研究人员提出延长观察窗口,以从过去的时刻捕捉更长的行动前配置文件,并利用注意力来检索微妙的证据,以改善预期预测。然而,现有的注意力设计通常使用帧输入作为查询,这是次优的,因为视频帧仅弱连接到未来的动作。为此,我们提出了一个归纳注意力模型,称为IAM,它利用当前的预测先验作为查询来推断未来的动作,可以有效地处理长视频内容。此外,我们的方法考虑了未来的不确定性,通过多对多的关联在注意力设计。因此,IAM在多个大规模以自我为中心的视频数据集上始终优于最先进的预测模型,同时使用显著更少的模型参数。
2023-03-18 cs.CV
Palm: Predicting Actions through Language Models @ Ego4D Long-Term Action Anticipation Challenge 2023
ETH Zürich(苏黎世联邦理工学院)
提出Palm方案,串联图像描述模型与大型语言模型,基于输入视频的帧描述和动作标签预测未来动作,在EGO4D LTA挑战赛中取得最佳性能。
2023-06-28 cs.CV
Analysis over vision-based models for pedestrian action anticipation
Stellantis(斯泰兰蒂斯);Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LORIA(洛林信息学及其应用研究实验室)
本文围绕基于视觉的行人动作预期,提出多种CNN与Transformer时空架构,重点分析模型预测的可解释性,指出即使量化结果正确也可能缺乏类人解释,强调需加强可解释性研究。
2023-05-27 cs.CV
JFAA: Technical Report for the EPIC-KITCHENS-100 Action Anticipation Challenge at EgoVis 2026
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Pengcheng Laboratory(鹏城实验室);Shandong Jianzhu University(山东建筑大学)
本文提出JFAA,一种基于JEPA的未来动作预见方法,用于EPIC-KITCHENS-100动作预见任务。通过冻结编码器和预测器提取观察上下文特征和近未来潜在标记,再训练轻量级注意力探针以预测动词、名词和动作日志。通过构建字段感知的集成模型提高鲁棒性,实验结果表明JFAA在EgoVis 2026 EPIC-KITCHENS-100动作预见挑战中取得第一名。
2026-05-20 cs.CV
From Recognition to Prediction: Leveraging Sequence Reasoning for Action Anticipation
School of Electrical and Information Engineering, Tianjin University(天津大学电气与信息工程学院);Lappeenranta-Lahti University of Technology LUT(拉彭兰塔-拉赫蒂理工大学LUT);School of Computing and Information Technology, Great Bay University(大湾区大学计算与信息技术学院)
本文提出端到端架构 ARR,将动作预判分解为动作识别与序列推理,并通过 NAP 和无监督解码器预训练学习动作统计关系,在三个数据集上验证了有效性。
2024-08-05 cs.CV
Deep Action- and Context-Aware Sequence Learning for Activity Recognition and Anticipation
Australian National University(澳大利亚国立大学);CSIRO(澳大利亚联邦科学与工业研究组织);EPFL(洛桑联邦理工学院)
动作识别和预测是许多计算机视觉应用成功的关键。现有的方法可以大致分为那些提取整个图像或序列的全局、上下文感知表示的方法,以及那些旨在关注动作发生区域的方法。前者可能会因为背景并不总是可靠而受到影响,而后者则完全忽略了这一信息来源,尽管如此,这一信息来源在许多情况下可能是有用的。在本文中,我们的目标是通过开发一种利用上下文感知和动作感知功能的方法来两全其美。在我们的方法的核心在于一个新的多阶段循环架构,使我们能够有效地结合这两个信息源在整个视频。该体系结构首先利用全局的、上下文感知的特征,并将所得到的表示与本地化的、动作感知的表示合并。我们在标准数据集上的实验证明了我们的方法优于单独使用每种信息类型的方法。我们优于最先进的方法,因为我们只依赖RGB帧作为动作识别和预测的输入。
2016-11-18 cs.CV
QueryMamba: A Mamba-Based Encoder-Decoder Architecture with a Statistical Verb-Noun Interaction Module for Video Action Forecasting @ Ego4D Long-Term Action Anticipation Challenge 2024
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Fraunhofer IOSB(弗劳恩霍夫IOSB研究所)
本文提出QueryMamba架构,通过统计动词-名词共现矩阵增强视频动作预测,在Ego4D LTA挑战赛获第二名且名词预测精度第一。
2024-07-04 cs.CV
Unified Recurrence Modeling for Video Action Anticipation
NVIDIA AI Technology Center(英伟达人工智能技术中心);Free University of Bozen-Bolzano(博尔扎诺自由大学)
根据当前条件的证据预测未来事件是人类与生俱来的技能,也是预测任何决策结果的关键。例如,在人工视觉中,我们希望在下一个人类动作发生之前预测它,而不观察与之相关联的未来视频帧。用于动作预测的计算机视觉模型期望收集目标动作的前导中的细微证据。在以往的研究中,递归模型往往会带来更好的性能,强时间推理被认为是合理预测的关键因素。为此,我们提出了一个统一的递归建模的视频动作预期通过消息传递框架。时空中的信息流可以通过顶点和边之间的相互作用来描述,并且每个输入帧的顶点的变化反映了潜在的动态。我们的模型利用自我注意力作为每个消息传递功能的构建块。此外,我们还引入了不同的边学习策略,这些策略可以进行端到端优化,以获得顶点之间连接的更好灵活性。我们的实验结果表明,我们提出的方法优于以前的工作上的大规模EPIC-Kitchen数据集。
2022-06-02 cs.CV
Can't make an Omelette without Breaking some Eggs: Plausible Action Anticipation using Large Video-Language Models
Honda Research Institute USA(美国本田研究所);Carnegie Mellon University(卡内基梅隆大学)
提出大型视频-语言模型PlausiVL,通过引入基于反事实的合理动作序列学习损失和长时域动作重复损失,使模型能区分合理与不合理的动作序列并生成多样化的合理动作预测,在Ego4D和EPIC-Kitchens-100数据集上取得改进。
2024-05-30 cs.CV
HiMemFormer: Hierarchical Memory-Aware Transformer for Multi-Agent Action Anticipation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学)
提出HiMemFormer,一种分层记忆感知Transformer,通过全局记忆与分层局部解码器结合智能体偏好,提升多智能体动作预测性能。
2024-12-15 cs.CV cs.MA
Rolling-Unrolling LSTMs for Action Anticipation from First-Person Video
University of Catania(卡塔尼亚大学)
在本文中,我们解决了自我中心的行动预期的问题,即,预测相机佩戴者将在不久的将来执行什么动作以及他们将与哪些对象交互。具体来说,我们贡献了Rolling-Unrolling LSTM,这是一种学习架构,可以从以自我为中心的视频中预测动作。该方法基于三个组成部分:1)由两个LSTM组成的架构,以对总结过去和推断未来的子任务进行建模,2)序列完成预训练技术,其鼓励LSTM专注于不同的子任务,以及3)模态注意(MATT)机制,其有效地融合通过处理RGB帧执行的多模态预测,光流场和基于对象的特征。所提出的方法在EPIC-Kitterfly、EGTEA Gaze+和ActivityNet上进行了验证。实验表明,所提出的架构在以自我为中心的视频领域是最先进的,在2019年EPIC-Kitchen-egocentric action prediction challenge中取得了最佳表现。该方法还在ActivityNet上实现了不基于无监督预训练的方法的竞争性能,并推广到早期动作识别和动作识别的任务。为了鼓励对这个具有挑战性的主题的研究,我们在我们的网页上提供了我们的代码,训练模型和预提取的特征:www.example.com。
2020-05-08 cs.CV
Technical Report for Ego4D Long Term Action Anticipation Challenge 2023
Panasonic Connect Co., Ltd.(松下连接公司)
本文针对 Ego4D 长期动作预测挑战赛 2023,提出融合 SlowFast 与 SlowFast-CLIP 集成、标签平滑及词语共现约束三类改进,最终在公开排行榜上获得第二名。
2023-07-04 cs.CV
Transferring Knowledge from Text to Video: Zero-Shot Anticipation for Procedural Actions
University of Bonn(波恩大学);Indian Institute of Technology (ISM) Dhanbad(印度理工学院(印度矿业学院)丹巴德分校);National University of Singapore(新加坡国立大学)
我们能教会机器人识别和预测它以前从未见过的活动吗?我们通过从文本中学习视频模型来解决这个问题。本文提出了一种分层模型,从大规模的文本语料库中概括教学知识,并将知识转移到视频。给定教学视频的一部分,我们的模型识别并预测未来多个步骤的连贯和合理的动作,所有这些都是丰富的自然语言。为了证明我们的模型的能力,我们介绍了\emph{Tasty Videos Dataset V2},一个集合的4022食谱零样本学习,识别和预测。各种评估指标的广泛实验证明了我们的方法的泛化潜力,给定有限的视频数据的训练模型。
2022-11-05 cs.CV
SAGE: Synchronized Action-Gaze Recognition and Anticipation for Human Behavior Understanding
Honda Research Institute, USA(美国本田研究院);Rensselaer Polytechnic Institute(伦斯勒理工学院)
研究人类对象交互、注视模式及其预测间的关联,提出SAGE统一框架,利用基于Transformer架构将注视数据纳入时空注意力机制,在多场景下联合建模动作与注视,建立新基准数据集,实验效果良好。
2026-07-07 cs.CV
Action Anticipation at a Glimpse: To What Extent Can Multimodal Cues Replace Video?
Universidad de Alicante(阿利坎特大学);Foundation for Research and Technology-Hellas(希腊基础研究与技术基金会);University of Crete(克里特大学);Hellenic Mediterranean University(希腊地中海大学)
AAG通过结合单帧RGB特征与深度线索及先前动作信息,实现了多模态单帧动作预见,能与视频聚合基线和先进方法在教学活动数据集上竞争。
2025-12-02 cs.CV
Temporally smooth online action detection using cycle-consistent future anticipation
Yonsei University(延世大学)
许多视频理解任务通过假设输入视频从开始到结束都被给出而在离线设置中工作。然而,许多现实世界的问题需要在线设置,仅使用当前和过去的视频帧立即做出决定,例如在自动驾驶和监控系统中。在本文中,我们提出了一种新的在线动作检测解决方案,使用一种简单而有效的基于RNN的网络,称为未来预测和时间平滑网络(FATSnet)。所提出的网络由一个模块组成,用于预测未来,可以在无监督的方式与周期一致性损失的训练,和另一个组件,用于聚合过去和未来的时间平滑逐帧预测。我们还提出了一种解决方案,以减轻在非常长的序列上运行基于RNN的模型时的性能损失。在TVSeries、THUMOS 14和BBDB上的测试结果表明,与以往的在线动作检测方法相比,该方法达到了最先进的性能。
2021-04-16 cs.CV
Cross-modal Contrastive Distillation for Instructional Activity Anticipation
University of Rochester(罗切斯特大学);JD AI Research(京东人工智能研究院)
在本研究中,我们的目的是预测合理的未来行动步骤给定的观察过去和研究的任务,教学活动的预期。与以前的预测任务,旨在行动标签预测,我们的工作目标是生成自然语言输出,提供可解释的和准确的描述未来的行动步骤。这是一个具有挑战性的任务,由于缺乏语义信息提取的教学视频。为了克服这一挑战,我们提出了一个新的知识蒸馏框架,利用相关的外部文本知识,以协助视觉预期任务。然而,先前的知识蒸馏技术通常在相同模态内传递信息。为了弥补在提取过程中视觉和文本模态之间的差距,我们设计了一种新的跨模态对比提取(CCD)方案,它有助于教师和学生之间的知识蒸馏异构模态与建议的跨模态蒸馏损失。我们在Tasty Videos数据集上评估了我们的方法。CCD相对于BLEU4提高了40.2%的预测性能的视觉单独的学生模型的大幅度。我们的方法也比最先进的方法有很大的优势。
2022-01-18 cs.CV
Vision and Intention Boost Large Language Model in Long-Term Action Anticipation
Northwestern Polytechnical University(西北工业大学)
本文提出意图条件视觉-语言模型ICVL,通过VLM从视频推断意图并与视觉特征融合后输入LLM进行长期动作预测,在多个基准上取得最优性能。
2025-05-03 cs.CV
Deep Sequence Learning for Video Anticipation: From Discrete and Deterministic to Continuous and Stochastic
The Australian National University(澳大利亚国立大学)
视频预测是在给定有限的部分观察的情况下预测一个/多个未来表示的任务。这是一项具有挑战性的任务,因为在有限的观察下,未来的表示可能非常模糊。基于任务的性质,视频预期可以从两个角度考虑:细节水平和预测未来的确定性水平。在这项研究中,我们从预测确定性未来的粗表示开始,然后转向预测随机过程的连续和细粒度的未来表示。前者的例子是视频动作预测,其中我们感兴趣的是预测一个动作标签给定的部分观察到的视频和后者的例子是预测多个不同的人类运动的延续给定的部分观察到的一个。特别是,在这篇论文中,我们作出了一些贡献的文学视频预测…
2020-10-09 cs.CV
Action-Guided Attention for Video Action Anticipation
Free University of Bozen-Bolzano(博泽自由大学);NVIDIA(NVIDIA公司)
本文提出Action-Guided Attention机制,通过预测动作序列引导注意力,提升视频动作预见的泛化能力与可解释性。
2026-05-09 cs.CV
Forecasting Action through Contact Representations from First Person Video
University of Maryland(马里兰大学)
涉及手操作的人类动作是根据手-物体接触的制造和中断来构造的,并且人类对动作的视觉理解依赖于对接触的预期,这一点在认知科学中的开创性工作中得到了证明。从中得到启发,我们引入了以接触为中心的表示和模型,然后我们将其用于动作预测和预期。我们注释了EPIC Kitterfly数据集的一个子集,包括手和物体之间的接触时间,以及手和物体的分割。使用这些注释,我们训练的预期模块,一个模块生产接触预期地图和下一个活动对象分割-新的低层次的表示提供预期的不久的将来的行动的时间和空间特征。在预期模块之上,我们应用了以自我为中心的对象操作图(Ego-OMG),这是一个用于动作预期和预测的框架。Ego-OMG通过使用一个图来建模联系人描述的动作状态之间的转换,从而对更长期的时间语义关系进行建模。使用Ego-OMG中的预期模块产生了最先进的结果,分别在EPIC Kitchild Action Anticipation Challenge的看不见和看得见的测试集上获得了第一名和第二名,并在EPIC Kitchild的动作预期和动作预测任务上获得了最先进的结果。我们对预期模块的特征进行消融研究,以评估其效用。
2021-02-01 cs.AI cs.CV
Rethinking Learning Approaches for Long-Term Action Anticipation
Simon Fraser University(西蒙菲莎大学);Borealis AI(北极光人工智能研究院)
动作预测涉及预测已经观察到视频的初始部分的未来动作。通常,观察到的视频作为一个整体进行处理,以获得视频中正在进行的活动的视频级表示,然后用于未来的预测。我们介绍了ANTICIPATR,它利用从不同活动中学习的各个片段以及视频级表示来执行长期动作预测。我们提出了一个两阶段的学习方法,训练一个新的基于变换的模型,使用这两种类型的表示直接预测一组未来的行动实例在任何给定的预期持续时间。早餐,50 Salads,Epic-Kitchen-55和EGTEA Gaze+数据集的结果证明了我们方法的有效性。
2022-10-20 cs.CV cs.LG
See It Before You Grab It: Deep Learning-based Action Anticipation in Basketball
Universitat de Barcelona(巴塞罗那大学);Universitat de Barcelona Computer Vision Center(巴塞罗那大学计算机视觉中心)
本文提出篮球动作预测任务,利用深度学习技术预测投篮后球权归属,构建了首个篮球反弹预测数据集,展示了该数据集在篮球视频理解中的广泛应用价值。
2025-12-17 cs.CV
Object-centric Video Representation for Long-term Action Anticipation
Brown University(布朗大学);Honda Research Institute USA(本田美国研究院);Samsung(三星)
本文提出利用视觉-语言预训练模型和对象提示构建以对象为中心的视频表示,并结合 Transformer 架构在不同时间尺度检索相关对象,以提升长期动作预测性能。
2023-10-31 cs.CV
Investigating Spatiotemporal Redundancy in Video Transformer for Collision Anticipation
University of Sydney(悉尼大学)
本研究通过分析视频Transformer在碰撞预判中的时空冗余,提出时间令牌合并与神经元剪枝方法,实现1.76倍加速且性能几乎无损。
2026-10-06 cs.CV
TAP-JEPA: Frozen Future-Latent Probing and Two-Stage Score Fusion for EPIC-KITCHENS-100 Action Anticipation
Beihang University(北航大学)
提出TAP-JEPA方法,利用冻结的V-JEPA 2.1特征和两阶段分数融合,在EPIC-KITCHENS-100动作预测挑战中获得第二名。
2026-05-30 cs.CV
Streaming egocentric action anticipation: An evaluation scheme and approach
University of Catania(卡塔尼亚大学);Next Vision s.r.l.(Next Vision有限公司)
针对现有第一人称动作预测忽略计算时间导致评估过于乐观的问题,提出流式评估方案,并基于前馈3D CNN与知识蒸馏构建轻量级模型,在流式场景中超越现有方法。
2023-06-29 cs.CV
MixANT: Observation-dependent Memory Propagation for Stochastic Dense Action Anticipation
University of Bonn(波恩大学);Lamarr Institute of ML and AI(拉马尔人工智能与机器学习研究所);Khalifa University(卡利法大学)
提出MixANT架构,通过混合专家方法动态选择状态空间模型中的遗忘门矩阵,在50Salads等数据集上实现优于现有方法的随机长期密集人类活动预测。
2025-09-14 cs.CV
Zero-Shot Skeleton-Based Action Anticipation
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);Southeast University - Monash University Joint Graduate School(东南大学-莫纳什大学联合研究生院);School of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机与软件学院);State Key Laboratory of Media Convergence and Communication, Communication University of China(中国传媒大学媒体融合与传播国家重点实验室)
本文针对现有基于骨架的动作预测无法泛化到新动作的问题,提出零样本基于骨架的动作预测新任务,构建基线模型与基准协议,在NTU RGB+D上实现高零样本准确率,为相关真实系统研究奠定基础。
2026-08-17 cs.CV
Knowledge-Guided Short-Context Action Anticipation in Human-Centric Videos
Carnegie Mellon University(卡内基梅隆大学)
本文提出一种将符号知识图谱赋予Transformer网络的方法,通过运行时增强注意力机制,利用短视频片段预测长期人类动作,在Breakfast和50Salads数据集上比现有方法提升最多9%。
2023-09-12 cs.AI cs.CV
Text-Derived Knowledge Helps Vision: A Simple Cross-modal Distillation for Video-based Action Anticipation
Stony Brook University(石溪大学)
预测视频中的未来动作对于许多自主和辅助技术都很有用。大多数先前的动作预测工作将其视为视觉模态问题,其中模型主要从动作预测数据集中的视频特征中学习任务信息。然而,关于动作序列的知识也可以从外部文本数据获得。在这项工作中,我们展示了如何在预训练的语言模型的知识可以适应和提炼成基于视觉的动作预测模型。我们表明,一个简单的蒸馏技术可以实现有效的知识转移,并提供一致的收益在一个强大的视觉模型(预期视觉Transformer)的两个动作预期数据集(3.5%的相对增益EGTEA-GAZE+和7.2%的相对增益EPIC-KITCHEN 55),给出了一个新的国家的最先进的结果。
2023-02-21 cs.CL cs.CV cs.LG