Untrimmed Action Anticipation
University of Catania(卡塔尼亚大学);Philips Research(飞利浦研究院);Next Vision s.r.l – Spinoff of the University of Catania(Next Vision有限责任公司 - 卡塔尼亚大学衍生公司)
自我中心的行动预测包括预测未来的行动,相机佩戴者将执行从自我中心的视频。虽然该任务最近引起了研究界的注意,但目前的方法假设输入视频是“修剪”的,这意味着在动作开始之前的固定时间对短视频序列进行采样。我们认为,尽管在该领域的最新进展,修剪动作预期在现实世界中的情况下,它是重要的是要处理“未修剪”的视频输入,它不能假设,在该行动将开始的确切时刻是已知的测试时间有一个有限的适用性。为了克服这些限制,我们提出了一个未修剪的动作预测任务,它类似于时间动作检测,假设输入视频在测试时未修剪,同时仍然需要在动作实际发生之前进行预测。我们设计了一个评估程序的方法,旨在解决这个新的任务,并比较几个基线的EPIC-KITCHENS-100数据集。实验表明,目前设计的修剪动作预期模型的性能是非常有限的,需要更多的研究在这方面的任务。
2022-02-08 cs.CV
A VideoMAE-v2 Approach to Zero-Shot Traffic Accident Anticipation
State Key Laboratory of Networking and Switching Technology(网络与交换技术国家重点实验室);Beijing University of Posts and Telecommunications(北京邮电大学)
提出基于VideoMAE-v2的框架,通过滑动窗口协议和逐帧预测头,在零样本设置下从粗粒度标注数据泛化到未知行车记录仪视频,实现交通事故预警。
2026-06-08 cs.CV
A New Comprehensive Benchmark for Semi-supervised Video Anomaly Detection and Anticipation
Northwestern Polytechnical University(西北工业大学)
针对半监督视频异常检测中场景相关异常被忽视及缺乏异常预测研究的问题,提出了最大综合数据集NWPU Campus及一种能同时检测和预测异常的新模型,在多个数据集上达到最新性能。
2023-05-23 cs.CV
Action Anticipation with RBF Kernelized Feature Mapping RNN
The Australian National University(澳大利亚国立大学)
我们引入了一种新的基于递归神经网络的算法,用于未来的视频特征生成和动作预测,称为特征映射RNN。我们的新型RNN架构建立在机器学习的三个有效原则之上,即参数共享、径向基函数内核和对抗训练。仅使用视频的一些最早帧,特征映射RNN能够生成未来的特征,其参数仅为传统RNN所需的一小部分。通过将这些未来特征输入到一个简单的多层感知器中,并使用RBF内核层,我们能够准确地预测视频中的动作。在我们的实验中,我们在JHMDB-21数据集上获得了18%的改进,在UCF 101 -24数据集上获得了6%的改进,在UT-交互数据集上获得了13%的改进。
2021-07-11 cs.CV
Self-Regulated Learning for Egocentric Video Activity Anticipation
University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Peng Cheng Laboratory(鹏城实验室);Kingsoft Cloud(金山云);Huawei Technologies(华为技术有限公司)
未来活动预测是自我中心视野中一个具有挑战性的问题。作为一种标准的未来活动预测范式,递归序列预测存在误差累积的问题。为了解决这个问题,我们提出了一个简单而有效的自我调节学习框架,其目的是连续调节中间表示,以产生表示,(a)强调与先前观察到的内容相比,当前时间戳的帧中的新信息,(b)反映其与先前观察到的帧的相关性。前者是通过最小化对比度损失来实现的,而后者可以通过动态重新加权机制来实现,以关注观察到的内容中的信息帧,并在当前帧和观察到的帧的特征之间进行相似性比较。学习的最终视频表示可以通过多任务学习进一步增强,多任务学习对目标活动标签和自动检测到的动作和对象类令牌执行联合特征学习。在大多数情况下,SRL在两个以自我为中心的视频数据集和两个第三人称视频数据集上的表现明显优于现有的最先进技术。实验结果表明,该方法能够准确地识别支持活动语义的动作和对象概念。
2021-11-23 cs.CV
HyperGLM: HyperGraph for Video Scene Graph Generation and Anticipation
University of Arkansas(阿肯色大学);Ohio State University(俄亥俄州立大学)
针对视频场景理解中多目标交互复杂的问题,本文提出HyperGLM,将实体场景图与程序图统一为超图并注入多模态大语言模型,结合新数据集VSGR,在五项任务上超越现有方法。
2025-03-31 cs.CV
QueryMamba: A Mamba-Based Encoder-Decoder Architecture with a Statistical Verb-Noun Interaction Module for Video Action Forecasting @ Ego4D Long-Term Action Anticipation Challenge 2024
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Fraunhofer IOSB(弗劳恩霍夫IOSB研究所)
本文提出QueryMamba架构,通过统计动词-名词共现矩阵增强视频动作预测,在Ego4D LTA挑战赛获第二名且名词预测精度第一。
2024-07-04 cs.CV
Object-centric Video Representation for Long-term Action Anticipation
Brown University(布朗大学);Honda Research Institute USA(本田美国研究院);Samsung(三星)
本文提出利用视觉-语言预训练模型和对象提示构建以对象为中心的视频表示,并结合 Transformer 架构在不同时间尺度检索相关对象,以提升长期动作预测性能。
2023-10-31 cs.CV
Knowledge-Guided Short-Context Action Anticipation in Human-Centric Videos
Carnegie Mellon University(卡内基梅隆大学)
本文提出一种将符号知识图谱赋予Transformer网络的方法,通过运行时增强注意力机制,利用短视频片段预测长期人类动作,在Breakfast和50Salads数据集上比现有方法提升最多9%。
2023-09-12 cs.AI cs.CV
Video + CLIP Baseline for Ego4D Long-term Action Anticipation
Stony Brook University(石溪大学)
在这份报告中,我们介绍了我们的适应图像-文本模型的长期行动预期。我们的Video + CLIP框架使用了一个大规模的预训练的成对图像-文本模型:CLIP和一个视频编码器Slowfast网络。CLIP嵌入提供了对与动作相关的对象的细粒度理解,而慢快网络负责在几帧的视频剪辑内对时间信息进行建模。我们表明,从两个编码器获得的功能是互补的,从而超过了Ego 4D的长期行动预期的任务的基线。我们的代码可在github.com/srijandas07/clip_baseline_LTA_Ego4d上获得。
2022-07-01 cs.CV cs.LG
Uncertainty-boosted Robust Video Activity Anticipation
School of Computer Science and Technology, Harbin Institute of Technology(哈尔滨工业大学计算机科学与技术学院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Peng Cheng Laboratory(鹏城实验室);School of Computer Science and Technology, University of Chinese Academy of Sciences(中国科学院大学计算机科学与技术学院)
本文提出一种不确定性增强的鲁棒视频活动预期框架,通过生成不确定性值调制 softmax 温度参数并构建结合时序与语义关系的目标标签表示,有效解决了数据不确定性导致的误差积累问题,显著提升了模型性能与鲁棒性。
2024-04-29 cs.CV
Objects do not disappear: Video object detection by single-frame object location anticipation
Delft University of Technology(代尔夫特理工大学);University of Amsterdam(阿姆斯特丹大学)
本文提出利用视频中物体的连续平滑运动,通过仅对单帧关键帧计算特征并预测后续帧物体位置,在提升检测精度的同时降低计算和标注成本,并在四个数据集上验证了其有效性。
2023-08-09 cs.CV
Rolling-Unrolling LSTMs for Action Anticipation from First-Person Video
University of Catania(卡塔尼亚大学)
在本文中,我们解决了自我中心的行动预期的问题,即,预测相机佩戴者将在不久的将来执行什么动作以及他们将与哪些对象交互。具体来说,我们贡献了Rolling-Unrolling LSTM,这是一种学习架构,可以从以自我为中心的视频中预测动作。该方法基于三个组成部分:1)由两个LSTM组成的架构,以对总结过去和推断未来的子任务进行建模,2)序列完成预训练技术,其鼓励LSTM专注于不同的子任务,以及3)模态注意(MATT)机制,其有效地融合通过处理RGB帧执行的多模态预测,光流场和基于对象的特征。所提出的方法在EPIC-Kitterfly、EGTEA Gaze+和ActivityNet上进行了验证。实验表明,所提出的架构在以自我为中心的视频领域是最先进的,在2019年EPIC-Kitchen-egocentric action prediction challenge中取得了最佳表现。该方法还在ActivityNet上实现了不基于无监督预训练的方法的竞争性能,并推广到早期动作识别和动作识别的任务。为了鼓励对这个具有挑战性的主题的研究,我们在我们的网页上提供了我们的代码,训练模型和预提取的特征:www.example.com。
2020-05-08 cs.CV
Knowledge Distillation for Human Action Anticipation
Stony Brook University(石溪大学)
我们考虑的任务是训练一个神经网络来预测视频中的人类动作。考虑到视频数据的复杂性、未来的随机性以及带注释的训练数据的有限量,该任务具有挑战性。在本文中,我们提出了一种新的知识蒸馏框架,使用一个动作识别网络来监督动作预测网络的训练,指导后者参加正确预测未来的行动所需的相关信息。这个框架是可能的,由于一个新的损失函数,以考虑在动态视频中的语义概念的位置转移。知识蒸馏框架是自监督学习的一种形式,它利用了未标记的数据。在JHMDB和EPIC-KITCHENS数据集上的实验结果表明了该方法的有效性。
2021-10-03 cs.CV
Rethinking Anticipation Tasks: Uncertainty-aware Anticipation of Sparse Surgical Instrument Usage for Context-aware Assistance
National Center for Tumor Diseases (NCT)(国家肿瘤疾病中心)
手术中对器械使用的预期是手术中情境感知辅助的必要组成部分,例如,用于器械准备或机器人任务的半自动化。然而,长视频中乐器出现的稀疏性带来了挑战。目前的方法是有限的,因为它们假设未来动作的定时知识,或者在训练和推理期间需要密集的时间分割。我们提出了一种新的学习任务,在腹腔镜视频,克服这些限制的仪器使用的预期。在训练期间,只需要稀疏的仪器注释,并且仅对图像数据进行推理。我们训练一个概率模型来处理与未来事件相关的不确定性。我们的方法优于几个基线,并具有竞争力的变体使用更丰富的注释。我们证明了该模型的能力,量化任务相关的不确定性。据我们所知,我们是第一个提出一种方法来预测手术器械。
2022-03-30 cs.CV
Action Anticipation at a Glimpse: To What Extent Can Multimodal Cues Replace Video?
Universidad de Alicante(阿利坎特大学);Foundation for Research and Technology-Hellas(希腊基础研究与技术基金会);University of Crete(克里特大学);Hellenic Mediterranean University(希腊地中海大学)
AAG通过结合单帧RGB特征与深度线索及先前动作信息,实现了多模态单帧动作预见,能与视频聚合基线和先进方法在教学活动数据集上竞争。
2025-12-02 cs.CV
Rethinking Learning Approaches for Long-Term Action Anticipation
Simon Fraser University(西蒙菲莎大学);Borealis AI(北极光人工智能研究院)
动作预测涉及预测已经观察到视频的初始部分的未来动作。通常,观察到的视频作为一个整体进行处理,以获得视频中正在进行的活动的视频级表示,然后用于未来的预测。我们介绍了ANTICIPATR,它利用从不同活动中学习的各个片段以及视频级表示来执行长期动作预测。我们提出了一个两阶段的学习方法,训练一个新的基于变换的模型,使用这两种类型的表示直接预测一组未来的行动实例在任何给定的预期持续时间。早餐,50 Salads,Epic-Kitchen-55和EGTEA Gaze+数据集的结果证明了我们方法的有效性。
2022-10-20 cs.CV cs.LG
Leveraging Gaze and Set-of-Mark in VLLMs for Human-Object Interaction Anticipation from Egocentric Videos
Next Vision s.r.l. -- Spinoff of the University of Catania(Next Vision s.r.l. -- 卡塔尼亚大学衍生公司)
本文提出利用VLLMs中的目光和标记集来预测人-物体交互,通过改进视觉定位能力和用户意图理解,结合逆指数采样策略,实验表明方法在HD-EPIC数据集上优于现有方法。
2026-04-04 cs.CV
FRAME: Pre-Training Video Feature Representations via Anticipation and Memory
Adobe Research(Adobe研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
FRAME提出一种自监督视频帧编码器,通过预测当前和未来的DINO块特征来学习时间一致、空间密集的表示,在多个密集预测任务上超越图像编码器和现有视频模型,并支持语言驱动任务。
2025-06-05 cs.CV
EgoInteract: Synthetic Egocentric Videos Generation for Interaction Understanding and Anticipation
Department of Mathematics and Computer Science, University of Catania(卡塔尼亚大学数学与计算机科学系);Next Vision s.r.l.(Next Vision公司);Reality Labs Research, Meta(Meta现实实验室)
提出EgoInteract可控模拟器,生成带密集时空标注的合成自我中心视频,用于动作分割、下一活动物体检测、交互预测和手物交互检测,在多个真实基准上提升性能。
2026-05-22 cs.CV
Text-Derived Knowledge Helps Vision: A Simple Cross-modal Distillation for Video-based Action Anticipation
Stony Brook University(石溪大学)
预测视频中的未来动作对于许多自主和辅助技术都很有用。大多数先前的动作预测工作将其视为视觉模态问题,其中模型主要从动作预测数据集中的视频特征中学习任务信息。然而,关于动作序列的知识也可以从外部文本数据获得。在这项工作中,我们展示了如何在预训练的语言模型的知识可以适应和提炼成基于视觉的动作预测模型。我们表明,一个简单的蒸馏技术可以实现有效的知识转移,并提供一致的收益在一个强大的视觉模型(预期视觉Transformer)的两个动作预期数据集(3.5%的相对增益EGTEA-GAZE+和7.2%的相对增益EPIC-KITCHEN 55),给出了一个新的国家的最先进的结果。
2023-02-21 cs.CL cs.CV cs.LG
Can't make an Omelette without Breaking some Eggs: Plausible Action Anticipation using Large Video-Language Models
Honda Research Institute USA(美国本田研究所);Carnegie Mellon University(卡内基梅隆大学)
提出大型视频-语言模型PlausiVL,通过引入基于反事实的合理动作序列学习损失和长时域动作重复损失,使模型能区分合理与不合理的动作序列并生成多样化的合理动作预测,在Ego4D和EPIC-Kitchens-100数据集上取得改进。
2024-05-30 cs.CV
See It Before You Grab It: Deep Learning-based Action Anticipation in Basketball
Universitat de Barcelona(巴塞罗那大学);Universitat de Barcelona Computer Vision Center(巴塞罗那大学计算机视觉中心)
本文提出篮球动作预测任务,利用深度学习技术预测投篮后球权归属,构建了首个篮球反弹预测数据集,展示了该数据集在篮球视频理解中的广泛应用价值。
2025-12-17 cs.CV
Action-Guided Attention for Video Action Anticipation
Free University of Bozen-Bolzano(博泽自由大学);NVIDIA(NVIDIA公司)
本文提出Action-Guided Attention机制,通过预测动作序列引导注意力,提升视频动作预见的泛化能力与可解释性。
2026-05-09 cs.CV
Rethinking Video Human-Object Interaction: Set Prediction over Time for Unified Detection and Anticipation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);INSAIT, Sofia University(索非亚大学INSAIT研究所);ETH Zurich(苏黎世联邦理工学院)
本文提出DETAnt-HOI基准和HOI-DA框架,通过联合检测与预测提升视频人-物体交互的理解,解决现有方法在时间对齐和预测可靠性上的不足。
2026-04-12 cs.AI cs.CV
Are We Measuring Anticipation? Auditing Privileged Information in Procedural Video Evaluation
University of Exeter(埃克塞特大学)
本研究审计程序性视频评估协议,发现即使无时间泄漏也可能存在特权信息差距,导致能力声明与实测构念不符,并提出可复用的四条件审计方法。
2026-10-06 cs.CV
From Recognition to Prediction: Leveraging Sequence Reasoning for Action Anticipation
School of Electrical and Information Engineering, Tianjin University(天津大学电气与信息工程学院);Lappeenranta-Lahti University of Technology LUT(拉彭兰塔-拉赫蒂理工大学LUT);School of Computing and Information Technology, Great Bay University(大湾区大学计算与信息技术学院)
本文提出端到端架构 ARR,将动作预判分解为动作识别与序列推理,并通过 NAP 和无监督解码器预训练学习动作统计关系,在三个数据集上验证了有效性。
2024-08-05 cs.CV
Spatio-Temporal Action Detection with Cascade Proposal and Location Anticipation
在这项工作中,我们解决了时间上未修剪的视频中的时空动作检测问题。这是一个重要的和具有挑战性的任务,因为在时间和空间空间中找到准确的人类行为对于分析大规模视频数据非常重要。为了解决这个问题,我们提出了一个级联的建议和位置预测(CPLA)模型的帧级动作检测。我们的模型有几个突出点:(1)级联区域建议网络(casRPN)用于动作建议生成,并表现出更好的定位精度相比,单区域建议网络(RPN);(2)动作时空分布是通过位置预测网络(LAN),因此帧级动作检测不是独立进行的。然后通过解决链接分数最大化问题来链接帧级检测,并在时间上修剪成时空动作管。我们证明了我们的模型在具有挑战性的UCF 101和LIRIS-HARL数据集上的有效性,两者都达到了最先进的性能。
2017-07-31 cs.CV
Temporally smooth online action detection using cycle-consistent future anticipation
Yonsei University(延世大学)
许多视频理解任务通过假设输入视频从开始到结束都被给出而在离线设置中工作。然而,许多现实世界的问题需要在线设置,仅使用当前和过去的视频帧立即做出决定,例如在自动驾驶和监控系统中。在本文中,我们提出了一种新的在线动作检测解决方案,使用一种简单而有效的基于RNN的网络,称为未来预测和时间平滑网络(FATSnet)。所提出的网络由一个模块组成,用于预测未来,可以在无监督的方式与周期一致性损失的训练,和另一个组件,用于聚合过去和未来的时间平滑逐帧预测。我们还提出了一种解决方案,以减轻在非常长的序列上运行基于RNN的模型时的性能损失。在TVSeries、THUMOS 14和BBDB上的测试结果表明,与以往的在线动作检测方法相比,该方法达到了最先进的性能。
2021-04-16 cs.CV
GePSAn: Generative Procedure Step Anticipation in Cooking Videos
Samsung AI Centre(三星人工智能中心);Waabi(Waabi公司);York University(约克大学)
针对程序性视频中未来步骤预测的多样性问题,提出生成模型GePSAn,通过文本预训练迁移至视频领域,在YouCookII上取得最先进结果并支持零样本迁移。
2023-10-12 cs.CV cs.LG
Cross-modal Contrastive Distillation for Instructional Activity Anticipation
University of Rochester(罗切斯特大学);JD AI Research(京东人工智能研究院)
在本研究中,我们的目的是预测合理的未来行动步骤给定的观察过去和研究的任务,教学活动的预期。与以前的预测任务,旨在行动标签预测,我们的工作目标是生成自然语言输出,提供可解释的和准确的描述未来的行动步骤。这是一个具有挑战性的任务,由于缺乏语义信息提取的教学视频。为了克服这一挑战,我们提出了一个新的知识蒸馏框架,利用相关的外部文本知识,以协助视觉预期任务。然而,先前的知识蒸馏技术通常在相同模态内传递信息。为了弥补在提取过程中视觉和文本模态之间的差距,我们设计了一种新的跨模态对比提取(CCD)方案,它有助于教师和学生之间的知识蒸馏异构模态与建议的跨模态蒸馏损失。我们在Tasty Videos数据集上评估了我们的方法。CCD相对于BLEU4提高了40.2%的预测性能的视觉单独的学生模型的大幅度。我们的方法也比最先进的方法有很大的优势。
2022-01-18 cs.CV
SUPR-GAN: SUrgical PRediction GAN for Event Anticipation in Laparoscopic and Robotic Surgery
MIT(麻省理工学院);Massachusetts General Hospital(麻省总医院);Olympus Corporation(奥林巴斯公司)
对手术工作流程的理解是人工智能(AI)和机器学习(ML)具有协助术中决策和风险缓解潜力的基础。在这项工作中,我们超越了单纯的识别过去的手术阶段,到未来的手术步骤和规范之间的过渡预测。我们使用一种新的生成对抗网络(GAN)制定未来的手术阶段轨迹的条件下,从腹腔镜胆囊切除术(LC)视频过去的视频帧,并将其与最先进的方法进行比较,手术视频分析和替代预测方法。我们证明了GAN制定的有效性,通过推断和预测的进展LC视频。我们量化了水平精度的权衡,并探索了平均性能,以及更具挑战性的性能,以及阶段之间的临床相关转换。此外,我们进行了一项调查,要求16名不同专业和教育水平的外科医生定性评估预测的手术阶段。
2022-03-09 cs.CV
Leveraging Next-Active Objects for Context-Aware Anticipation in Egocentric Videos
Istituto Italiano di Tecnologia (IIT)(意大利理工学院);University of Genoa(热那亚大学);University of Bergamo(贝加莫大学);University of Verona(维罗纳大学)
本文针对第一人称视频短期对象交互预测问题,提出多模态端到端NAOGAT网络,通过捕捉对象与场景上下文关系、利用对象运动动态分别解码两类信息,在两个数据集的多项指标上超越现有方法。
2023-10-05 cs.CV
DiffAnt: Diffusion Models for Action Anticipation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Fraunhofer IOSB(弗劳恩霍夫IOSB研究所);University of Bonn(波恩大学)
本文从生成式视角重新思考动作预测问题,提出基于扩散模型的 DiffAnt 框架,通过在潜空间中从高斯噪声迭代生成未来动作以捕捉不确定性,在四个基准数据集上取得优异效果。
2023-11-27 cs.CV
Intention Action Anticipation Model with Guide-Feedback Loop Mechanism
School of Physics and Electronic, Yan’an University(延安大学物理与电子学院);College of Computer Science, Chongqing University(重庆大学计算机学院);Nanyang Technological University(南洋理工大学)
本研究提出分层完整-近期信息融合模型,结合引导-反馈循环与多尺度特征聚合,在EPIC-Kitchens和EGTEA Gaze+数据集上有效预测人类意图动作。
2024-03-19 cs.CV
Zero-Shot Anticipation for Instructional Activities
University of Bonn(波恩大学);National University of Singapore(新加坡国立大学)
我们如何教机器人预测它从未见过的活动接下来会发生什么?我们解决这个问题的zero-shot预期提出了一个层次模型,概括了教学知识,从大规模的文本语料库和知识转移到视觉域。给定教学视频的一部分,我们的模型预测未来多个步骤的连贯和合理的行动,所有这些都是用丰富的自然语言。为了展示我们模型的预测能力,我们引入了Tasty Videos数据集,这是一个包含2511个用于零样本学习、识别和预测的配方的集合。
2019-10-20 cs.CV cs.LG
Towards Streaming Egocentric Action Anticipation
University of Catania(卡塔尼亚大学)
自我中心动作预测是基于过去的视频观察来预测相机佩戴者可能执行的未来动作的任务。虽然在现实世界的系统中,在动作开始之前输出此类预测是至关重要的,但过去的工作通常没有在评估期间关注模型运行时。事实上,目前的评估方案假设预测可以离线进行,因此计算资源不受限制。相比之下,在本文中,我们提出了一个“流”以自我为中心的行动预期评估协议,明确考虑模型运行时间的性能评估,假设预测将仅在当前的视频片段被处理后,这取决于处理时间的方法。根据所提出的评估方案,我们在两个流行的数据集上对不同的以自我为中心的行动预测方法进行了基准测试。我们的分析表明,在所考虑的流媒体场景中,具有较小运行时间的模型往往优于较重的模型,从而改变了通常在标准离线评估中观察到的排名。基于这一观察,我们提出了一个轻量级的动作预测模型,包括在一个简单的前馈3D CNN,我们建议使用知识蒸馏技术和自定义损失进行优化。结果表明,所提出的方法优于现有技术中的流的情况下,也与其他轻量级模型相结合。
2022-05-10 cs.CV
Understanding Multimodal Complementarity for Single-Frame Action Anticipation
Department of Computer Technology, University of Alicante(阿尔瓦雷斯大学计算机技术系);Institute of Computer Science, FORTH(福蒂研究所);Computer Science Department, University of Crete(克里特大学计算机科学系);Department of Management, Science and Technology, Hellenic Mediterranean University(希腊地中海大学管理、科学与技术系)
本研究通过单帧动作预测框架AAG+,探索多模态互补性对动作预测的影响,验证单帧信息在动作预测中的有效性。
2026-01-29 cs.CV
Enhancing Next Active Object-based Egocentric Action Anticipation with Guided Attention
Istituto Italiano di Tecnologia(意大利技术研究院);University of Trento(特伦托大学);University of Verona(维罗纳大学);University of Genoa(热那亚大学)
本文提出GANO,一种基于引导注意力的多模态Transformer网络,通过融合物体与时空特征,提升第一视角视频中短期动作预测的性能,优于现有最先进方法。
2023-06-23 cs.CV
Forecasting Action through Contact Representations from First Person Video
University of Maryland(马里兰大学)
涉及手操作的人类动作是根据手-物体接触的制造和中断来构造的,并且人类对动作的视觉理解依赖于对接触的预期,这一点在认知科学中的开创性工作中得到了证明。从中得到启发,我们引入了以接触为中心的表示和模型,然后我们将其用于动作预测和预期。我们注释了EPIC Kitterfly数据集的一个子集,包括手和物体之间的接触时间,以及手和物体的分割。使用这些注释,我们训练的预期模块,一个模块生产接触预期地图和下一个活动对象分割-新的低层次的表示提供预期的不久的将来的行动的时间和空间特征。在预期模块之上,我们应用了以自我为中心的对象操作图(Ego-OMG),这是一个用于动作预期和预测的框架。Ego-OMG通过使用一个图来建模联系人描述的动作状态之间的转换,从而对更长期的时间语义关系进行建模。使用Ego-OMG中的预期模块产生了最先进的结果,分别在EPIC Kitchild Action Anticipation Challenge的看不见和看得见的测试集上获得了第一名和第二名,并在EPIC Kitchild的动作预期和动作预测任务上获得了最先进的结果。我们对预期模块的特征进行消融研究,以评估其效用。
2021-02-01 cs.AI cs.CV
Interaction Region Visual Transformer for Egocentric Action Anticipation
Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局(A*STAR)高性能计算研究所(IHPC));Centre for Frontier AI Research (CFAR), Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局(A*STAR)前沿人工智能研究中心(CFAR))
本文提出InAViT模型,通过空间交叉注意力和轨迹交叉注意力建模手与物体的交互变化,构建以交互为中心的视频表示,在EK100和EGTEA Gaze+上取得最先进的动作预测性能。
2024-01-11 cs.CV
SlowFast Rolling-Unrolling LSTMs for Action Anticipation in Egocentric Videos
University of Padova(帕多瓦大学)
由于人类行为固有的多模态性质,以自我为中心的视频中的动作预期是一项艰巨的任务。此外,某些动作比其他动作发生得更快或更慢,这取决于参与者或周围的上下文,每次都可能发生变化,并导致不同的预测。基于这一思想,我们建立在RULSTM架构,这是专门设计用于预测人类的行动,并提出了一种新的基于注意力的技术,同时评估,从三种不同的方式,即RGB,光流,和提取的对象中提取的慢和快的功能。两个分支以不同的时间尺度处理信息,即,帧速率和几个融合方案被认为是提高预测精度。我们在EpicKitchen-55和EGTEA Gaze+数据集上进行了广泛的实验,并证明了我们的技术系统地改善了RULSTM架构在不同预期时间的Top-5准确度指标的结果。
2021-09-02 cs.AI cs.CV cs.LG
Investigating Spatiotemporal Redundancy in Video Transformer for Collision Anticipation
University of Sydney(悉尼大学)
本研究通过分析视频Transformer在碰撞预判中的时空冗余,提出时间令牌合并与神经元剪枝方法,实现1.76倍加速且性能几乎无损。
2026-10-06 cs.CV
Temporal Aggregate Representations for Long-Range Video Understanding
University of Bonn(波恩大学);National University of Singapore(新加坡国立大学)
未来的预测,特别是在长距离视频中,需要从当前和过去的观察中进行推理。在这项工作中,我们解决的问题的时间范围内,缩放,语义抽象的层次与灵活的多粒度的时间聚合框架。我们表明,这是可能的,以实现国家的艺术在下一个行动和密集的预期与简单的技术,如最大池和注意力。为了证明我们的模型的预测能力,我们在早餐,50沙拉和EPIC-Kitterfly数据集上进行了实验,在那里我们获得了最先进的结果。通过最小的修改,我们的模型也可以扩展到视频分割和动作识别。
2020-07-30 cs.CV
Predicting the Future: A Jointly Learnt Model for Action Anticipation
Queensland University of Technology(昆士兰科技大学)
受人类神经结构的动作预测的启发,我们提出了一个动作预测模型,通过预测视觉和时间的未来,使合理的未来行动的预测。与当前最先进的方法相比,首先学习模型来预测未来的视频特征,然后使用这些特征执行动作预测,所提出的框架联合学习执行两个任务,未来的视觉和时间表示合成,以及早期动作预测。联合学习框架确保预测的未来嵌入为动作预测任务提供信息。此外,通过广泛的实验评估,我们证明了使用视觉和时间语义的场景的效用,并说明如何通过经常性的生成对抗网络(GAN)框架,这种表示合成可以实现。我们的模型在多个数据集上的表现优于当前最先进的方法:UCF 101,UCF 101 -24,UT-交互和电视人机交互。
2019-12-16 cs.CV
Palm: Predicting Actions through Language Models @ Ego4D Long-Term Action Anticipation Challenge 2023
ETH Zürich(苏黎世联邦理工学院)
提出Palm方案,串联图像描述模型与大型语言模型,基于输入视频的帧描述和动作标签预测未来动作,在EGO4D LTA挑战赛中取得最佳性能。
2023-06-28 cs.CV
VAGNet: Vision-based Accident Anticipation with Global Features
Department of Computer Science and Engineering, University of Moratuwa(moratuwa大学计算机科学与工程系)
本文提出VAGNet,通过全局特征预测事故,提升实时性与效率,实验显示在四个数据集上精度和响应时间均优于现有方法。
2026-08-25 cs.CV
Temporal Context Consistency Above All: Enhancing Long-Term Anticipation by Learning and Enforcing Temporal Constraints
Institut de Robótica i Informática Industrial, CSIC-UPC(机器人学与工业信息研究所(西班牙国家研究委员会-加泰罗尼亚理工大学联合机构))
本文提出一种长期动作预测方法,通过双向动作上下文正则化和全局转移矩阵优化增强时间一致性,并结合动作分割编码器提升对过去的理解,在多个基准上取得领先性能。
2024-12-27 cs.CV
Technical Report for Ego4D Long Term Action Anticipation Challenge 2023
Panasonic Connect Co., Ltd.(松下连接公司)
本文针对 Ego4D 长期动作预测挑战赛 2023,提出融合 SlowFast 与 SlowFast-CLIP 集成、标签平滑及词语共现约束三类改进,最终在公开排行榜上获得第二名。
2023-07-04 cs.CV
Language-Augmented Video Action Anticipation: Design Fundamentals, Benchmarks, and Open Challenges
本综述提出证据感知设计图谱,按任务类型与语言信息介入点组织视频动作预测文献,并审计Ego4D-LTA与EPIC-KITCHENS-100基准,将LLM收益等结论表述为需匹配验证的假设。
2026-10-01 cs.CV
Hierarchical GRU with Input-Conditioned Slot Queries for Ball Action Anticipation
GameChanger by Dick’s Sporting Goods(迪克体育用品的GameChanger)
提出分层模型,利用局部Transformer、GRU和输入条件化事件槽解码器,结合频率重加权匈牙利匹配和高斯软标签,在SoccerNet基准上实现17.91% mAP。
2026-06-16 cs.CV
Future Transformer for Long-term Action Anticipation
POSTECH(浦项科技大学);NCSOFT(NCSoft公司)
从视频中预测未来动作的任务对于现实世界中与他人交互的智能体至关重要。在预测遥远未来的行动时,我们人类通常会考虑整个行动序列的长期关系,即,不仅观察到过去的行动,而且还观察到未来的潜在行动。本着类似的精神,我们提出了一个端到端的注意力模型的行动预期,被称为未来的Transformer(FUTR),利用全球注意力在所有输入帧和输出令牌预测一分钟长的未来行动序列。与以前的自回归模型不同,所提出的方法学习预测并行解码中的整个未来动作序列,从而实现更准确和快速的长期预测推断。我们在两个标准基准上评估我们的方法,用于长期行动预测,早餐和50沙拉,实现最先进的结果。
2022-05-27 cs.CV
Listen to Look into the Future: Audio-Visual Egocentric Gaze Anticipation
Georgia Institute of Technology(佐治亚理工学院);GenAI, Meta(Meta GenAI);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出首个结合视频和音频模态的自我中心注视预测模型,采用对比时空可分离(CSTS)融合方法分别捕获空间和时间维度的视听相关性,并在 Ego4D 和 Aria 数据集上显著超越现有方法。
2024-03-22 cs.CV
FLaRA: Predicting Future Latent Representations for Accident Anticipation
Department of Information Engineering, University of Florence(佛罗伦萨大学信息工程系);Verizon Connect
提出FLaRA架构,通过预测未来潜在表示实现事故预警,在Nexar等数据集上达到最优性能。
2026-06-15 cs.CV