arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2204.13340cs.CV
收藏

群体智慧:用于早期动作预测的时间渐进式注意力机制

The Wisdom of Crowds: Temporal Progressive Attention for Early Action Prediction

Vrije University of Brussels(布鲁塞尔自由大学);imec(imec 微电子研究中心);University of Bristol(布里斯托大学)

Alexandros Stergiou, Dima Damen

AI总结:

本文提出一种基于瓶颈的注意力模型TemPr,通过多尺度渐进采样捕捉动作演变,利用多个注意力塔的集体一致性预测标签,在四个数据集上实现了早期动作预测的最先进性能。

摘要:

早期动作预测处理从部分观察的视频中推断正在进行的动作的问题,通常在视频的开头进行。我们提出了一种基于瓶颈的注意力模型,通过在由细到粗的尺度上进行渐进式采样来捕捉动作的演变过程。我们提出的时间渐进式模型由多个注意力塔组成,每个尺度对应一个塔。预测的动作标签基于考虑这些塔置信度的集体一致意见。在四个视频数据集上的大量实验表明,在一系列编码器架构上,该方法在早期动作预测任务中达到了最先进的性能。我们通过详细的消融研究证明了TemPr的有效性和一致性。

英文摘要:

Early action prediction deals with inferring the ongoing action from partially-observed videos, typically at the outset of the video. We propose a bottleneck-based attention model that captures the evolution of the action, through progressive sampling over fine-to-coarse scales. Our proposed Temporal Progressive (TemPr) model is composed of multiple attention towers, one for each scale. The predicted action label is based on the collective agreement considering confidences of these towers. Extensive experiments over four video datasets showcase state-of-the-art performance on the task of Early Action Prediction across a range of encoder architectures. We demonstrate the effectiveness and consistency of TemPr through detailed ablations.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑