Temporal Action Localization in Untrimmed Videos via Multi-stage CNNs
Columbia University（哥伦比亚大学）
我们解决了未修剪的长视频中的时间动作定位。这很重要，因为实际应用中的视频通常不受约束，包含多个动作实例以及背景场景或其他活动的视频内容。为了解决这个具有挑战性的问题，我们通过三个基于片段的3D ConvNets利用深度网络在时间动作定位中的有效性：（1）建议网络识别长视频中可能包含动作的候选片段;（2）分类网络学习one-vs-all动作分类模型作为定位网络的初始化;以及（3）定位网络对所学习的分类网络进行微调以定位每个动作实例。我们提出了一种新的损失函数的定位网络明确考虑时间重叠，从而实现高的时间定位精度。在预测期间仅使用建议网络和定位网络。在两个大规模的基准测试中，我们的方法与其他最先进的系统相比具有显着优越的性能：当评估的重叠阈值设置为0.5时，MEXaction 2上的mAP从1.7%增加到7.4%，THUMOS 2014上的mAP从15.0%增加到19.0%。
2016-04-21 cs.CV
Progressive Cross-Stream Cooperation in Spatial and Temporal Domain for Action Localization
School of Electrical and Information Engineering, The University of Sydney（电气与信息工程学院，悉尼大学）
提出渐进式跨流协作框架，通过流间信息传递和提议融合，在空间和时间域迭代优化，提升动作定位与分类精度，并在UCF-101-24和J-HMDB上验证有效性。
2025-06-24 cs.CV
Precise Temporal Action Localization by Evolving Temporal Proposals
East China Normal University（华东师范大学）；Shanghai Advanced Research Institute, CAS（中国科学院上海高等研究院）；University of Washington（华盛顿大学）
在长的未修剪的视频中定位动作一直是视频内容分析中具有挑战性的问题。现有的动作定位方法在精确确定动作的开始和结束方面的性能仍然不能令人满意。模仿人类的感知过程与观察和改进，我们提出了一个新的三阶段动作定位框架。我们的框架嵌入了一个相似性网络，通过逐帧相似性分组生成初始建议，然后使用一个细化网络对这些建议进行边界调整。最后，将改进的建议发送到定位网络，以进行进一步的细粒度位置回归。整个过程可以看作是一个多阶段的细化使用一种新的非局部金字塔功能下的各种时间粒度。我们评估我们的框架上THUMOS 14基准，并获得了显着的改善，国家的最先进的方法。具体而言，在具有高IoU阈值的精确定位下，性能增益是显著的。我们提出的框架实现了34.2%的mAP@IoU=0.5。
2018-04-13 cs.CV
Weakly Supervised Action Localization by Sparse Temporal Pooling Network
University of California（加利福尼亚大学）；Google（谷歌）；Seoul National University（首尔国立大学）
我们提出了一个弱监督的时间动作定位算法的未修剪的视频使用卷积神经网络。我们的算法从视频级别的类标签中学习，并预测人类动作的时间间隔，而不需要时间定位注释。我们设计我们的网络，以确定一个稀疏的子集的关键段与目标动作在视频中使用的注意力模块和融合的关键段通过自适应时间池。我们的损失函数是由两个术语，最大限度地减少视频级的动作分类错误，并执行稀疏的段选择。在推理时，我们提取和评分时间的建议，使用时间类激活和类不可知的注意，估计对应于目标动作的时间间隔。该算法在THUMOS 14数据集上获得了最先进的结果，在ActivityNet1.3上表现出色，即使其监督较弱。
2018-04-03 cs.CV
Complementary Boundary Generator with Scale-Invariant Relation Modeling for Temporal Action Localization: Submission to ActivityNet Challenge 2020
SenseTime Group Limited（商汤集团有限公司）
本技术报告概述了我们在提交ActivityNet Challenge 2020任务1（\textbf{temporal action localization/detection}）时使用的解决方案。时间动作定位不仅要求精确定位动作实例的时间边界，还要求将未修剪的视频准确分类到特定的类别。在本文中，我们解耦的时间动作本地化任务分为两个阶段（即建议生成和分类），丰富的建议多样性，通过详尽的探索多个组件的影响，从不同的，但互补的角度。具体来说，为了生成高质量的建议，我们考虑了几个因素，包括视频特征编码器，建议生成器，建议的建议关系，规模不平衡，和合奏策略。最后，为了获得准确的检测，我们需要进一步训练一个最优的视频分类器来识别生成的建议。我们提出的方案实现了最先进的性能的时间动作定位任务与\textbf{42.26}平均mAP的挑战测试集。
2020-08-26 cs.CV
Learning Sparse 2D Temporal Adjacent Networks for Temporal Action Localization
University of Rochester（罗切斯特大学）；Microsoft Research（微软研究院）
在本报告中，我们介绍了2019年HACS时间动作本地化挑战赛的获胜者方法。时间动作定位是具有挑战性的，因为目标提案可能与未修剪视频中的几个其他候选提案相关。现有的方法不能很好地解决这一挑战，因为时间建议被单独考虑，它们的时间依赖性被忽略。为了解决这个问题，我们提出了稀疏的二维时间相邻网络来模拟候选提案之间的时间关系。这种方法是建立在最近提出的2D-TAN方法。2D-TAN中的采样策略引入了不平衡的上下文问题，其中短提议可以比长提议感知更多的上下文。因此，我们进一步提出了一种稀疏二维时间相邻网络（S-2D-TAN）。它能够为长提案提供更多的上下文信息，并进一步从中学习判别特征。通过将我们的S-2D-TAN与一个简单的动作分类器相结合，我们的方法在测试集上获得了23.49的mAP，在HACS挑战赛中获得了第一名。
2019-12-08 cs.CV
Deep Concept-wise Temporal Convolutional Networks for Action Localization
Baidu Inc（百度公司）；MIT-Watson AI Lab（麻省理工学院-沃森人工智能实验室）；Harbin Institute of Technology（哈尔滨工业大学）
现有的动作定位方法在从视频帧提取的1D特征图上采用浅时间卷积网络（\ie，TCN）。在本文中，我们经验性地发现，堆叠更多常规的时间卷积层实际上会降低动作分类性能，这可能是由于1D特征图的所有通道（通常是高度抽象的，可以被视为潜在概念）在时间卷积中过度重组。为了解决这个问题，我们引入了一个新的概念时间卷积（CTC）层作为传统时间卷积层的替代，用于训练更深层次的动作定位网络。CTC层不是重组潜在概念，而是为每个概念单独部署一些时间过滤器，并在概念之间共享过滤器参数。从而可以捕捉不同概念的共同时间模式，并显着丰富的表征能力。通过堆叠CTC层，我们提出了一种深度概念时间卷积网络（C-TCN），它将THUMOS'14上最先进的动作定位性能从42.8提升到52.1，在mAP（\%）方面，实现了21.7\%的相对提高。在ActivityNet上也取得了良好的效果。
2019-08-26 cs.CV
TSP: Temporally-Sensitive Pretraining of Video Encoders for Localization Tasks
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
由于未修剪视频的大内存占用，当前最先进的视频定位方法在预先计算的视频剪辑特征之上操作。这些特征是从视频编码器中提取的，通常针对修剪动作分类任务进行训练，使得这些特征不一定适合时间定位。在这项工作中，我们提出了一种新的监督预训练范式的剪辑功能，不仅训练分类活动，但也考虑背景剪辑和全球视频信息，以提高时间敏感性。大量的实验表明，使用我们新的预训练策略训练的特征显着提高了最近最先进的方法在三个任务上的性能：时间动作定位，动作建议生成和密集视频描述。我们还表明，我们的预训练方法在三种编码器架构和两个预训练数据集上都是有效的。我们认为视频特征编码是定位算法的重要组成部分，提取时间敏感的特征在构建更准确的模型时应该是至关重要的。代码和预训练模型可在我们的项目网站上获得。
2021-08-17 cs.CV
Exploring Frame Segmentation Networks for Temporal Action Localization
National University of Defense Technology（国防科技大学）
时间动作定位是计算机视觉的一个重要任务。虽然已经提出了许多方法，但如何准确地预测动作片段的时间位置仍然是一个悬而未决的问题。大多数最先进的作品训练动作分类器的视频片段预先确定的行动建议。然而，最近的工作发现，一个理想的模型应该超越段级，并在时间上以细粒度进行密集预测，以确定精确的时间边界。在本文中，我们提出了一种帧分割网络（FSN），它将时间CNN放置在2D空间CNN之上。空间CNN负责在空间维度上抽象语义，而时间CNN负责引入时间上下文信息并执行密集预测。所提出的FSN可以使用空间和时间上下文信息在帧级对视频片段进行密集预测。FSN以端到端的方式进行训练，因此可以在空间和时间域联合优化模型。我们还调整了FSN以在弱监督场景（WFSN）中使用它，在弱监督场景中，训练时只提供视频级别标签。在公开数据集上的实验结果表明，FSN在帧级动作定位和时域动作定位方面都取得了较好的性能。
2019-02-14 cs.CV
Spatio-Temporal Instance Learning: Action Tubes from Class Supervision
University of Amsterdam（阿姆斯特丹大学）
这项工作的目标是在视频中的时空动作定位，只使用视频级类标签的监督。国家的最先进的铸造这种弱监督的动作定位制度作为一个多实例学习问题，其中的实例是先验计算的时空建议。我们提出了时空实例学习，而不是将时空学习与训练断开，它可以直接从视频帧中的框建议中进行动作定位。我们概述了我们的模型的假设，并提出了一个最大利润目标和优化与潜变量，使时空学习的行动，从视频标签。我们还提供了一个有效的链接算法和两个重排序策略，以促进和进一步提高动作定位。四个动作数据集上的实验评估表明，我们的方法的有效性，从弱监督本地化。此外，我们展示了如何将其他监督水平和混合物，作为确定最佳监督策略的行动本地化的一步。
2018-11-21 cs.CV
Progress Regression RNN for Online Spatial-Temporal Action Localization in Unconstrained Videos
Nanyang Technological University（南洋理工大学）；University of Buffalo（布法罗大学）
以往的时空动作定位方法通常遵循目标检测的流水线来估计动作的边界框和标签。然而，一个动作的时间关系还没有得到充分的探讨。在本文中，我们提出了一个端到端的进度回归递归神经网络（PR-RNN），用于在线时空动作定位，它通过时间进度回归来学习推断动作。两个新的动作属性，称为进度和进度率，被引入到描述的时间参与和相对时间位置的动作。在我们的方法中，帧级特征首先由全卷积网络（FCN）提取。随后，检测结果和动作进度属性由卷积门控递归单元（ConvGRU）基于所有观察到的帧而不是单个帧或短剪辑来回归。最后，设计了一种新颖的在线连接方法，借助估计的动作进度属性将单帧结果连接到时空管。大量的实验表明，进度属性通过提供更精确的时间位置的动作在无约束的视频提高定位精度。我们提出的PR-RNN在两个基准数据集上实现了大多数IoU阈值的最先进性能。
2019-03-01 cs.CV
PcmNet: Position-Sensitive Context Modeling Network for Temporal Action Localization
College of Computer Science, Zhejiang University（浙江大学计算机学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
时间动作定位是一项重要且具有挑战性的任务，旨在定位真实世界未修剪视频中发生动作的时间区域并识别其类别。视频上下文是视频理解的重要线索，利用上下文信息是提高视频本地化性能的重要策略。然而，以前的国家的最先进的方法更多地集中在探索语义上下文，捕捉帧或建议之间的特征相似性，而忽略了位置上下文，这是至关重要的时间定位。在本文中，我们提出了一个时间位置敏感的上下文建模方法，将位置和语义信息更精确的动作定位。具体来说，我们首先增加与定向时间位置编码的特征表示，然后进行基于注意力的信息传播，在帧级和建议级。因此，所生成的特征表示被显著地赋予了对位置感知上下文信息进行编码的区分能力，从而有利于边界检测和建议评估。我们在两个具有挑战性的数据集THUMOS-14和ActivityNet-1.3上实现了最先进的性能，证明了我们方法的有效性和泛化能力。
2021-03-09 cs.CV
Temporal Action Localization by Structured Maximal Sums
Nanjing University（南京大学）；University of Michigan（密歇根大学）
我们解决了视频中的时间动作定位问题。我们将动作定位作为任意长度的时间窗口上的结构化预测，其中每个窗口被评分为逐帧分类分数的总和。此外，我们的模型将每个动作的开始，中间和结束分类为单独的组件，允许我们的系统显式地对每个动作的时间演变进行建模，并利用该结构中存在的信息时间依赖性。在这个框架中，我们通过搜索结构化的最大和，一个问题，我们开发了一种新的，可证明有效的算法解决方案本地化的行动。逐帧分类分数是使用来自深度卷积神经网络（CNN）的特征计算的，这些特征是端到端训练的，以直接优化新的结构化目标。我们评估我们的系统上的THUMOS 14动作检测基准，并实现竞争力的性能。
2017-04-15 cs.CV
Unsupervised Pre-training for Temporal Action Localization Tasks
School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院）；Tencent AI Lab（腾讯人工智能实验室）
无监督视频表示学习近年来取得了令人瞩目的成就。然而，大多数现有的方法都是针对视频分类而设计和优化的。由于视频级分类和剪辑级定位之间的固有差异，这些预先训练的模型对于时间定位任务可能是次优的。为了弥合这一差距，我们首次尝试提出一种自监督的借口任务，称为伪动作定位（PAL），以无监督地预训练时间动作定位任务（UP-TAL）的特征编码器。具体来说，我们首先随机选择时间区域，其中每个包含多个剪辑，从一个视频作为伪动作，然后将它们粘贴到其他两个视频的不同时间位置。前提任务是对齐来自两个合成视频的粘贴伪动作区域的特征，并最大化它们之间的一致性。与现有的无监督视频表示学习方法相比，我们的PAL通过以时间密集和尺度感知的方式引入时间等变对比学习范式，更好地适应下游TAL任务。大量的实验表明，PAL可以利用大规模的未标记的视频数据，显着提高现有的TAL方法的性能。我们的代码和模型将在https://github.com/zhang-can/UP-TAL上公开。
2022-03-25 cs.CV
TemporalMaxer: Maximize Temporal Context with only Max Pooling for Temporal Action Localization
School of Electrical and Electronic Engineering（电气与电子工程学院）
时间动作定位（TAL）是视频理解中的一项具有挑战性的任务，旨在识别和定位视频序列中的动作。最近的研究强调了将长期时间上下文建模（TCM）块应用于提取的视频片段特征的重要性，例如采用复杂的自我注意力机制。在本文中，我们提出了有史以来最简单的方法来解决这一任务，并认为提取的视频剪辑功能已经是信息丰富的，以实现出色的性能，而无需复杂的架构。为此，我们引入了TemporalMaxer，它最大限度地减少了长期的时间上下文建模，同时最大限度地利用基本的，无参数的和局部区域操作的最大池块从提取的视频剪辑特征中获取信息。仅挑选出相邻和局部剪辑嵌入的最关键信息，该块导致更有效的TAL模型。我们证明了TemporalMaxer优于其他利用长期TCM的最先进方法，例如在各种TAL数据集上的自我关注，同时需要更少的参数和计算资源。我们方法的代码可在https://github.com/TuanTNG/TemporalMaxer上公开获取
2023-03-16 cs.CV
Exploring the Temporal Consistency for Point-Level Weakly-Supervised Temporal Action Localization
University of Chinese Academy of Science, Beijing,100190, China（中国科学院大学）；Macquarie University（麦考瑞大学）
本文提出一种多任务学习框架，通过三个自监督任务提升点监督时间动作定位的模型时间理解能力，验证了在四个基准数据集上的有效性。
2026-09-16 cs.CV
Exploring Feature Representation and Training strategies in Temporal Action Localization
Queen Mary University of London（伦敦玛丽女王大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
时间动作定位最近引起了计算机视觉界的极大兴趣。然而，尽管取得了很大的进步，很难确定所提出的方法的哪些方面对本地化性能的提高贡献最大。为了解决这个问题，我们进行烧蚀实验的特征提取方法，固定大小的特征表示方法和训练策略，并报告如何影响整体性能。基于我们的研究结果，我们提出了一个两阶段的检测器，其性能优于THUMOS 14中的现有技术，实现了mAP@tIoU=0.5等于44.2%。
2019-05-29 cs.CV
Rethinking the Faster R-CNN Architecture for Temporal Action Localization
University of Michigan（密歇根大学）；Google Research（谷歌研究院）
我们提出了TAL-Net，这是一种改进的视频中时间动作定位方法，其灵感来自Faster R-CNN目标检测框架。TAL-Net解决了现有方法的三个关键缺点：（1）我们使用多尺度架构来改进感受野对齐，该架构可以适应动作持续时间的极端变化;（2）我们通过适当扩展感受野来更好地利用动作的时间上下文来进行建议生成和动作分类;以及（3）我们明确地考虑了多流特征融合，并证明了融合运动延迟是重要的。我们在THUMOS的14个检测基准上的行动建议和本地化方面都取得了最先进的性能，在ActivityNet挑战赛上也取得了有竞争力的性能。
2018-04-20 cs.CV
Multi-Granularity Fusion Network for Proposal and Activity Localization: Submission to ActivityNet Challenge 2019 Task 1 and Task 2
Shanghai Jiao Tong University（上海交通大学）
本技术报告概述了我们在提交ActivityNet Challenge 2019任务1（\textbf{temporal action proposal generation}）和任务2（\textbf{temporal action localization/detection}）时使用的解决方案。时态动作建议表示包含动作的时间区间，在时态动作定位中起着重要作用。自上而下和自下而上的方法是现有文献中用于提案生成的两种主要类别。在本文中，我们设计了一种新的多粒度融合网络（MGFN），结合互补过滤和信心重新排名从不同的框架产生的建议。具体而言，我们从特征方面、数据方面、模型方面和结果方面等多个角度综合考虑差异性。我们的MGFN在挑战测试集上以69.85的AUC得分和38.90 mAP的时间动作定位任务上实现了最先进的性能。
2019-07-29 cs.CV
Dilated Context Integrated Network with Cross-Modal Consensus for Temporal Emotion Localization in Videos
Zhejiang University（浙江大学）；University of Technology Sydney（悉尼科技大学）；National University of Singapore（新加坡国立大学）；Université de Montréal（蒙特利尔大学）；Huawei Cloud（华为云）
理解人类情感是智能机器人提供更好的人机交互的关键能力。现有的工作局限于修剪视频级的情感分类，未能找到对应的情感的时间窗口。在本文中，我们介绍了一个新的任务，名为时间情感定位在视频~（TEL），其目的是检测人类的情感和定位其相应的时间边界在未修剪的视频对齐字幕。与时间动作定位相比，TEL提出了三个独特的挑战：1）情感具有极其多样的时间动态; 2）情感线索嵌入在外观和复杂的情节中; 3）细粒度的时间注释复杂且劳动密集。为了解决前两个挑战，我们提出了一种新的扩张上下文集成网络与粗-细双流架构。粗流通过对多粒度时间上下文进行建模来捕获不同的时间动态。精细流通过推理来自粗流的多粒度时间上下文之间的依赖性来实现复杂情节理解，并自适应地将它们集成到细粒度视频片段特征中。为了解决第三个挑战，我们引入了一个跨模态的共识学习范式，它利用对齐的视频和字幕之间的固有语义共识来实现弱监督学习。我们贡献了一个新的测试集，3,000手动注释的时间边界，以便未来的研究TEL问题可以定量评估。大量的实验表明，我们的方法的有效性时间情感定位。本作品的知识库在https://github.com/YYJMJC/Temporal-Emotion-Localization-in-Videos。
2022-08-03 cs.CV
Fine-grained Temporal Contrastive Learning for Weakly-supervised Temporal Action Localization
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）
我们的目标是弱监督动作定位（WSAL）任务，在模型训练期间只有视频级别的动作标签可用。尽管最近的进展，现有的方法主要包括一个本地化的分类范式，并忽略了富有成效的细粒度的视频序列之间的时间区别，从而遭受严重的模糊性，在分类学习和分类到本地化的适应。本文认为，学习的上下文比较序列序列的区别提供了一个重要的归纳偏差WSAL，并有助于确定连贯的行动实例。具体而言，在可微动态规划公式下，设计了两个互补的对比目标，包括细粒度序列距离（FSD）对比和最长公共子序列（LCS）对比，其中第一个目标通过使用匹配、插入和删除操作来考虑各种动作/背景提议的关系，第二个目标挖掘两个视频之间的最长公共连续性。这两个对比模块可以相互增强，共同享有的区别性动作背景分离和分类和定位之间的任务差距缩小的优点。大量的实验表明，我们的方法在两个流行的基准测试中达到了最先进的性能。我们的代码可在www.example.com上获得。
2022-03-31 cs.CV
TVNet: Temporal Voting Network for Action Localization
University of Bristol（布里斯托大学）
我们提出了一个时间投票网络（TVNet）的动作定位在未修剪的视频。这结合了一个新的投票证据模块，以定位时间边界，更准确地说，时间上下文的证据是积累来预测帧级概率的开始和结束动作边界。我们的独立于动作的证据模块被整合到一个管道中，以计算置信度分数和动作类。我们在ActivityNet-1.3上实现了34.6%的平均mAP，特别是优于以前的方法，最高IoU为0.95。TVNet在THUMOS 14上以0.5 IoU与PGCN结合时也实现了56.0%的mAP，与MUSES结合时也实现了59.1%的mAP，并且在所有阈值下都优于先前的工作。我们的代码可在https://github.com/hanielwang/TVNet上获得。
2022-01-02 cs.CV
LocVTP: Video-Text Pre-training for Temporal Localization
Peking University（北京大学）；Tencent AI Lab（腾讯人工智能实验室）；Peng Cheng Laboratory（鹏城实验室）
视频文本预训练（VTP）旨在从大规模网络视频中学习各种下游任务的可转移表示。迄今为止，几乎所有现有的VTP方法都限于基于检索的下游任务，例如，视频检索，而它们在基于定位的任务上的转移潜力，例如，时间背景，还未被充分研究在本文中，我们通过实验分析和证明当前的VTP方法与本地化任务的不兼容性，并提出了一种新的面向本地化的视频文本预训练框架，被称为LocVTP。具体来说，我们执行细粒度的对比对齐作为一个补充粗粒度的剪辑字对应发现计划。为了进一步增强学习特征的时间推理能力，我们提出了一个上下文投影头和一个时间感知的对比损失感知上下文关系。在六个数据集上的四个下游任务上的广泛实验表明，我们的LocVTP在基于检索和基于本地化的任务上都达到了最先进的性能。此外，我们进行全面的消融研究和彻底的分析，以探索最佳的模型设计和训练策略。
2022-07-21 cs.CV
Exploring Stronger Feature for Temporal Action Localization
Huazhong University of Science and Technology（华中科技大学）；Alibaba Group（阿里巴巴集团）
时间动作定位的目的是确定动作的开始和结束时间。受GPU内存的限制，主流方法为每个视频预提取特征。因此，特征质量决定了检测性能的上限。在这份技术报告中，我们探讨了经典的基于卷积的主干和最近兴起的基于transformer的主干。我们发现，基于变换的方法可以实现更好的分类性能比基于卷积，但他们不能产生准确的行动建议。此外，提取具有更大帧分辨率的特征以减少空间信息的损失也可以有效地提高时间动作定位的性能。最后，我们通过一个简单的组合：BMN+TCANet，在具有单个SlowFast特征的验证集上实现了42.42%的mAP，比2020年的多模型集成结果高出1.87%。最后，我们在CVPR2021 HACS监督时间动作定位挑战赛中获得了第一名。
2021-06-24 cs.CV
TALLFormer: Temporal Action Localization with a Long-memory Transformer
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
大多数现代的时间动作定位方法将这个问题分为两个部分：（i）短期特征提取和（ii）长期时间边界定位。由于处理长的未修剪的视频导致的高GPU内存成本，许多方法通过冻结主干或使用小的空间视频分辨率来牺牲短期特征提取器的表示能力。这个问题在最近的视频Transformer模型中变得更糟，其中许多模型具有二次内存复杂度。为了解决这些问题，我们提出了TALLFormer，一个具有长期记忆的记忆高效和端到端可训练的时间动作定位Transformer。我们的长期记忆机制消除了在每次训练迭代期间处理数百个冗余视频帧的需要，从而显著减少了GPU内存消耗和训练时间。这些效率节省允许我们（i）使用强大的视频Transformer特征提取器，而不会冻结主干或降低空间视频分辨率，同时（ii）还保持长距离时间边界定位能力。TALLFormer仅使用RGB帧作为输入，没有外部动作识别分类器，其性能大大优于之前的最先进技术，在THUMOS 14上实现了59.1%的平均mAP，在ActivityNet-1.3上实现了35.6%的平均mAP。该代码是公开的：https://github.com/klauscc/TALLFormer。
2022-07-26 cs.CV
Cascaded Pyramid Mining Network for Weakly Supervised Temporal Action Localization
Shanghai Jiao Tong University（上海交通大学）
弱监督的时间动作定位是视频分析中一个重要而又具有挑战性的问题，其目的是在训练过程中仅使用视频级别的类标签来在未修剪的视频中定位动作实例。目前的许多方法采用“分类定位”的框架：首先进行视频分类，然后定位对结果贡献最大的时间区域。然而，该框架未能定位整个动作实例，并且很少考虑局部上下文。在本文中，我们提出了一种新的架构称为级联金字塔挖掘网络（CPMN），以解决这些问题，使用两个有效的模块。首先，为了发现特定动作的整个时间间隔，我们设计了一个两阶段级联模块，并提出了在线对抗擦除（OAE）机制，通过将发现区域的擦除特征图反馈给系统来挖掘新的和互补的区域。其次，为了充分利用视频中的分层上下文信息，减少漏检，我们设计了一个金字塔模块，它通过组合不同层次的特征图来产生一个尺度不变的注意力图。最后，我们将两个模块的结果进行聚合，通过定位时间类激活序列（CAS）中的高分区域来执行动作定位。在THUMOS 14和ActivityNet-1.3数据集上进行的大量实验证明了该方法的有效性。
2018-10-28 cs.CV
Technical Report for ActivityNet Challenge 2022 -- Temporal Action Localization
OPPO Research Institute（OPPO研究院）；Zhejiang University（浙江大学）
本研究针对ActivityNet-1.3数据集的时序动作定位任务，采用VideoSwinTransformer提特征、Faster-TAD统一网络检测并集成多互补模型，简化流程的同时取得了媲美多步方法的性能。
2024-10-31 cs.CV
Contrastive Language-Action Pre-training for Temporal Localization
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Amazon（亚马逊）
长格式视频理解需要设计能够暂时本地化活动或语言的方法。这种任务的端到端训练受到计算设备存储器约束和缺乏大规模时间注释的限制。这些限制可以通过在由类注释监督的时间修剪视频的大型数据集上进行预训练来解决。一旦视频编码器经过预训练，通常的做法是在微调期间将其冻结。因此，视频编码器不学习时间边界和看不见的类，从而导致相对于下游任务的域间隙。此外，使用时间修剪的视频防止捕捉不同的动作类别和视频剪辑中的背景上下文之间的关系，这导致有限的泛化能力。为了解决这些限制，我们提出了一种新的后预训练方法，而不会冻结利用语言的视频编码器。我们引入了一个掩蔽的对比学习损失捕捉活动，背景视频剪辑和语言的字幕形式之间的语义语言关系。实验结果表明，该方法在时间动作定位、Few-Shot时间动作定位和视频语言基础任务上都有较好的效果。
2022-04-26 cs.CV
Multi-task Learning with Extended Temporal Shift Module for Temporal Action Localization
L3i Laboratory, La Rochelle University（拉罗谢尔大学L3i实验室）
本文提出基于扩展时间移位模块的多任务学习方法，用于多视角多模态视频中的时间动作定位，通过引入背景类别和加权集成策略提升了预测的鲁棒性和一致性。
2025-12-12 cs.CV
Modeling Multi-Label Action Dependencies for Temporal Action Localization
University of Central Florida（中佛罗里达大学）
真实世界的视频包含许多复杂的动作，动作类之间存在固有的关系。在这项工作中，我们提出了一个基于注意力的架构，这些动作关系模型的任务，在未修剪的视频时间动作本地化。相对于以前的作品，利用视频级同现的行动，我们区分在同一时间步发生的行动和发生在不同的时间步（即那些之前或之后彼此）的行动之间的关系。我们将这些不同的关系定义为动作依赖关系。我们建议通过在一个新的基于注意力的多标签动作依赖（MLAD）层中对这些动作依赖进行建模来提高动作本地化性能。MLAD层由两个分支组成：共现依赖性分支和时间依赖性分支，分别对共现动作依赖性和时间动作依赖性进行建模。我们观察到，用于多标签分类的现有指标没有明确衡量如何以及动作依赖建模，因此，我们提出了新的指标，考虑共同出现和动作类之间的时间依赖关系。通过实证评估和广泛的分析，我们在f-mAP和我们提出的指标方面显示了对多标签动作本地化基准（MultiTHUMOS和Charades）的最先进方法的改进性能。
2021-05-29 cs.CV
MM-SEAL: A Large-scale Video Dataset of Multi-person Multi-grained Spatio-temporally Action Localization
OPPO Research Institute（OPPO研究院）；Zhejiang University（浙江大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出大规模视频数据集MM-SEAL，首次构建多人时空复杂活动定位基准，提供原子动作与复杂活动标注，提出Faster-TAD网络，其预训练特征可提升其他基准性能，将发布数据集与代码。
2024-11-27 cs.CV
Cross-Class Relevance Learning for Temporal Concept Localization
Layer6 AI（Layer6人工智能公司）
我们提出了一种新的跨类相关学习的时间概念定位的任务。大多数本地化架构依赖于特征提取层，然后是输出每个片段的类别概率的分类层。然而，在许多现实世界的应用程序中，类可能表现出复杂的关系，难以用这种体系结构进行建模。相比之下，我们建议将目标类和类相关的功能作为输入，并学习一个成对的二进制模型来预测一般段类的相关性。这有助于学习类之间的共享信息，并允许任意类特定的特征工程。我们将这种方法应用于第三届YouTube-8 M视频理解挑战赛，并与其他领先的模型一起，在280多支队伍中获得第一名。在本文中，我们描述了我们的方法，并显示了一些实证结果。
2019-11-19 cs.CV
OpenTAL: Towards Open Set Temporal Action Localization
Rochester Institute of Technology（罗切斯特理工学院）
在监督学习范式下，时间动作定位（TAL）取得了显著的成功。然而，现有的TAL方法植根于封闭集的假设，这不能处理不可避免的未知动作在开放世界的场景。在本文中，我们第一次迈向开放集TAL（OSTAL）问题，并提出了一个基于证据深度学习（EDL）的通用框架OpenTAL。具体来说，OpenTAL由不确定性感知动作分类、动作性预测和时间位置回归组成。提出的重要性平衡的EDL方法，分类不确定性的学习，主要是从重要的样本收集分类证据。为了从背景视频帧中区分未知的动作，通过正无标记学习来学习动作性。通过利用来自时间定位质量的指导来进一步校准分类不确定性。OpenTAL是通用的，使现有的TAL模型的开放集场景，和THUMOS 14和ActivityNet1. 3基准测试的实验结果表明，我们的方法的有效性。代码和预训练模型在https://www.rit.edu/actionlab/opental上发布。
2022-03-10 cs.CV
Active Learning with Effective Scoring Functions for Semi-Supervised Temporal Action Localization
时间动作定位（TAL）旨在预测未修剪视频中动作实例的动作类别和时间边界，即，开始和结束时间。全监督的解决方案通常被大多数现有工程所采用，并被证明是有效的。这些解决方案中的实际瓶颈之一是需要大量标记的训练数据。为了降低人工标注的成本，本文针对半监督学习任务，提出了一种有效的主动学习方法AL-STAL。我们利用四个步骤来主动选择具有高信息量的视频样本并训练本地化模型，称为\emph{Train, Query, Annotate, Append}。AL-STAL中引入了两个评分函数，考虑了定位模型的不确定性，便于对视频样本进行排序和选择。一种是将预测标签分布的熵作为不确定性的度量，称为时间建议熵（TPE）。另一种是引入一种新的基于相邻动作建议之间的互信息的度量标准来评价视频样本的信息量，称为时间上下文不一致性（TCI）。为了验证该方法的有效性，我们在两个基准数据集THUMOS'14和ActivityNet 1.3上进行了大量的实验。实验结果表明，与全监督学习相比，AL-STAL的性能优于现有的竞争者，取得了令人满意的效果。
2022-12-01 cs.CV
Prior-enhanced Temporal Action Localization using Subject-aware Spatial Attention
Tsinghua University（清华大学）；PAII Inc.（PAII公司）
时间动作定位（TAL）的目的是检测边界，并确定在一个长的未修剪的视频中的每个动作实例的类。目前的方法处理视频帧均匀，往往给背景和关键对象过度的关注。这限制了他们对局部动作边界的敏感性。为此，我们提出了一种先验增强的时间动作定位方法（PETAL），它只需要在RGB输入，并将动作主体作为先验。该建议利用动作主体的信息与即插即用的主体感知空间注意模块（SA-SAM）来生成聚合的和主体优先级的表示。在THUMOS-14和ActivityNet-1.3数据集上的实验结果表明，所提出的PETAL仅使用RGB特征即可实现具有竞争力的性能，例如，与使用RGB特征或在THUMOS-14数据集上使用附加光流特征的最先进方法相比，将mAP提高了2.41%或0.25%。
2022-11-10 cs.CV
Benchmarking Data Efficiency and Computational Efficiency of Temporal Action Localization Models
Delft University of Technology（代尔夫特理工大学）
该研究针对时序动作定位模型在数据、算力受限场景下的表现开展基准测试，通过数据子集训练、不同长度视频推理等实验，明确了不同约束下的最优模型选择及性能差异原因。
2023-08-24 cs.CV
JCDNet: Joint of Common and Definite phases Network for Weakly Supervised Temporal Action Localization
Alibaba DAMO Academy（阿里巴巴达摩院）
弱监督时间动作定位的目的是定位动作实例在未经修剪的视频，只有视频级的监督。我们见证了不同的行动记录共同的阶段，例如，跳高和跳远中的助跑。这些不同的动作被定义为联合动作，其其余部分是确定的阶段，例如，在跳高中跳过横杆。相对于普通相位，已有研究中的定相相位更容易局部化。大多数人将此任务表述为多实例学习范式，其中公共阶段往往与背景相混淆，并影响联合动作的本地化完整性。为了应对这一挑战，我们提出了一个共同的和确定的相位网络（JCDNet），通过提高联合行动的特征可辨别性。具体地说，我们设计了一个类感知判别模块，以提高在分类的粗确定相位特征的指导下的共同相位的贡献。此外，我们引入了一个时间注意力模块，通过建模时间依赖性来学习鲁棒的动作性分数，区分公共相位和背景。在三个数据集（THUMOS 14，ActivityNetv1.2和一个联合动作子集）上进行的大量实验表明，JCDNet与最先进的方法相比具有竞争力的性能。关键词：弱监督学习，时间动作局部化，联合动作
2023-03-30 cs.CV
Weakly Supervised Temporal Action Localization Through Learning Explicit Subspaces for Action and Context
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；The State University of New York at Buffalo（纽约州立大学布法罗分校）；Wormpex AI Research（Wormpex AI研究院）
弱监督时间动作定位（WS-TAL）方法学习仅在视频级监督下定位视频中动作实例的时间开始和结束。现有的WS-TAL方法依赖于为动作识别而学习的深度特征。然而，由于分类和定位之间的不匹配，这些特征不能区分频繁共现的上下文背景，即，上下文和实际行动实例。我们将这种挑战称为动作上下文混淆，它将对动作定位的准确性产生不利影响。为了解决这一挑战，我们引入了一个框架，分别为动作和它们的上下文学习两个特征子空间。通过明确地考虑动作视觉元素，动作实例可以更精确地定位，而不会从上下文中分心。为了便于学习这两个特征子空间，只有视频级别的分类标签，我们利用预测从空间和时间流的片段分组。此外，还引入了一个无监督学习任务，使所提出的模块专注于挖掘时态信息。所提出的方法在三个基准上优于最先进的WS-TAL方法，即，THUMOS 14，ActivityNet v1.2和v1.3数据集。
2021-03-30 cs.CV
PSEE: Progressive Sensor Event Expansion for Point-Supervised Temporal Action Localization
针对点监督时间动作定位中伪片段质量差的问题，提出PSEE方法，结合语义激活、传感器转换证据和自适应时间归属生成伪片段，在四个惯性基准上提升边界质量并兼容多种检测器。
2026-09-21 cs.CV
Sub-action Prototype Learning for Point-level Weakly-supervised Temporal Action Localization
本文提出子动作原型学习框架SPL-Loc，通过子动作原型聚类和有序原型对齐生成高质量伪标签，解决点级弱监督时序动作定位中标签稀疏和子动作结构被忽略的问题，在三个基准上显著超越现有方法。
2023-09-16 cs.CV
CoLA: Weakly-Supervised Temporal Action Localization with Snippet Contrastive Learning
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
弱监督时间动作定位（WS-TAL）的目的是定位动作在未经修剪的视频只有视频级的标签。大多数现有的模型遵循“分类定位”的过程：定位对视频级分类贡献最大的时间区域。通常，他们单独处理每个片段（或帧），从而忽略了富有成效的时间上下文关系。这里出现了单个片段欺骗问题：“硬”片段太模糊，无法分类。在本文中，我们认为，通过比较学习有助于识别这些硬片段，我们建议利用片段对比学习本地化动作，简称CoLA。具体来说，我们提出了一种SniCoIntrast（SniCo）Loss来细化特征空间中的硬片段表示，从而引导网络感知精确的时间边界并避免时间间隔中断。此外，由于访问帧级注释是不可行的，我们引入了硬片段挖掘算法来定位潜在的硬片段。大量的分析表明，这种挖掘策略有效地捕获了硬片段和SniCo损失导致更多的信息特征表示。大量的实验表明，CoLA在THUMOS'14和ActivityNet v1.2数据集上实现了最先进的结果。CoLA代码可在https://github.com/zhang-can/CoLA上公开获得。
2021-07-28 cs.CV
Scale Matters: Temporal Scale Aggregation Network for Precise Action Localization in Untrimmed Videos
Peking University（北京大学）；Tencent（腾讯）；Cloud and Smart Industries Group, Tencent（腾讯云与智慧产业事业群）
时间动作定位是一个新兴的任务，旨在定位视频片段从未经修剪的视频，包含特定的动作。尽管最近取得了显着的进展，大多数两阶段的行动本地化方法仍然遭受不精确的时间边界的行动建议。提出了一种新的集成时间尺度聚合网络（TSA-Net）。我们的主要见解是，不同的膨胀率的卷积滤波器的集合可以有效地扩大感受野与低的计算成本，这启发我们设计的多膨胀时间卷积（MDC）块。此外，为了处理具有不同持续时间的视频动作实例，TSA-Net由多个分支的子网络组成。它们中的每一个都采用堆叠的MDC块与不同的膨胀参数，完成一个时间的感受野特别优化的特定持续时间的行动。我们遵循边界点检测的公式，新颖地检测三种临界点（即，开始/中点/结束），并将它们配对以生成提案。对两个具有挑战性的视频基准THUMOS 14和ActivityNet-1.3进行了全面评估。我们提出的TSA网络展示了清晰一致的更好性能，并在两个基准上重新校准了新的最先进技术。例如，我们在THUMOS 14上的新纪录是46.9%，而在mAP@0.5下的先前最佳纪录是42.8%。
2019-08-02 cs.CV
Action Unit Memory Network for Weakly Supervised Temporal Action Localization
University of Science and Technology of China（中国科学技术大学）；JD AI Research（京东人工智能研究院）
弱监督时间动作定位的目的是在训练期间仅使用视频级标签来检测和定位未修剪视频中的动作。然而，没有帧级注释，实现定位完整性和减轻背景干扰是具有挑战性的。在本文中，我们提出了一个行动单位记忆网络（AUMN）弱监督的时间动作定位，它可以通过学习一个行动单位存储体，以减轻上述两个挑战。在建议AUMN，两个注意模块被设计为更新的存储体自适应和学习动作单元特定的分类器。此外，三个有效的机制（多样性，同质性和稀疏性）的设计，以指导更新的记忆网络。据我们所知，这是第一个用记忆网络明确建模动作单元的工作。在两个标准基准测试（THUMOS 14和ActivityNet）上的大量实验结果表明，我们的AUMN对最先进的方法表现良好。具体来说，THUMOS 14数据集上IoU阈值从0.1到0.5的平均mAP从47.0%显着提高到52.1%。
2021-04-29 cs.CV
Gaussian Temporal Awareness Networks for Action Localization
University of Science and Technology of China（中国科学技术大学）；JD AI Research（京东人工智能研究院）；University of Rochester（罗切斯特大学）
视频中动作的时间定位是视频理解的一个基本挑战。大多数现有的方法通常从图像目标检测中获得灵感并扩展了进展，例如，SSD和更快的R-CNN，用于在1D序列中生成动作的时间位置。然而，由于预定的时间尺度的设计，结果可能遭受鲁棒性问题，这忽略了动作的时间结构，并限制了检测具有复杂变化的动作的实用性。在本文中，我们建议通过引入高斯内核来动态优化每个行动建议的时间尺度来解决这个问题。具体来说，我们提出了高斯时间感知网络（GTAN）-一种新的架构，新颖地集成了开发的时间结构到一个阶段的行动本地化框架。从技术上讲，GTAN通过学习一组高斯内核来对时间结构进行建模，每个内核都对应于特征图中的一个单元。每个高斯核对应于动作建议的特定间隔，并且高斯核的混合可以进一步表征具有各种长度的动作建议。此外，每个高斯曲线中的值反映了行动建议本地化的上下文贡献。在THUMOS 14和ActivityNet v1.3数据集上进行了广泛的实验，与最先进的方法相比，报告了优越的结果。更值得注意的是，GTAN在两个数据集的测试集上实现了1.9%和1.1%的mAP改进。
2019-09-09 cs.CV
Pointly-Supervised Action Localization
Universiteit van Amsterdam（阿姆斯特丹大学）
本文致力于视频中人类动作的时空定位。在文献中，共识是通过对为每个训练视频的每个帧提供的限界框注释进行训练来实现定位。由于在视频中注释框是昂贵的，繁琐的和容易出错的，我们建议绕过框监督。相反，我们引入了基于点监督的动作本地化。我们从无监督的时空建议开始，它在视频中提供了一组候选区域。虽然通常专门用于推理，但我们表明，在训练过程中，当由一组稀疏的点注释指导时，也可以利用时空建议。我们引入了点和时空建议之间的重叠度量，并将它们全部纳入多实例学习优化的新目标。在推理过程中，我们引入了伪点，视频中的视觉线索，自动指导时空建议的选择。我们概述了五个空间和一个时间伪点，以及在测试时最好地利用伪点的措施。在三个动作定位数据集上的实验评估表明，我们的点监督方法（i）与传统的框监督一样有效，其注释成本仅为一小部分，（ii）对稀疏和噪声点注释具有鲁棒性，（iii）在推理过程中受益于伪点，（iv）优于最近的弱监督替代方案。这使我们得出结论，点提供了一个可行的替代框的动作本地化。
2018-10-01 cs.CV
Forcing the Whole Video as Background: An Adversarial Learning Strategy for Weakly Temporal Action Localization
Chongqing University（重庆大学）
利用视频级标签，弱监督时间动作定位（WTAL）应用分类定位范式来检测和分类未修剪视频中的动作。在WTAL中，由于分类的特点，不可避免地会误激活特定类别的背景片段，以提高分类器的可区分性。为了减轻背景的干扰，现有的方法试图扩大行动和背景之间的差异，通过建模的背景片段与伪片段级的注释，这在很大程度上依赖于人工假设。与以往的工作不同，我们提出了一个对抗性的学习策略，以打破挖掘伪背景片段的限制。具体地说，背景分类丢失迫使整个视频被视为背景的背景梯度增强策略，混淆了识别模型。值得注意的是，前景（动作）损失引导模型在这种情况下专注于动作片段。因此，两种分类损失之间的竞争驱动模型提高其动作建模的能力。同时，设计了一种新的时间增强网络，使模型能够基于所提出的策略构建亲和片段的时间关系，进一步提高动作定位的性能。最后，在THUMOS 14和ActivityNet1.2上进行了大量实验，验证了该方法的有效性。
2022-07-14 cs.CV
Transferable Knowledge-Based Multi-Granularity Aggregation Network for Temporal Action Localization: Submission to ActivityNet Challenge 2021
SenseTime Research（商汤科技研究院）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Shanghai AI Laboratory（上海人工智能实验室）
本技术报告概述了我们在提交2021 HACS时间动作本地化挑战赛时使用的解决方案，包括监督学习跟踪和弱监督学习跟踪。时间动作定位（TAL）不仅需要精确定位动作实例的时间边界，而且还需要将未修剪的视频准确分类到特定的类别中。然而，弱监督TAL指示仅使用视频级别的类标签来定位动作实例。为了训练一个有监督的时间动作定位器，本文采用时间上下文聚合网络（TCANet），通过“局部和全局”的时间上下文聚合和互补以及渐进的边界细化来生成高质量的动作建议。对于WSTAL，提出了一种新的框架来处理简单分类网络生成的CAS质量差的问题，该框架只能关注局部判别部分，而不能定位目标动作的整个区间。进一步受迁移学习方法的启发，我们还采用了一个额外的模块来将知识从修剪视频（HACS Clips数据集）转移到未修剪视频（HACS Segments数据集），旨在提高未修剪视频的分类性能。最后，我们采用了一个边界回归模块嵌入外部-内部-对比（OIC）的损失，自动预测边界的基础上增强的CAS。我们提出的方案实现了39.91和29.78平均mAP的挑战测试集的监督和弱监督的时间动作定位跟踪。
2021-07-27 cs.CV
Slow Motion Matters: A Slow Motion Enhanced Network for Weakly Supervised Temporal Action Localization
Beihang University（北京航空航天大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；The University of Hong Kong（香港大学）
弱监督时间动作定位（WTAL）的目的是在未经修剪的视频中定位动作，只有弱监督信息（例如视频级标签）。大多数现有的模型处理具有固定时间尺度的所有输入视频。然而，这样的模型对动作的速度不同于"正常”速度的动作不敏感，特别是慢动作动作实例，其以比具有正常速度的对应物慢得多的速度完成动作。这里出现了慢动作模糊的问题：很难以"正常”速度从视频中探索显著的慢动作信息。在本文中，我们提出了一种新的框架，称为慢动作增强网络（SMEN），以提高WTAL网络的能力，通过补偿其对慢动作段的敏感性。建议SMEN包括一个挖掘模块和本地化模块。挖掘模块利用正常运动和慢动作之间的关系生成掩码来挖掘慢动作相关特征;定位模块利用挖掘出的慢动作特征作为补充信息来改善时间动作定位结果。我们提出的框架可以很容易地适应现有的WTAL网络，使他们更敏感的慢动作。在三个基准上进行了大量的实验，证明了我们提出的框架的高性能。
2022-11-21 cs.CV
BLP -- Boundary Likelihood Pinpointing Networks for Accurate Temporal Action Localization
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；Tencent（腾讯）
尽管在时间动作检测方面取得了巨大的进步，但是当定位开始和结束时间动作边界时，最先进的方法仍然遭受急剧的性能恶化。虽然大多数方法采用边界回归范式来解决这个问题，我们认为，直接回归缺乏足够详细的信息，以产生准确的时间边界。在本文中，我们提出了一种新的边界Likestive Pinpointing（BLP）网络，以减轻边界回归的这一不足，提高定位精度。给定一个包含动作实例的松散局部搜索区间，BLP将时间边界的局部化问题转化为在该区间的每个等分单元上分配概率的问题。这些生成的概率提供了关于该搜索区间内的动作的边界位置的有用信息。基于这些概率，我们引入了一个边界精确定位的范例，以确定一个简单的概率框架下的准确边界。与其他基于C3 D特征的检测器相比，大量的实验表明，BLP显着提高了最近的国家的最先进的检测器的定位性能，并实现了竞争性的检测mAP在THUMOS' 14和ActivityNet数据集，特别是当评估tIoU是高的。
2019-12-16 cs.CV
Temporal Convolution Based Action Proposal: Submission to ActivityNet 2017
Shanghai Jiao Tong University（上海交通大学）；Columbia University（哥伦比亚大学）
在这篇笔记本论文中，我们描述了我们在提交CVPR 2017举办的ActivityNet挑战赛的时间行动提案（任务3）和时间行动本地化（任务4）时的方法。由于动作分类任务的准确率已经非常高（在ActivityNet数据集中接近90%），我们认为时间动作本地化的主要瓶颈是动作建议的质量。因此，我们主要针对时态动作建议任务，提出了一种新的基于时态卷积网络的建议模型。我们的方法实现了国家的最先进的性能上的时间动作建议任务和时间动作定位任务。
2018-09-26 cs.CV
KORSAL: Key-point Detection based Online Real-Time Spatio-Temporal Action Localization
University of Moratuwa（莫拉图瓦大学）
视频中的实时的【形】在线动作定位是一个关键而又极具挑战性的问题。精确的动作定位需要同时利用时间和空间信息。最近的尝试通过使用计算密集型3D CNN架构或具有光流的高度冗余双流架构来实现这一点，使得它们都不适合实时的【形】在线应用。为了在极具挑战性实时的【形】约束下完成活动定位，我们建议利用快速有效的基于关键点的限界框预测来空间定位动作。然后，我们引入了一个管连接算法，保持连续性的动作管暂时存在的闭塞。此外，我们通过将时间和空间信息组合到单个网络的级联输入中，消除了对双流体系结构的需要，允许网络从两种类型的信息中学习。与计算密集的光流相反，使用结构相似性索引图来有效地提取时间信息。尽管我们的方法很简单，但我们的轻量级端到端架构在具有挑战性的UCF 101 -24数据集上实现了74.7%的最先进的帧mAP，比以前的最佳在线方法性能提高了6.4%。与在线和离线方法相比，我们还实现了最先进的视频mAP结果。此外，我们的模型实现了41.8 FPS的帧速率，这比当代实时的【形】方法提高了10.7%。
2021-11-05 cs.CV
Weakly-Supervised Temporal Action Localization by Inferring Salient Snippet-Feature
Beijing University of Posts and Telecommunications（北京邮电大学）
提出通过推断显著片段特征生成高保真伪标签的弱监督时序动作定位方法，在THUMOS14和ActivityNet v1.3上超越现有技术。
2023-12-24 cs.CV
Distilling Vision-Language Pre-training to Collaborate with Weakly-Supervised Temporal Action Localization
Shanghai Jiao Tong University（上海交通大学）；Huawei Cloud & AI（华为云与人工智能）
弱监督时间动作定位（WTAL）学习仅使用类别标签检测和分类动作实例。大多数方法广泛采用现成的基于分类的预训练（CBP）来生成用于动作定位的视频特征。然而，分类和局部化的优化目标不同，使得时间局部化的结果存在严重的不完全问题。为了解决这个问题而不需要额外的注释，本文考虑从视觉语言预训练（VLP）中提取自由动作知识，因为我们惊讶地观察到vanilla VLP的本地化结果有一个过完备的问题，这只是对CBP结果的补充。为了融合这种互补性，我们提出了一种新的蒸馏协作框架，两个分支分别作为CBP和VLP。该框架通过双分支交替训练策略进行优化。具体来说，在B步骤期间，我们从CBP分支中提取置信背景伪标签;而在F步骤期间，置信前景伪标签从VLP分支中提取。从而有效地融合了双分支的互补性，促进了强强联合。在THUMOS 14和ActivityNet1.2上进行的大量实验和消融研究表明，我们的方法显着优于最先进的方法。
2022-12-19 cs.CV
Weakly Supervised Temporal Action Localization via Representative Snippet Knowledge Propagation
The Chinese University of Hong Kong（香港中文大学）；Centre for Perceptual and Interactive Intelligence（感知与智能交互中心）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
弱监督时间动作定位的目标是定位动作的时间边界，同时仅使用视频级别的类别标签来识别它们的类别。许多现有的方法试图生成伪标签，以弥合分类和本地化之间的差异，但通常只利用有限的上下文信息的伪标签生成。为了缓解这个问题，我们提出了一个代表性的片段摘要和传播框架。我们的方法旨在挖掘每个视频中的代表性片段，用于在视频片段之间传播信息，以生成更好的伪标签。对于每个视频，传播其自身的代表性片段和来自存储体的代表性片段，以视频内和视频间方式更新输入特征。伪标签是从更新特征的时间类激活图生成的，以纠正主分支的预测。我们的方法在两个基准测试，THUMOS 14和ActivityNet1.3，实现收益高达1.2%的平均mAP THUMOS 14相比，现有的方法获得了优异的性能。
2022-03-14 cs.CV
