Complementary Boundary Generator with Scale-Invariant Relation Modeling for Temporal Action Localization: Submission to ActivityNet Challenge 2020
SenseTime Group Limited（商汤集团有限公司）
本技术报告概述了我们在提交ActivityNet Challenge 2020任务1（\textbf{temporal action localization/detection}）时使用的解决方案。时间动作定位不仅要求精确定位动作实例的时间边界，还要求将未修剪的视频准确分类到特定的类别。在本文中，我们解耦的时间动作本地化任务分为两个阶段（即建议生成和分类），丰富的建议多样性，通过详尽的探索多个组件的影响，从不同的，但互补的角度。具体来说，为了生成高质量的建议，我们考虑了几个因素，包括视频特征编码器，建议生成器，建议的建议关系，规模不平衡，和合奏策略。最后，为了获得准确的检测，我们需要进一步训练一个最优的视频分类器来识别生成的建议。我们提出的方案实现了最先进的性能的时间动作定位任务与\textbf{42.26}平均mAP的挑战测试集。
2020-08-26 cs.CV
HyrCap: Hybrid Rank-Calibration of Action Proposals for Temporal Event Understanding
Peking University（北京大学）；Zhongguancun Academy（中关村学院）；Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究院）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
提出HyrCap框架，结合混合特征与排名校准处理时间动作检测问题，经分阶段评估在公开基准上达最优性能，为时间事件理解提供新范式。
2026-10-14 cs.CV
Guess Where? Actor-Supervision for Spatiotemporal Action Localization
KAUST（沙特阿拉伯阿卜杜拉国王科技大学）；University of Amsterdam（阿姆斯特丹大学）；Qualcomm Technologies Inc（高通技术公司）
本文研究了视频中动作的时空定位问题。与领先的方法相比，这些方法都是基于训练视频帧上仔细注释的框来学习本地化的，我们坚持弱监督的解决方案，只需要一个视频类标签。我们引入了一个演员监督的架构，利用演员转换方面的行动的固有组合性，本地化的行动。我们做了两个贡献。首先，我们提出了演员的建议，来自人类和非人类演员的图像，这是随着时间的推移，暹罗相似性匹配考虑演员变形的检测器。其次，我们提出了一个基于演员的注意力机制，使本地化的动作从动作类标签和演员的建议，是端到端的训练。在三个人类和非人类动作数据集上的实验表明，演员监督对于弱监督动作定位是最先进的，甚至与一些完全监督的替代方案相比具有竞争力。
2018-04-05 cs.CV
Background-Click Supervision for Temporal Action Localization
弱监督时间动作定位的目的是从视频级标签中学习实例级动作模式，其中一个重大挑战是动作上下文混淆。为了克服这一挑战，最近的一项工作建立了一个动作点击监督框架。与传统的弱监督方法相比，它需要类似的注释成本，但可以稳步提高定位性能。在本文中，通过揭示现有方法的性能瓶颈主要来自背景误差，我们发现，一个更强大的动作定位器可以训练的标签上的背景视频帧，而不是那些在动作帧。为此，我们将动作点击监督转换为背景点击监督，并开发了一种新的方法，称为BackTAL。具体地，BackTAL对背景视频帧实现了双重建模，即位置建模和特征建模。在位置建模中，我们不仅对标注的视频帧进行监督学习，而且设计了一个分数分离模块，以扩大潜在动作帧和背景之间的分数差异。在特征建模中，我们提出了一个亲和度模块来测量相邻帧之间的帧特定的相似性，并在计算时间卷积时动态地关注信息丰富的邻居。在三个基准测试上进行了大量的实验，实验结果表明，所建立的BackTAL具有较高的性能和所提出的背景点击监督的合理性。代码可在https://github.com/VividLe/BackTAL上获得。
2021-11-24 cs.CV
Spot On: Action Localization from Pointly-Supervised Proposals
University of Amsterdam（阿姆斯特丹大学）；Delft University of Technology（代尔夫特理工大学）
我们致力于视频中动作的时空定位。最先进的技术依赖于测试时的行动建议，并使用经过仔细注释的框注释训练的分类器选择最好的一个。在视频中注释动作框是繁琐、乏味且容易出错的。而不是注释框，我们建议在视频中的动作只与帧的稀疏子集上的点。我们引入了行动建议和点之间的重叠度量，并将它们全部纳入非凸多实例学习优化的目标中。对UCF Sports和UCF 101数据集的实验评估表明，（i）时空建议可用于训练分类器，同时保持本地化性能，（ii）点注释产生与框注释相当的结果，同时注释速度明显更快，（iii）在最小量的监督下，我们的方法与最先进的方法相比具有竞争力。我们在Hollywood2的训练和测试视频上引入时空动作注释，从而产生Hollywood2Tubes，其可在www.example.com获得http://tinyurl.com/hollywood2tubes。
2016-07-25 cs.CV
Learning Sparse 2D Temporal Adjacent Networks for Temporal Action Localization
University of Rochester（罗切斯特大学）；Microsoft Research（微软研究院）
在本报告中，我们介绍了2019年HACS时间动作本地化挑战赛的获胜者方法。时间动作定位是具有挑战性的，因为目标提案可能与未修剪视频中的几个其他候选提案相关。现有的方法不能很好地解决这一挑战，因为时间建议被单独考虑，它们的时间依赖性被忽略。为了解决这个问题，我们提出了稀疏的二维时间相邻网络来模拟候选提案之间的时间关系。这种方法是建立在最近提出的2D-TAN方法。2D-TAN中的采样策略引入了不平衡的上下文问题，其中短提议可以比长提议感知更多的上下文。因此，我们进一步提出了一种稀疏二维时间相邻网络（S-2D-TAN）。它能够为长提案提供更多的上下文信息，并进一步从中学习判别特征。通过将我们的S-2D-TAN与一个简单的动作分类器相结合，我们的方法在测试集上获得了23.49的mAP，在HACS挑战赛中获得了第一名。
2019-12-08 cs.CV
Temporal Convolution Based Action Proposal: Submission to ActivityNet 2017
Shanghai Jiao Tong University（上海交通大学）；Columbia University（哥伦比亚大学）
在这篇笔记本论文中，我们描述了我们在提交CVPR 2017举办的ActivityNet挑战赛的时间行动提案（任务3）和时间行动本地化（任务4）时的方法。由于动作分类任务的准确率已经非常高（在ActivityNet数据集中接近90%），我们认为时间动作本地化的主要瓶颈是动作建议的质量。因此，我们主要针对时态动作建议任务，提出了一种新的基于时态卷积网络的建议模型。我们的方法实现了国家的最先进的性能上的时间动作建议任务和时间动作定位任务。
2018-09-26 cs.CV
A flexible model for training action localization with varying levels of supervision
Inria（法国国家信息与自动化研究所）；École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；University Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）
视频中的时空动作检测通常在完全监督的设置中解决，每个帧都需要对训练视频进行手动注释。由于这样的注释非常繁琐，并且限制了可伸缩性，因此显然需要最大限度地减少手动监督的数量。在这项工作中，我们提出了一个统一的框架，可以处理和结合不同类型的要求不高的弱监督。我们的模型是基于判别聚类，并集成了不同类型的监督约束的优化。我们研究了这样一个模型的应用，以训练设置与替代监督信号，从视频级类标签的动作边界框的完整的每帧注释。在具有挑战性的UCF 101 -24和DALY数据集上的实验表明，我们的方法在以前方法所使用的监督的一部分上具有竞争力的性能。我们的模型的灵活性使得能够从具有不同注释级别的数据中联合学习。实验结果表明，通过添加一些完全监督的例子，否则弱标记的视频显着增益。
2018-11-27 cs.CV
Proposal-Based Multiple Instance Learning for Weakly-Supervised Temporal Action Localization
University of Science and Technology of China（中国科学技术大学）；Deep Space Exploration Lab（深空探测实验室）
本文提出基于提议的多示例学习框架P-MIL，通过周边对比特征提取、提议完整性评估和实例级排序一致性损失，解决弱监督时序动作定位中训练与测试目标不一致的问题，在THUMOS14和ActivityNet上取得优越性能。
2023-05-29 cs.CV
Adaptive Mutual Supervision for Weakly-Supervised Temporal Action Localization
Shanghai Jiao Tong University（上海交通大学）
弱监督时间动作定位的目的是定位动作在未经修剪的视频只有视频级的动作类别标签。以往的方法大多忽略了类激活序列（CAS）的不完整性问题，导致局部化结果不明显。为了解决这个问题，我们引入了一个自适应相互监督框架（AMS）的两个分支，其中的基础分支采用CAS本地化最具歧视性的动作区域，而补充分支本地化的歧视性较低的动作区域，通过一种新的自适应采样器。自适应采样器利用与来自基本分支的CAS负相关的采样权重序列动态地更新补充分支的输入，从而促使补充分支定位被基本分支低估的作用区域。为了促进两个分支机构之间的相互促进，我们构建了互位监管。每个分支都利用从另一个分支生成的位置伪标签作为本地化监督。通过在多次迭代中交替优化两个分支，我们逐步完成动作区域。在THUMOS 14和ActivityNet 1.2上进行的大量实验表明，所提出的AMS方法显着优于最先进的方法。
2021-04-06 cs.AI cs.CV
Point-Level Temporal Action Localization: Bridging Fully-supervised Proposals to Weakly-supervised Losses
Shanghai Jiao Tong University（上海交通大学）；Huawei Cloud & AI（华为云与人工智能）
点级时间动作本地化（PTAL）的目的是在未经修剪的视频中定位动作，每个动作实例只有一个时间戳注释。现有的方法采用帧级预测范式从稀疏的单帧标签中学习。然而，这样的框架不可避免地受到大的解决方案空间的影响。本文试图探索基于建议的预测范式点级注释，它具有更多的约束的解决方案空间和相邻帧之间的一致预测的优点。点级注释首先用作关键点监督以训练关键点检测器。在位置预测阶段，引入了一个简单但有效的映射器模块，该模块可以反向传播训练误差，从而将全监督框架与弱监督框架连接起来。据我们所知，这是第一个利用点级别设置的完全监督范例的工作。在THUMOS 14、BEFORT和GTEA上的实验从定量和定性两方面验证了该方法的有效性，并表明该方法优于现有的方法。
2020-12-15 cs.CV
3C-Net: Category Count and Center Loss for Weakly-Supervised Action Localization
Inception Institute of Artificial Intelligence（Inception人工智能研究院）
时间动作定位是一个具有挑战性的计算机视觉问题，具有许多现实世界的应用。大多数现有方法需要费力的帧级监督来训练动作本地化模型。在这项工作中，我们提出了一个框架，称为3C-Net，它只需要视频级的监督（弱监督）的动作类别标签和相应的计数的形式。我们引入了一种新的配方来学习具有增强定位能力的判别动作特征。我们的联合制定有三个方面：一个分类术语，以确保学习的动作特征的可分性，一个适应多标签中心损失长期，以提高动作特征的可辨别性和计数损失长期划定相邻的动作序列，从而提高本地化。在两个具有挑战性的基准上进行了全面的实验：THUMOS 14和ActivityNet 1.2。我们的方法为这两个数据集上的弱监督时间动作定位提供了一种新的最先进的方法。在THUMOS 14数据集上，与最先进的方法相比，所提出的方法在平均精度（mAP）方面实现了4.6%的绝对增益。源代码可在www.example.com上获得。
2019-11-18 cs.CV
Tubelets: Unsupervised action proposals from spatiotemporal super-voxels
本文将视频中的动作定位问题看作是一系列的包围盒。目标是生成可能包括感兴趣的操作的操作建议，理想情况下，用很少的建议实现高召回率。我们的贡献是三方面的。首先，受选择性搜索对象建议的启发，我们引入了一种方法来生成行动建议的时空超体素在一个无监督的方式，我们称之为Tubelets。其次，除了来自单个帧的静态特征之外，我们的方法还有利地利用了运动。我们引入独立的运动证据作为一个功能，以表征动作如何偏离背景，并明确地将这些运动信息的建议生成的各个阶段。最后，我们引入Tubelets的时空细化，以更精确地定位动作，并修剪以保持Tubelets的数量有限。我们证明了我们的方法的适用性，通过广泛的实验行动建议的质量和行动本地化的三个公共数据集：UCF体育，MSR-II和UCF 101。对于行动建议的质量，我们的无监督建议在三个数据集上击败了所有其他现有方法。对于动作本地化，我们在UCF Sports和UCF 101的修剪视频以及MSR-II的未修剪视频上都表现出最佳性能。
2016-07-07 cs.CV
Towards Completeness: A Generalizable Action Proposal Generator for Zero-Shot Temporal Action Localization
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education（教育部机器智能与先进计算重点实验室）；Guangdong Province Key Laboratory of Information Security Technology, Sun Yat-sen University（广东省信息安全技术重点实验室（中山大学））
针对零样本时序动作定位中未见类别动作提议不完整的问题，提出可泛化动作提议生成器GAP，采用基于查询的架构和提议级训练目标，结合动作感知判别损失与静态-动态校正模块，在Thumos14和ActivityNet1.3基准上取得显著性能提升。
2024-08-25 cs.CV
Pointly-Supervised Action Localization
Universiteit van Amsterdam（阿姆斯特丹大学）
本文致力于视频中人类动作的时空定位。在文献中，共识是通过对为每个训练视频的每个帧提供的限界框注释进行训练来实现定位。由于在视频中注释框是昂贵的，繁琐的和容易出错的，我们建议绕过框监督。相反，我们引入了基于点监督的动作本地化。我们从无监督的时空建议开始，它在视频中提供了一组候选区域。虽然通常专门用于推理，但我们表明，在训练过程中，当由一组稀疏的点注释指导时，也可以利用时空建议。我们引入了点和时空建议之间的重叠度量，并将它们全部纳入多实例学习优化的新目标。在推理过程中，我们引入了伪点，视频中的视觉线索，自动指导时空建议的选择。我们概述了五个空间和一个时间伪点，以及在测试时最好地利用伪点的措施。在三个动作定位数据集上的实验评估表明，我们的点监督方法（i）与传统的框监督一样有效，其注释成本仅为一小部分，（ii）对稀疏和噪声点注释具有鲁棒性，（iii）在推理过程中受益于伪点，（iv）优于最近的弱监督替代方案。这使我们得出结论，点提供了一个可行的替代框的动作本地化。
2018-10-01 cs.CV
MGCA-Net: Multi-Grained Category-Aware Network for Open-Vocabulary Temporal Action Localization
School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院）
提出MGCA-Net解决开放词汇表时间动作定位问题，含定位器、动作存在预测器、传统分类器和粗细分类器，通过多粒度类别感知提升定位性能，在多个基准测试中达最优。
2026-07-07 cs.CV
Boundary-Aware Proposal Generation Method for Temporal Action Localization
Beijing University of Posts and Telecommunications（北京邮电大学）
针对动作识别模型对时序边界不敏感及相似背景帧干扰的问题，提出带难负样本对比学习的即插即用 BAPG 方法，并在 THUMOS14 与 ActivityNet-1.3 上显著提升 TAL 性能。
2023-09-25 cs.CV
Temporal Fusion Network for Temporal Action Localization:Submission to ActivityNet Challenge 2020 (Task E)
Huazhong University of Science and Technology（华中科技大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
该技术报告分析了我们在Activitynet Challenge 2020举办的HACS竞赛中使用的一种时间动作定位方法。我们的任务目标是在未经裁剪的视频中定位动作的开始时间和结束时间，并预测动作类别。首先，我们利用视频级特征信息训练多个视频级动作分类模型。其次，本文着重于生成高质量的时态建议，为此，我们应用BMN生成大量的建议，以获得高召回率。然后，我们使用一种称为Refine Network的级联结构网络来细化这些建议，该网络可以在地面实况的监督下预测位置偏移和新的IOU。为了使建议更加准确，我们使用双向LSTM，Nonlocal和Transformer来捕获每个建议的局部特征与视频数据的全局特征之间的时间关系。最后，通过融合多个模型的结果，在mAP方面，我们的方法在验证集上获得40.55%，在测试集上获得40.53%，并且在该挑战中达到Rank 1。
2020-06-13 cs.CV
Weakly Supervised Temporal Action Localization with Segment-Level Labels
Xidian University（西安电子科技大学）；IntelliFusion（云天励飞）；The University of Sydney（悉尼大学）
时间动作定位提出了测试性能和注释时间成本之间的权衡。完全监督的方法通过耗时的边界注释实现了良好的性能。具有更便宜的视频级类别标签注释的弱监督方法导致更差的性能。在本文中，我们引入了一个新的段级监督设置：当注释者观察到这里发生的动作时，段被标记。我们将这种段级监督与一个新的本地化模块一起纳入培训中。具体来说，我们设计了一个部分段损失视为一个损失抽样学习的标记段的整体动作部分。由于标记的片段只是动作的一部分，因此模型往往会随着训练过程而过拟合。为了解决这个问题，我们首先获得一个相似性矩阵的判别功能的指导下，球损失。然后，基于矩阵设计传播损失以充当正则化项，从而允许在训练期间隐式未标记的片段传播。实验证明，该方法在标注时间几乎相同的情况下，性能优于视频级监督方法。
2020-07-03 cs.CV
SF-Net: Single-Frame Supervision for Temporal Action Localization
University of Technology Sydney（悉尼科技大学）；Facebook
在本文中，我们研究了一种中间形式的监督，即，单帧监控，用于时间动作定位（TAL）。为了获得单帧监督，注释器被要求仅识别动作的时间窗口内的单个帧。这可以显著降低获得全面监督的劳动力成本，而全面监督需要注释动作边界。与仅注释视频级标签的弱监督相比，单帧监督在保持低注释开销的同时引入了额外的时间动作信号。为了充分利用这种单帧监督，我们提出了一个统一的系统称为SF-Net。首先，我们建议预测每个视频帧的动作得分。与典型的类别分数一起，动作性分数可以提供关于潜在动作的发生的综合信息，并有助于推理期间的时间边界细化。其次，我们挖掘伪动作和背景帧的基础上单帧的注释。我们通过自适应地将每个带注释的单帧扩展到其附近的上下文帧来识别伪动作帧，并且我们从多个视频中的所有未注释帧中挖掘伪背景帧。与地面实况标记帧一起，这些伪标记帧进一步用于训练分类器。在对THUMOS 14、GTEA和BEST的广泛实验中，SF-Net在片段定位和单帧定位方面都显着改进了最先进的弱监督方法。值得注意的是，SF-Net实现了与其完全监督的对应物相当的结果，后者需要更多的资源密集型注释。该代码可在https://github.com/Flowerfan/SF-Net上获得。
2020-08-15 cs.CV cs.LG eess.IV
PcmNet: Position-Sensitive Context Modeling Network for Temporal Action Localization
College of Computer Science, Zhejiang University（浙江大学计算机学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
时间动作定位是一项重要且具有挑战性的任务，旨在定位真实世界未修剪视频中发生动作的时间区域并识别其类别。视频上下文是视频理解的重要线索，利用上下文信息是提高视频本地化性能的重要策略。然而，以前的国家的最先进的方法更多地集中在探索语义上下文，捕捉帧或建议之间的特征相似性，而忽略了位置上下文，这是至关重要的时间定位。在本文中，我们提出了一个时间位置敏感的上下文建模方法，将位置和语义信息更精确的动作定位。具体来说，我们首先增加与定向时间位置编码的特征表示，然后进行基于注意力的信息传播，在帧级和建议级。因此，所生成的特征表示被显著地赋予了对位置感知上下文信息进行编码的区分能力，从而有利于边界检测和建议评估。我们在两个具有挑战性的数据集THUMOS-14和ActivityNet-1.3上实现了最先进的性能，证明了我们方法的有效性和泛化能力。
2021-03-09 cs.CV
ADM-Loc: Actionness Distribution Modeling for Point-supervised Temporal Action Localization
The City University of New York（纽约市立大学）
本文提出ADM-Loc框架，通过拟合高斯和均匀复合分布生成动作提案并强制边界片段分类一致性，解决了点监督时序动作定位中伪标签质量差的问题，在THUMOS14和ActivityNet-v1.2上取得SOTA。
2023-11-27 cs.CV
Learning to track for spatio-temporal action localization
Inria（法国国家信息与自动化研究所）；NYU（纽约大学）
我们提出了一种有效的方法，时空的动作定位在现实的视频。该方法首先在帧级检测提案，并使用静态和运动CNN特征的组合对其进行评分。然后，它使用检测跟踪方法在整个视频中跟踪高分提案。我们的跟踪器同时依赖于实例级和类级检测器。使用时空运动直方图（轨道级别的描述符）结合CNN特征对轨道进行评分。最后，我们使用滑动窗口的方法在轨道水平上进行时间定位的行动。我们提出了时空定位的UCF-Sports，J-HMDB和UCF-101动作定位数据集上的实验结果，其中我们的方法在mAP中分别以15%，7%和12%的幅度优于最先进的方法。
2015-09-27 cs.CV
Two-Stream Consensus Network for Weakly-Supervised Temporal Action Localization
Xi’an Jiaotong University（西安交通大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；HERE Technologies（HERE科技公司）；State University of New York at Buffalo（纽约州立大学布法罗分校）；Wormpex AI Research（沃姆派克斯人工智能研究院）
弱监督时间动作定位（W-TAL）的目的是分类和定位的所有动作实例在未经修剪的视频下，只有视频级的监督。然而，在没有帧级注释的情况下，W-TAL方法识别假阳性动作建议并生成具有精确时间边界的动作建议是具有挑战性的。在本文中，我们提出了一个双流共识网络（TSCN），同时解决这些挑战。所提出的TSCN具有迭代细化训练方法，其中帧级伪地面真值被迭代更新，并用于提供帧级监督以改进模型训练和误报动作建议消除。此外，我们提出了一种新的注意力归一化损失，以鼓励预测的注意力像一个二元选择，并促进行动实例边界的精确定位。在THUMOS 14和ActivityNet数据集上进行的实验表明，所提出的TSCN的性能优于当前最先进的方法，甚至达到了与最近的一些完全监督方法相当的结果。
2020-10-22 cs.CV
Rethinking the Faster R-CNN Architecture for Temporal Action Localization
University of Michigan（密歇根大学）；Google Research（谷歌研究院）
我们提出了TAL-Net，这是一种改进的视频中时间动作定位方法，其灵感来自Faster R-CNN目标检测框架。TAL-Net解决了现有方法的三个关键缺点：（1）我们使用多尺度架构来改进感受野对齐，该架构可以适应动作持续时间的极端变化;（2）我们通过适当扩展感受野来更好地利用动作的时间上下文来进行建议生成和动作分类;以及（3）我们明确地考虑了多流特征融合，并证明了融合运动延迟是重要的。我们在THUMOS的14个检测基准上的行动建议和本地化方面都取得了最先进的性能，在ActivityNet挑战赛上也取得了有竞争力的性能。
2018-04-20 cs.CV
Gaussian Temporal Awareness Networks for Action Localization
University of Science and Technology of China（中国科学技术大学）；JD AI Research（京东人工智能研究院）；University of Rochester（罗切斯特大学）
视频中动作的时间定位是视频理解的一个基本挑战。大多数现有的方法通常从图像目标检测中获得灵感并扩展了进展，例如，SSD和更快的R-CNN，用于在1D序列中生成动作的时间位置。然而，由于预定的时间尺度的设计，结果可能遭受鲁棒性问题，这忽略了动作的时间结构，并限制了检测具有复杂变化的动作的实用性。在本文中，我们建议通过引入高斯内核来动态优化每个行动建议的时间尺度来解决这个问题。具体来说，我们提出了高斯时间感知网络（GTAN）-一种新的架构，新颖地集成了开发的时间结构到一个阶段的行动本地化框架。从技术上讲，GTAN通过学习一组高斯内核来对时间结构进行建模，每个内核都对应于特征图中的一个单元。每个高斯核对应于动作建议的特定间隔，并且高斯核的混合可以进一步表征具有各种长度的动作建议。此外，每个高斯曲线中的值反映了行动建议本地化的上下文贡献。在THUMOS 14和ActivityNet v1.3数据集上进行了广泛的实验，与最先进的方法相比，报告了优越的结果。更值得注意的是，GTAN在两个数据集的测试集上实现了1.9%和1.1%的mAP改进。
2019-09-09 cs.CV
Enriching Local and Global Contexts for Temporal Action Localization
Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（西安交通大学人工智能与机器人研究所）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Wormpex AI Research（Wormpex人工智能研究院）
有效地解决时间动作定位（TAL）问题需要一个视觉表示，共同追求两个混淆的目标，即，用于时间定位的细粒度鉴别和用于动作分类的足够的视觉不变性。我们通过丰富流行的两阶段时间本地化框架中的本地和全球背景来应对这一挑战，首先生成行动建议，然后进行行动分类和时间边界回归。我们提出的模型，称为ContextLoc，可以分为三个子网络：L-Net，G-Net和P-Net。L-Net通过片段级特征的细粒度建模来丰富本地上下文，这被公式化为查询和检索过程。G-Net通过对视频级表示进行更高级别的建模来丰富全局上下文。此外，我们引入了一个新的上下文自适应模块，以适应全球范围内不同的建议。P-Net进一步对上下文感知的提议间关系进行建模。在我们的实验中，我们探索了两个现有的模型是P-Net。我们提出的方法的有效性通过在THUMOS 14（tIoU@0.5时为54.3\%）和ActivityNet v1.3（tIoU@0.5时为56.01\%）数据集上的实验结果进行了验证，其性能优于最新的技术水平。代码可在https://github.com/buxiangzhiren/ContextLoc上获得。
2021-08-07 cs.CV
Temporal Action Localization in Untrimmed Videos via Multi-stage CNNs
Columbia University（哥伦比亚大学）
我们解决了未修剪的长视频中的时间动作定位。这很重要，因为实际应用中的视频通常不受约束，包含多个动作实例以及背景场景或其他活动的视频内容。为了解决这个具有挑战性的问题，我们通过三个基于片段的3D ConvNets利用深度网络在时间动作定位中的有效性：（1）建议网络识别长视频中可能包含动作的候选片段;（2）分类网络学习one-vs-all动作分类模型作为定位网络的初始化;以及（3）定位网络对所学习的分类网络进行微调以定位每个动作实例。我们提出了一种新的损失函数的定位网络明确考虑时间重叠，从而实现高的时间定位精度。在预测期间仅使用建议网络和定位网络。在两个大规模的基准测试中，我们的方法与其他最先进的系统相比具有显着优越的性能：当评估的重叠阈值设置为0.5时，MEXaction 2上的mAP从1.7%增加到7.4%，THUMOS 2014上的mAP从15.0%增加到19.0%。
2016-04-21 cs.CV
Progressive Cross-Stream Cooperation in Spatial and Temporal Domain for Action Localization
School of Electrical and Information Engineering, The University of Sydney（电气与信息工程学院，悉尼大学）
提出渐进式跨流协作框架，通过流间信息传递和提议融合，在空间和时间域迭代优化，提升动作定位与分类精度，并在UCF-101-24和J-HMDB上验证有效性。
2025-06-24 cs.CV
Full-Stage Pseudo Label Quality Enhancement for Weakly-supervised Temporal Action Localization
State Key Lab of GAI, SIST, Peking University（北京大学信息科学技术学院GAI省部共建国家重点实验室）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对弱监督时序动作定位中伪标签质量影响性能的问题，提出FuSTAL框架，在生成、选择、训练三阶段增强伪标签质量，在THUMOS'14上取得50.8%平均mAP，达50%里程碑。
2024-07-12 cs.CV
AutoLoc: Weakly-supervised Temporal Action Localization
Columbia University（哥伦比亚大学）；Microsoft Research（微软研究院）；Mitsubishi Electric（三菱电机）
未修剪视频中的时间动作定位（TAL）对于许多应用都很重要。但是注释片段级的基础事实（动作类和时间边界）是非常昂贵的。这引起了人们对解决监督薄弱的TAL问题的兴趣，即在培训期间仅提供视频级注释）。然而，最先进的弱监督TAL方法仅关注随着时间的推移生成良好的类激活序列（CAS），但对CAS进行简单的阈值处理以定位动作。在本文中，我们首先开发了一个新的弱监督TAL框架AutoLoc，直接预测每个动作实例的时间边界。我们提出了一种新的外-内-对比（OIC）损失，以自动发现训练这种边界预测器所需的段级监督。我们的方法实现了显着提高的性能：在IoU阈值0.5下，我们的方法将THUMOS'14上的mAP从13.7%提高到21.2%，将ActivityNet上的mAP从7.4%提高到27.3%。同样令人鼓舞的是，我们的弱监督方法取得了与一些完全监督方法相当的结果。
2018-12-16 cs.CV
Bridge the Gap: From Weak to Full Supervision for Temporal Action Localization with PseudoFormer
University of Science and Technology Beijing（北京科技大学）；Georgia Institute of Technology（佐治亚理工学院）
针对弱监督时间动作定位的伪标签质量、先验利用和噪声训练问题，提出双分支框架PseudoFormer，通过RickerFusion和不确定性掩码等机制，在THUMOS14和ActivityNet1.3上达到最先进性能。
2025-04-21 cs.AI cs.CV
Multi-modal Prompting for Low-Shot Temporal Action Localization
Shanghai Jiao Tong University（上海交通大学）；Huawei Cloud & AI（华为云与AI）
在本文中，我们考虑的时间动作定位低镜头（zero-shot和Few-Shot）的情况下的问题，与目标检测和分类的动作实例从任意类别中的一些未修剪的视频，甚至没有看到在训练时间。我们采用了基于transformer的两阶段动作本地化架构，其中包含与类无关的动作建议，然后是开放词汇分类。我们作出以下贡献。首先，为了补偿具有时间运动的图像-文本基础模型，我们通过显式对齐光流、RGB和文本的嵌入来改进类别无关的动作提议，这在现有的低拍摄方法中在很大程度上被忽略。其次，为了改进开放词汇动作分类，我们构造了具有强区分能力的分类器，即，避免词汇歧义。具体来说，我们建议使用详细的动作描述（从大规模语言模型中获取）或视觉条件化的实例特定提示向量来提示预训练的CLIP文本编码器。第三，我们对THUMOS 14和ActivityNet 1.3进行了彻底的实验和消融研究，证明了我们提出的模型的优越性能，比现有的最先进的方法有一个显著的优势。
2023-03-21 cs.CV
POTLoc: Pseudo-Label Oriented Transformer for Point-Supervised Temporal Action Localization
The City College, City University of New York（纽约城市大学城市学院）
本文提出POTLoc，通过自训练生成伪标签并结合Transformer与时序特征金字塔，仅用点级标注实现连续动作结构建模，在THUMOS'14和ActivityNet-v1.2上超越现有方法。
2024-06-05 cs.CV
Active Learning with Effective Scoring Functions for Semi-Supervised Temporal Action Localization
时间动作定位（TAL）旨在预测未修剪视频中动作实例的动作类别和时间边界，即，开始和结束时间。全监督的解决方案通常被大多数现有工程所采用，并被证明是有效的。这些解决方案中的实际瓶颈之一是需要大量标记的训练数据。为了降低人工标注的成本，本文针对半监督学习任务，提出了一种有效的主动学习方法AL-STAL。我们利用四个步骤来主动选择具有高信息量的视频样本并训练本地化模型，称为\emph{Train, Query, Annotate, Append}。AL-STAL中引入了两个评分函数，考虑了定位模型的不确定性，便于对视频样本进行排序和选择。一种是将预测标签分布的熵作为不确定性的度量，称为时间建议熵（TPE）。另一种是引入一种新的基于相邻动作建议之间的互信息的度量标准来评价视频样本的信息量，称为时间上下文不一致性（TCI）。为了验证该方法的有效性，我们在两个基准数据集THUMOS'14和ActivityNet 1.3上进行了大量的实验。实验结果表明，与全监督学习相比，AL-STAL的性能优于现有的竞争者，取得了令人满意的效果。
2022-12-01 cs.CV
Weakly-supervised Action Localization with Background Modeling
University of California, Irvine（加州大学欧文分校）；Carnegie Mellon University（卡内基梅隆大学）
我们描述了一种潜在的方法，该方法可以学习在只有整个视频类标签的训练视频中检测长序列中的动作。我们的方法利用两个创新的注意力建模弱监督学习。首先，最值得注意的是，我们的框架使用注意力模型来提取前景和背景帧，其外观是显式建模的。大多数之前的作品都会忽略背景，但我们表明，对背景进行建模可以让我们的系统学习更丰富的动作概念及其时间范围。其次，我们结合自下而上，类不可知的注意模块与自上而下，类特定的激活地图，使用后者作为形式的自我监督的前。这样做可以让我们的模型在没有显式时间监督的情况下学习更准确的注意力模型。这些修改导致在THUMOS 14上的现有系统上AP@IoU=0.5改进10%。我们提出的弱监督系统比最近的最先进的系统至少高出4.3%AP@IoU =0.5。最后，我们证明了弱监督学习可以用来积极地将学习扩展到野外，未经策划的Instagram视频。这些视频的加入显著提高了我们弱监督模型的定位性能
2019-08-19 cs.CV
Exploring the Temporal Consistency for Point-Level Weakly-Supervised Temporal Action Localization
University of Chinese Academy of Science, Beijing,100190, China（中国科学院大学）；Macquarie University（麦考瑞大学）
本文提出一种多任务学习框架，通过三个自监督任务提升点监督时间动作定位的模型时间理解能力，验证了在四个基准数据集上的有效性。
2026-09-16 cs.CV
Towards Train-Test Consistency for Semi-supervised Temporal Action Localization
Columbia University（哥伦比亚大学）
近年来，弱监督的时间动作定位（WTAL）得到了广泛的研究，但弱监督模型和全监督模型之间仍然存在很大的差距。注释一些示例的时间边界并利用它们来帮助WTAL模型更好地检测动作是实用和直观的。然而，动作定位策略的训练测试差异阻止了WTAL模型利用半监督进行进一步改进。在训练时，使用注意力或多实例学习来聚合每个片段的预测以进行视频级分类;在测试时，他们首先获得随时间推移的动作得分序列，然后截断得分高于固定阈值的片段，并对动作片段进行后处理。这种不一致的策略使得在训练时很难用时间边界标注来显式地监督动作定位模型。在本文中，我们提出了一个列车测试一致的框架，TTC-Loc。在训练和测试时，我们的TTC-Loc通过比较动作类的得分和预测阈值来定位动作，这使得它能够在半监督的情况下进行训练。通过修复训练测试差异，我们的TTC-Loc在仅提供视频级标签进行训练时，显著优于THUMOS 14、ActivityNet 1.2和1.3的最先进性能。通过每个类别仅一个视频的完整注释和其他视频的视频级标签，我们的TTC-Loc进一步提高了性能，并在THUMOS的14上实现了33.4mAP（IoU阈值0.5）。
2020-03-23 cs.CV
Scale Matters: Temporal Scale Aggregation Network for Precise Action Localization in Untrimmed Videos
Peking University（北京大学）；Tencent（腾讯）；Cloud and Smart Industries Group, Tencent（腾讯云与智慧产业事业群）
时间动作定位是一个新兴的任务，旨在定位视频片段从未经修剪的视频，包含特定的动作。尽管最近取得了显着的进展，大多数两阶段的行动本地化方法仍然遭受不精确的时间边界的行动建议。提出了一种新的集成时间尺度聚合网络（TSA-Net）。我们的主要见解是，不同的膨胀率的卷积滤波器的集合可以有效地扩大感受野与低的计算成本，这启发我们设计的多膨胀时间卷积（MDC）块。此外，为了处理具有不同持续时间的视频动作实例，TSA-Net由多个分支的子网络组成。它们中的每一个都采用堆叠的MDC块与不同的膨胀参数，完成一个时间的感受野特别优化的特定持续时间的行动。我们遵循边界点检测的公式，新颖地检测三种临界点（即，开始/中点/结束），并将它们配对以生成提案。对两个具有挑战性的视频基准THUMOS 14和ActivityNet-1.3进行了全面评估。我们提出的TSA网络展示了清晰一致的更好性能，并在两个基准上重新校准了新的最先进技术。例如，我们在THUMOS 14上的新纪录是46.9%，而在mAP@0.5下的先前最佳纪录是42.8%。
2019-08-02 cs.CV
Faster Learning of Temporal Action Proposal via Sparse Multilevel Boundary Generator
Beijing University of Posts and Telecommunications（北京邮电大学）
视频中的时间动作定位在计算机视觉领域提出了重大挑战。虽然边界敏感方法已被广泛采用，但其局限性包括中间和全局信息的不完整使用，以及效率低下的建议特征生成器。为了解决这些挑战，我们提出了一种新的框架，稀疏多级边界生成器（SMBG），它增强了边界敏感的方法与边界分类和动作完整性回归。SMBG具有多级边界模块，通过收集不同长度的边界信息来加快处理速度。此外，我们引入了一个稀疏提取置信头，区分信息内部和外部的行动，进一步优化的建议功能生成器。为了提高多个分支之间的协同性和平衡正负样本，我们提出了一个全局指导损失。我们的方法在两个流行的基准测试ActivityNet-1.3和THUMOS 14上进行了评估，并显示出达到最先进的性能，具有更好的推理速度（2.47xBSN++，2.12xDBG）。这些结果表明，SMBG提供了一个更有效和简单的解决方案，产生时间的行动建议。我们提出的框架有可能推进计算机视觉领域，提高视频分析中时间动作定位的准确性和速度。代码和模型可在\url{https://github.com/zhouyang-001/SMBG-for-temporal-action-proposal}上获得。
2023-03-06 cs.AI cs.CV
Learning Salient Boundary Feature for Anchor-free Temporal Action Localization
Tencent（腾讯）；Fudan University（复旦大学）
时间动作定位是视频理解中一项重要而又具有挑战性的任务。通常情况下，这样的任务的目的是推断的动作类别和定位的开始和结束帧的每个动作实例在一个长的，untrimmed video.While大多数当前的模型实现了良好的效果，通过使用预定义的锚和众多的actionness，这样的方法可以与大量的输出和沉重的调整的位置和大小对应于不同的锚。相反，无锚方法更轻，摆脱了冗余的超参数，但很少受到关注。在本文中，我们提出了第一个纯粹的锚无时间定位方法，这是高效和有效的。我们的模型包括（i）一个端到端的可训练基本预测器，（ii）一个基于显着性的细化模块，用于通过新的边界池为每个建议收集更有价值的边界特征，以及（iii）几个一致性约束，以确保我们的模型可以在任意建议的情况下找到准确的边界。大量的实验表明，我们的方法击败了所有基于锚点和动作指导的方法，在THUMOS 14上具有显着的优势，实现了最先进的结果，并且在ActivityNet v1.3上具有可比性。代码可在https://github.com/TencentYoutuResearch/ActionDetection-AFSD上获得。
2021-03-24 cs.AI cs.CV
Soft Proposal Networks for Weakly Supervised Object Localization
University of Chinese Academy of Sciences（中国科学院大学）；Duke University（杜克大学）
弱监督对象定位仍然具有挑战性，在训练过程中只有图像标签而不是边界框可用。对象建议是本地化中的一个有效组件，但通常计算量很大，并且无法与其他一些模块进行联合优化。在本文中，据我们所知，我们首次将弱监督对象建议以端到端的学习方式集成到卷积神经网络（CNN）中。我们设计了一个网络组件Soft Proposal（SP），可以插入任何标准卷积架构，以引入几乎无成本的对象提案，比最先进的方法快几个数量级。在SP增强的CNN中，被称为软提议网络（SPN），迭代进化的对象提议是基于深度特征图生成的，然后投影回来，并进一步与网络参数联合优化，仅具有图像级监督。通过统一的学习过程，SPN可以学习更好的以对象为中心的过滤器，发现更多有区别的视觉证据，并抑制背景干扰，从而显着提高弱监督对象定位和分类性能。我们报告了流行基准测试的最佳结果，包括PASCAL VOC，MS COCO和ImageNet。
2017-09-06 cs.CV
Part Localization using Multi-Proposal Consensus for Fine-Grained Categorization
我们提出了一个简单的深度学习框架来同时预测关键点位置及其各自的活力，并使用它们来实现最先进的细粒度分类性能。我们表明，通过条件的预测对象的建议与足够的图像支持，我们的方法可以做得很好，没有复杂的空间推理。相反，对离群值具有鲁棒性的推理方法产生了关键点定位的最新技术。我们证明了我们精确的关键点定位和可见性预测对细粒度鸟类识别任务的有效性，有和没有地面实况鸟类边界框，并优于现有的最先进的方法超过2%。
2015-07-22 cs.CV
Dual-Thresholded Heatmap-Guided Proposal Clustering and Negative Certainty Supervision with Enhanced Base Network for Weakly Supervised Object Detection
Institute of Cyberspace Security, Harbin Institute of Technology（哈尔滨工业大学网络安全学院）；Faculty of Information Technology, Monash University（莫纳什大学信息科技学院）；Center on Machine Learning Research, Harbin Institute of Technology（哈尔滨工业大学机器学习研究中心）；Department of New Networks, Peng Cheng Laboratory（鹏城实验室网络部）；School of Cyberspace Science, Harbin Institute of Technology（哈尔滨工业大学网络空间科学学院）
提出DANCE方法，通过双阈值热力图引导的提议选择、增强基础网络和负确定性监督损失，解决弱监督目标检测中伪GT框不完整、语义鸿沟和收敛慢的问题。
2026-05-26 cs.CV
Reasoning-Driven Anomaly Detection and Localization with Image-Level Supervision
State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）
本文提出基于图像级监督的异常检测与定位方法，利用大语言模型的推理能力实现像素级定位，无需额外组件或标注。
2026-03-28 cs.CV
Adaptively Denoising Proposal Collection for Weakly Supervised Object Localization
University of Kansas（堪萨斯大学）
在本文中，我们解决了弱监督对象定位（WSL）问题，该问题在仅具有图像级注释的数据集上训练检测网络。所提出的方法是建立在这样的观察基础上的：来自训练数据集的建议集是背景、对象部分和对象的集合。采取了几种策略来自适应地消除噪声建议，并为弱标记数据集生成伪对象级注释。采用屏蔽策略增强的多实例学习（MIL）算法来收集特定于类的对象建议，然后利用这些建议来使预训练的分类网络适应检测网络。此外，通过在建议子集优化框架中联合考虑检测分数和建议的重叠率来重新加权来自检测网络的检测结果。最佳建议作为对象级标签，使伪强监督数据集能够用于训练检测网络。因此，我们建立了一个完全自适应的检测网络。对PASCAL VOC 2007和2012数据集的广泛评估表明，与最先进的方法相比，有了显着的改进。
2019-10-19 cs.CV
Fusing Saliency Maps with Region Proposals for Unsupervised Object Localization
KTH Royal Institute of Technology（瑞典皇家理工学院）
在本文中，我们解决的问题，在单一的图像对象的无监督定位。与以前的最先进的方法相比，我们的方法是完全无监督的，在这个意义上，没有关于图像的先验实例级或类别级信息。此外，我们单独对待每个图像，不依赖于任何相邻图像的相似性。我们采用基于深度学习的显着图和区域建议的生成来解决这个问题。使用编码器/解码器架构来确定图像中的第一显著区域。所得到的显着图与来自类别不可知区域提议网络的区域提议相匹配，以粗略地定位候选对象区域。这些区域基于重叠和相似性比率被进一步细化。我们在基准数据集上的实验评估表明，该方法在定位精度方面接近当前最先进的方法，即使这些方法使用多帧。此外，我们创建了一个更具挑战性和现实的数据集，具有多个对象类别和不同的视点和照明条件，用于评估该方法在现实世界场景中的性能。
2018-04-11 cs.CV
Less Supervision, Better Generalization: Weakly Supervised Fake Region Localization in Diffusion-Edited Images
Kyung Hee University（庆熙大学）；NAVER Cloud（NAVER云）
提出弱监督框架ReGFLoW，利用扩散重建误差定位编辑区域，实现跨生成器泛化，优于全监督方法。
2026-10-02 cs.CV
LOOC: Localize Overlapping Objects with Count Supervision
获取计数注释通常比点级别和限界框注释需要更少的人工。因此，我们提出了在这种较弱的监督下在密集场景中定位对象的新问题设置。我们提出了LOOC，一种带计数监督的重叠对象本地化方法。我们通过在两个阶段之间交替来训练LOOC。在第一阶段，LOOC学习以半监督的方式生成伪点级注释。在第二阶段，LOOC使用完全监督的本地化方法，在这些伪标签上进行训练。定位方法用于逐步提高伪标签的质量。我们在流行的计数数据集上进行了实验。对于本地化，LOOC在只有计数监督可用的新问题设置中实现了强大的新基线。对于计数，LOOC优于当前仅使用计数作为其监督的最先进方法。代码可从以下网址获得：https://github.com/ElementAI/looc。
2020-07-03 cs.CV
Temporal Context Network for Activity Localization in Videos
University of Maryland（马里兰大学）；Fudan University（复旦大学）
我们提出了一个时间上下文网络（TCN）的精确时间定位的人类活动。与Faster-RCNN架构类似，提案以相等的间隔放置在跨越多个时间尺度的视频中。我们提出了一种新的表示这些建议的排名。由于池功能只在一个段是不够的，以预测活动的边界，我们构建了一个表示，显式捕捉周围的建议进行排名it.For每个时间段内的建议，功能均匀采样在一对尺度，并输入到一个时间卷积神经网络进行分类。在对建议进行排名之后，应用非最大抑制并执行分类以获得最终检测。TCN在ActivityNet数据集和THUMOS 14数据集上的表现优于最先进的方法。
2017-08-08 cs.CV
Multi-Scale Cross-Fusion and Edge-Supervision Network for Image Splicing Localization
School of Computer and Information Engineering, Henan University（河南大学计算机与信息工程学院）；School of Cyberspace, Hangzhou Dianzi University（杭州电子科技大学网络空间学院）
针对图像拼接定位中边缘信息利用不足导致完整性与误报问题，提出多尺度交叉融合与边缘监督网络，通过跨尺度/跨域融合、边缘掩码预测及注意力集成，在公开数据集上超越现有方法。
2024-12-17 cs.CV
Unsupervised Object Discovery and Localization in the Wild: Part-based Matching with Bottom-up Region Proposals
Inria（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
本文讨论了无监督的发现和定位的主要对象从嘈杂的图像集合与多个对象类。这个问题的设置是完全无监督的，甚至没有图像级注释或任何单一主导类的假设。这比典型的共定位、共分割或弱监督定位任务更普遍。我们使用基于部件的区域匹配方法来解决发现和定位问题：我们使用现成的区域建议来形成对象和对象部件的一组候选边界框。这些区域使用概率Hough变换有效地在图像之间进行匹配，该概率Hough变换考虑外观和空间一致性来评估每个候选对应的置信度。通过比较候选区域的分数并选择比包含它们的其他区域突出的区域来发现和定位主导对象。在标准基准上进行的大量实验评估表明，该方法在共定位方面的性能明显优于当前最先进的方法，并在具有挑战性的混合类数据集上实现了鲁棒的对象发现。
2015-05-04 cs.CV
Natural Language Video Localization with Learnable Moment Proposals
Zhejiang University（浙江大学）；Columbia University（哥伦比亚大学）
给定一个未修剪的视频和一个自然语言查询，自然语言视频定位（NLVL）的目的是识别由查询描述的视频时刻。为了解决这个问题，现有的方法可以大致分为两组：1）建议和排名模型首先定义一组手工设计的候选时刻，然后找出最匹配的一个。2)无命题模型直接从帧预测参考时刻的两个时间边界。目前，几乎所有的建议和排名方法的性能不如建议自由同行。在本文中，我们认为，建议和排名的方法被低估，由于预定义的方式：1）手工设计的规则很难保证目标段的完全覆盖。2)密集采样的候选矩会导致冗余计算并降低排序过程的性能。为此，我们提出了一种新的模型称为LPNet（可学习的建议网络NLVL）与一组固定的可学习的时刻建议。这些建议的位置和长度在培训过程中动态调整。此外，已经提出了一种边界感知的损失，以利用帧级信息，并进一步提高性能。在两个具有挑战性的NLVL基准上进行的广泛消融证明了LPNet优于现有最先进方法的有效性。
2021-09-22 cs.CV
Object Localization under Single Coarse Point Supervision
University of Chinese Academy of Sciences（中国科学院大学）；U of Oregon（俄勒冈大学）；Shanghai Jiao Tong University（上海交通大学）；Picsart AI Research (PAIR)（Picsart人工智能研究院（PAIR））
基于点的目标定位（POL），追求低成本的数据注释下的高性能的对象感测，引起了越来越多的关注。然而，点标注模式不可避免地会因标注点的不一致性而引入语义变异。现有的POL方法严重依赖于难以定义的精确关键点注释。在这项研究中，我们提出了一种POL方法，使用粗点注释，放松监督信号从准确的关键点自由斑点点。为此，我们提出了一个粗点细化（CPR）的方法，据我们所知，这是第一次尝试从算法的角度来减轻语义变化。CPR构建点包，选择语义相关点，并通过多实例学习（MIL）产生语义中心点。通过这种方式，CPR定义了一个弱监督的进化过程，确保在粗点监督下训练高性能的目标定位器。COCO，DOTA和我们提出的SeaPerson数据集上的实验结果验证了CPR方法的有效性。数据集和代码将在https://github.com/ucas-vg/PointTinyBenchmark/上提供。
2022-03-17 cs.CV
