Action Shuffling for Weakly Supervised Temporal Localization
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Beijing Institute of Technology（北京理工大学）；Meituan Group（美团集团）
弱监督动作定位是一项具有广泛应用的挑战性任务，其目的是在仅提供视频级注释的情况下识别动作和相应的时间间隔。本文分析了动作的顺序敏感和位置不敏感特性，并将其体现到一个自增强学习框架中，以提高弱监督动作定位的性能。具体来说，我们提出了一种新的两个分支的网络架构与内部/相互作用洗牌，被称为ActShufNet。内部动作洗牌分支布局了一个自我监督的顺序预测任务，以增加视频表示与内部视频相关性，而内部动作洗牌分支对现有的动作内容施加重组策略，以增加训练集，而不诉诸任何外部资源。此外，提出了全局-局部对抗训练，以增强模型对无关噪声的鲁棒性。在三个基准数据集上进行了大量的实验，结果清楚地表明了所提出的方法的有效性。
2021-05-10 cs.CV
AutoLoc: Weakly-supervised Temporal Action Localization
Columbia University（哥伦比亚大学）；Microsoft Research（微软研究院）；Mitsubishi Electric（三菱电机）
未修剪视频中的时间动作定位（TAL）对于许多应用都很重要。但是注释片段级的基础事实（动作类和时间边界）是非常昂贵的。这引起了人们对解决监督薄弱的TAL问题的兴趣，即在培训期间仅提供视频级注释）。然而，最先进的弱监督TAL方法仅关注随着时间的推移生成良好的类激活序列（CAS），但对CAS进行简单的阈值处理以定位动作。在本文中，我们首先开发了一个新的弱监督TAL框架AutoLoc，直接预测每个动作实例的时间边界。我们提出了一种新的外-内-对比（OIC）损失，以自动发现训练这种边界预测器所需的段级监督。我们的方法实现了显着提高的性能：在IoU阈值0.5下，我们的方法将THUMOS'14上的mAP从13.7%提高到21.2%，将ActivityNet上的mAP从7.4%提高到27.3%。同样令人鼓舞的是，我们的弱监督方法取得了与一些完全监督方法相当的结果。
2018-12-16 cs.CV
Weakly-supervised Action Localization with Background Modeling
University of California, Irvine（加州大学欧文分校）；Carnegie Mellon University（卡内基梅隆大学）
我们描述了一种潜在的方法，该方法可以学习在只有整个视频类标签的训练视频中检测长序列中的动作。我们的方法利用两个创新的注意力建模弱监督学习。首先，最值得注意的是，我们的框架使用注意力模型来提取前景和背景帧，其外观是显式建模的。大多数之前的作品都会忽略背景，但我们表明，对背景进行建模可以让我们的系统学习更丰富的动作概念及其时间范围。其次，我们结合自下而上，类不可知的注意模块与自上而下，类特定的激活地图，使用后者作为形式的自我监督的前。这样做可以让我们的模型在没有显式时间监督的情况下学习更准确的注意力模型。这些修改导致在THUMOS 14上的现有系统上AP@IoU=0.5改进10%。我们提出的弱监督系统比最近的最先进的系统至少高出4.3%AP@IoU =0.5。最后，我们证明了弱监督学习可以用来积极地将学习扩展到野外，未经策划的Instagram视频。这些视频的加入显著提高了我们弱监督模型的定位性能
2019-08-19 cs.CV
Weakly-Supervised Temporal Action Localization Through Local-Global Background Modeling
Huazhong University of Science and Technology（华中科技大学）；Alibaba Group（阿里巴巴集团）
弱监督时间动作定位（WS-TAL）任务的目的是识别和定位时间的开始和结束的动作实例在一个未经修剪的视频，只有视频级的标签监督。由于缺乏背景类别的负样本，网络难以分离前景和背景，导致检测性能不佳。在这份报告中，我们提出了我们的2021 HACS挑战-基于BaSNet的弱监督学习跟踪解决方案，以解决上述问题。具体来说，我们首先采用预训练的CSN，Slowfast，TDN和ViViT作为特征提取器来获得特征序列。然后，我们提出的局部-全局背景建模网络（LGBM-Net）经过训练，仅使用基于多实例学习（MIL）的视频级标签来定位实例。最后，我们对多个模型进行集成，得到最终的检测结果，在测试集上达到22.45%的mAP
2021-06-20 cs.CV
JCDNet: Joint of Common and Definite phases Network for Weakly Supervised Temporal Action Localization
Alibaba DAMO Academy（阿里巴巴达摩院）
弱监督时间动作定位的目的是定位动作实例在未经修剪的视频，只有视频级的监督。我们见证了不同的行动记录共同的阶段，例如，跳高和跳远中的助跑。这些不同的动作被定义为联合动作，其其余部分是确定的阶段，例如，在跳高中跳过横杆。相对于普通相位，已有研究中的定相相位更容易局部化。大多数人将此任务表述为多实例学习范式，其中公共阶段往往与背景相混淆，并影响联合动作的本地化完整性。为了应对这一挑战，我们提出了一个共同的和确定的相位网络（JCDNet），通过提高联合行动的特征可辨别性。具体地说，我们设计了一个类感知判别模块，以提高在分类的粗确定相位特征的指导下的共同相位的贡献。此外，我们引入了一个时间注意力模块，通过建模时间依赖性来学习鲁棒的动作性分数，区分公共相位和背景。在三个数据集（THUMOS 14，ActivityNetv1.2和一个联合动作子集）上进行的大量实验表明，JCDNet与最先进的方法相比具有竞争力的性能。关键词：弱监督学习，时间动作局部化，联合动作
2023-03-30 cs.CV
Background Suppression Network for Weakly-supervised Temporal Action Localization
Yonsei University（延世大学）；Clova AI Research, NAVER Corp.（NAVER公司Clova人工智能研究院）
弱监督的时间动作定位是一个非常具有挑战性的问题，因为在训练阶段没有给出帧级标签，而唯一的提示是视频级标签：每个视频是否包含感兴趣的动作帧。以前的方法聚合帧级类分数以产生视频级预测并从视频级动作标签中学习。该公式没有完全模拟背景帧被迫被误分类为动作类以准确预测视频级标签的问题。本文设计了背景抑制网络（BaS-Net），该网络引入了背景辅助类，具有两分支权重共享架构和非对称训练策略。这使得BaS-Net能够抑制来自背景帧的激活，以提高定位性能。大量的实验证明了BaS-Net的有效性及其在最流行的基准测试（THUMOS'14和ActivityNet）上优于最先进的方法。我们的代码和训练模型可以在https://github.com/Pilhyeon/BaSNet-pytorch上找到。
2019-11-22 cs.CV
Weakly Supervised Temporal Action Localization with Segment-Level Labels
Xidian University（西安电子科技大学）；IntelliFusion（云天励飞）；The University of Sydney（悉尼大学）
时间动作定位提出了测试性能和注释时间成本之间的权衡。完全监督的方法通过耗时的边界注释实现了良好的性能。具有更便宜的视频级类别标签注释的弱监督方法导致更差的性能。在本文中，我们引入了一个新的段级监督设置：当注释者观察到这里发生的动作时，段被标记。我们将这种段级监督与一个新的本地化模块一起纳入培训中。具体来说，我们设计了一个部分段损失视为一个损失抽样学习的标记段的整体动作部分。由于标记的片段只是动作的一部分，因此模型往往会随着训练过程而过拟合。为了解决这个问题，我们首先获得一个相似性矩阵的判别功能的指导下，球损失。然后，基于矩阵设计传播损失以充当正则化项，从而允许在训练期间隐式未标记的片段传播。实验证明，该方法在标注时间几乎相同的情况下，性能优于视频级监督方法。
2020-07-03 cs.CV
Fine-grained Temporal Contrastive Learning for Weakly-supervised Temporal Action Localization
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）
我们的目标是弱监督动作定位（WSAL）任务，在模型训练期间只有视频级别的动作标签可用。尽管最近的进展，现有的方法主要包括一个本地化的分类范式，并忽略了富有成效的细粒度的视频序列之间的时间区别，从而遭受严重的模糊性，在分类学习和分类到本地化的适应。本文认为，学习的上下文比较序列序列的区别提供了一个重要的归纳偏差WSAL，并有助于确定连贯的行动实例。具体而言，在可微动态规划公式下，设计了两个互补的对比目标，包括细粒度序列距离（FSD）对比和最长公共子序列（LCS）对比，其中第一个目标通过使用匹配、插入和删除操作来考虑各种动作/背景提议的关系，第二个目标挖掘两个视频之间的最长公共连续性。这两个对比模块可以相互增强，共同享有的区别性动作背景分离和分类和定位之间的任务差距缩小的优点。大量的实验表明，我们的方法在两个流行的基准测试中达到了最先进的性能。我们的代码可在www.example.com上获得。
2022-03-31 cs.CV
Distilling Vision-Language Pre-training to Collaborate with Weakly-Supervised Temporal Action Localization
Shanghai Jiao Tong University（上海交通大学）；Huawei Cloud & AI（华为云与人工智能）
弱监督时间动作定位（WTAL）学习仅使用类别标签检测和分类动作实例。大多数方法广泛采用现成的基于分类的预训练（CBP）来生成用于动作定位的视频特征。然而，分类和局部化的优化目标不同，使得时间局部化的结果存在严重的不完全问题。为了解决这个问题而不需要额外的注释，本文考虑从视觉语言预训练（VLP）中提取自由动作知识，因为我们惊讶地观察到vanilla VLP的本地化结果有一个过完备的问题，这只是对CBP结果的补充。为了融合这种互补性，我们提出了一种新的蒸馏协作框架，两个分支分别作为CBP和VLP。该框架通过双分支交替训练策略进行优化。具体来说，在B步骤期间，我们从CBP分支中提取置信背景伪标签;而在F步骤期间，置信前景伪标签从VLP分支中提取。从而有效地融合了双分支的互补性，促进了强强联合。在THUMOS 14和ActivityNet1.2上进行的大量实验和消融研究表明，我们的方法显着优于最先进的方法。
2022-12-19 cs.CV
Two-Stream Consensus Network for Weakly-Supervised Temporal Action Localization
Xi’an Jiaotong University（西安交通大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；HERE Technologies（HERE科技公司）；State University of New York at Buffalo（纽约州立大学布法罗分校）；Wormpex AI Research（沃姆派克斯人工智能研究院）
弱监督时间动作定位（W-TAL）的目的是分类和定位的所有动作实例在未经修剪的视频下，只有视频级的监督。然而，在没有帧级注释的情况下，W-TAL方法识别假阳性动作建议并生成具有精确时间边界的动作建议是具有挑战性的。在本文中，我们提出了一个双流共识网络（TSCN），同时解决这些挑战。所提出的TSCN具有迭代细化训练方法，其中帧级伪地面真值被迭代更新，并用于提供帧级监督以改进模型训练和误报动作建议消除。此外，我们提出了一种新的注意力归一化损失，以鼓励预测的注意力像一个二元选择，并促进行动实例边界的精确定位。在THUMOS 14和ActivityNet数据集上进行的实验表明，所提出的TSCN的性能优于当前最先进的方法，甚至达到了与最近的一些完全监督方法相当的结果。
2020-10-22 cs.CV
Cascaded Pyramid Mining Network for Weakly Supervised Temporal Action Localization
Shanghai Jiao Tong University（上海交通大学）
弱监督的时间动作定位是视频分析中一个重要而又具有挑战性的问题，其目的是在训练过程中仅使用视频级别的类标签来在未修剪的视频中定位动作实例。目前的许多方法采用“分类定位”的框架：首先进行视频分类，然后定位对结果贡献最大的时间区域。然而，该框架未能定位整个动作实例，并且很少考虑局部上下文。在本文中，我们提出了一种新的架构称为级联金字塔挖掘网络（CPMN），以解决这些问题，使用两个有效的模块。首先，为了发现特定动作的整个时间间隔，我们设计了一个两阶段级联模块，并提出了在线对抗擦除（OAE）机制，通过将发现区域的擦除特征图反馈给系统来挖掘新的和互补的区域。其次，为了充分利用视频中的分层上下文信息，减少漏检，我们设计了一个金字塔模块，它通过组合不同层次的特征图来产生一个尺度不变的注意力图。最后，我们将两个模块的结果进行聚合，通过定位时间类激活序列（CAS）中的高分区域来执行动作定位。在THUMOS 14和ActivityNet-1.3数据集上进行的大量实验证明了该方法的有效性。
2018-10-28 cs.CV
Weakly-Supervised Temporal Action Localization by Inferring Salient Snippet-Feature
Beijing University of Posts and Telecommunications（北京邮电大学）
提出通过推断显著片段特征生成高保真伪标签的弱监督时序动作定位方法，在THUMOS14和ActivityNet v1.3上超越现有技术。
2023-12-24 cs.CV
Skeleton-based Zero-Shot Spatio-Temporal Action Localization via Weakly-Supervised Pretraining
Konica Minolta, Inc.（柯尼卡美能达公司）；Keio University（庆应义塾大学）；CyberAgent（CyberAgent公司）；NVIDIA（英伟达公司）
该研究提出基于骨骼的零样本时空动作定位方法，通过弱监督视觉-语言预训练与场景混合判别对比学习，解决标注限制问题，在四个公开数据集上验证了有效性。
2026-08-27 cs.CV
Forcing the Whole Video as Background: An Adversarial Learning Strategy for Weakly Temporal Action Localization
Chongqing University（重庆大学）
利用视频级标签，弱监督时间动作定位（WTAL）应用分类定位范式来检测和分类未修剪视频中的动作。在WTAL中，由于分类的特点，不可避免地会误激活特定类别的背景片段，以提高分类器的可区分性。为了减轻背景的干扰，现有的方法试图扩大行动和背景之间的差异，通过建模的背景片段与伪片段级的注释，这在很大程度上依赖于人工假设。与以往的工作不同，我们提出了一个对抗性的学习策略，以打破挖掘伪背景片段的限制。具体地说，背景分类丢失迫使整个视频被视为背景的背景梯度增强策略，混淆了识别模型。值得注意的是，前景（动作）损失引导模型在这种情况下专注于动作片段。因此，两种分类损失之间的竞争驱动模型提高其动作建模的能力。同时，设计了一种新的时间增强网络，使模型能够基于所提出的策略构建亲和片段的时间关系，进一步提高动作定位的性能。最后，在THUMOS 14和ActivityNet1.2上进行了大量实验，验证了该方法的有效性。
2022-07-14 cs.CV
Sub-action Prototype Learning for Point-level Weakly-supervised Temporal Action Localization
本文提出子动作原型学习框架SPL-Loc，通过子动作原型聚类和有序原型对齐生成高质量伪标签，解决点级弱监督时序动作定位中标签稀疏和子动作结构被忽略的问题，在三个基准上显著超越现有方法。
2023-09-16 cs.CV
Weakly Supervised Temporal Action Localization via Representative Snippet Knowledge Propagation
The Chinese University of Hong Kong（香港中文大学）；Centre for Perceptual and Interactive Intelligence（感知与智能交互中心）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
弱监督时间动作定位的目标是定位动作的时间边界，同时仅使用视频级别的类别标签来识别它们的类别。许多现有的方法试图生成伪标签，以弥合分类和本地化之间的差异，但通常只利用有限的上下文信息的伪标签生成。为了缓解这个问题，我们提出了一个代表性的片段摘要和传播框架。我们的方法旨在挖掘每个视频中的代表性片段，用于在视频片段之间传播信息，以生成更好的伪标签。对于每个视频，传播其自身的代表性片段和来自存储体的代表性片段，以视频内和视频间方式更新输入特征。伪标签是从更新特征的时间类激活图生成的，以纠正主分支的预测。我们的方法在两个基准测试，THUMOS 14和ActivityNet1.3，实现收益高达1.2%的平均mAP THUMOS 14相比，现有的方法获得了优异的性能。
2022-03-14 cs.CV
Weakly-Supervised Action Localization by Generative Attention Modeling
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
弱监督时间动作定位是一个学习动作定位模型的问题，只有视频级的动作标记可用。一般框架主要依赖于分类激活，它采用注意力模型来识别动作相关帧，然后将它们分类到不同的类。这种方法导致动作上下文混淆的问题：动作片段附近的上下文帧往往被识别为动作帧本身，因为它们与特定的类密切相关。为了解决这个问题，在本文中，我们提出了模型的类不可知帧的概率条件下的帧注意使用条件变分自动编码器（VAE）。通过观察到上下文在表示级别上表现出与动作的显著差异，概率模型，即，条件VAE被学习以对给定注意力的每个帧的可能性进行建模。通过最大化关于注意力的条件概率，动作和非动作框架被很好地分离。在THUMOS 14和ActivityNet1.2上的实验表明了该方法的优越性和处理动作上下文混淆问题的有效性。代码现在在GitHub上可用。
2020-03-30 cs.CV
Slow Motion Matters: A Slow Motion Enhanced Network for Weakly Supervised Temporal Action Localization
Beihang University（北京航空航天大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；The University of Hong Kong（香港大学）
弱监督时间动作定位（WTAL）的目的是在未经修剪的视频中定位动作，只有弱监督信息（例如视频级标签）。大多数现有的模型处理具有固定时间尺度的所有输入视频。然而，这样的模型对动作的速度不同于"正常”速度的动作不敏感，特别是慢动作动作实例，其以比具有正常速度的对应物慢得多的速度完成动作。这里出现了慢动作模糊的问题：很难以"正常”速度从视频中探索显著的慢动作信息。在本文中，我们提出了一种新的框架，称为慢动作增强网络（SMEN），以提高WTAL网络的能力，通过补偿其对慢动作段的敏感性。建议SMEN包括一个挖掘模块和本地化模块。挖掘模块利用正常运动和慢动作之间的关系生成掩码来挖掘慢动作相关特征;定位模块利用挖掘出的慢动作特征作为补充信息来改善时间动作定位结果。我们提出的框架可以很容易地适应现有的WTAL网络，使他们更敏感的慢动作。在三个基准上进行了大量的实验，证明了我们提出的框架的高性能。
2022-11-21 cs.CV
CoLA: Weakly-Supervised Temporal Action Localization with Snippet Contrastive Learning
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
弱监督时间动作定位（WS-TAL）的目的是定位动作在未经修剪的视频只有视频级的标签。大多数现有的模型遵循“分类定位”的过程：定位对视频级分类贡献最大的时间区域。通常，他们单独处理每个片段（或帧），从而忽略了富有成效的时间上下文关系。这里出现了单个片段欺骗问题：“硬”片段太模糊，无法分类。在本文中，我们认为，通过比较学习有助于识别这些硬片段，我们建议利用片段对比学习本地化动作，简称CoLA。具体来说，我们提出了一种SniCoIntrast（SniCo）Loss来细化特征空间中的硬片段表示，从而引导网络感知精确的时间边界并避免时间间隔中断。此外，由于访问帧级注释是不可行的，我们引入了硬片段挖掘算法来定位潜在的硬片段。大量的分析表明，这种挖掘策略有效地捕获了硬片段和SniCo损失导致更多的信息特征表示。大量的实验表明，CoLA在THUMOS'14和ActivityNet v1.2数据集上实现了最先进的结果。CoLA代码可在https://github.com/zhang-can/CoLA上公开获得。
2021-07-28 cs.CV
Weakly Supervised Temporal Action Localization Using Deep Metric Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）
时间动作定位是视频理解的重要一步。目前大多数动作定位方法依赖于未修剪的视频与动作实例的完整时间注释。然而，这是昂贵的和耗时的注释动作标签和时间边界的视频。为此，我们提出了一种弱监督的时间动作定位方法，只需要视频级的动作实例作为监督在训练过程中。我们提出了一个分类模块来为视频中的每个片段生成动作标签，以及一个深度度量学习模块来学习不同动作实例之间的相似性。我们共同优化一个平衡的二进制交叉熵损失和度量损失使用标准的反向传播算法。大量的实验证明了这两个组件在时间定位的有效性。我们在两个具有挑战性的未修剪视频数据集上评估我们的算法：THUMOS 14和ActivityNet1.2。我们的方法在IoU阈值0.5时将THUMOS 14的当前最先进结果提高了6.5%mAP，并在ActivityNet 1.2中实现了具有竞争力的性能。
2020-01-21 cs.CV cs.LG
Adaptive Mutual Supervision for Weakly-Supervised Temporal Action Localization
Shanghai Jiao Tong University（上海交通大学）
弱监督时间动作定位的目的是定位动作在未经修剪的视频只有视频级的动作类别标签。以往的方法大多忽略了类激活序列（CAS）的不完整性问题，导致局部化结果不明显。为了解决这个问题，我们引入了一个自适应相互监督框架（AMS）的两个分支，其中的基础分支采用CAS本地化最具歧视性的动作区域，而补充分支本地化的歧视性较低的动作区域，通过一种新的自适应采样器。自适应采样器利用与来自基本分支的CAS负相关的采样权重序列动态地更新补充分支的输入，从而促使补充分支定位被基本分支低估的作用区域。为了促进两个分支机构之间的相互促进，我们构建了互位监管。每个分支都利用从另一个分支生成的位置伪标签作为本地化监督。通过在多次迭代中交替优化两个分支，我们逐步完成动作区域。在THUMOS 14和ActivityNet 1.2上进行的大量实验表明，所提出的AMS方法显着优于最先进的方法。
2021-04-06 cs.AI cs.CV
ACGNet: Action Complement Graph Network for Weakly-supervised Temporal Action Localization
State Key Laboratory of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）
在未修剪的视频弱监督的时间动作定位（WTAL）已成为一个实际的，但具有挑战性的任务，因为只有视频级的标签。现有的方法通常利用现成的段级特征，其遭受空间不完整性和时间不一致性，从而限制了它们的性能。在本文中，我们从一个新的角度来解决这个问题，通过一个简单而有效的图卷积网络，即动作补图网络（ACGNet）增强段级表示。它有助于当前视频片段感知来自其他可能传达互补线索的时空依赖性，从而隐式地减轻由上述两个问题引起的负面影响。通过这种方式，段级特征更具鉴别力，对时空变化具有鲁棒性，有助于更高的定位精度。更重要的是，拟议的ACGNet作为一个通用模块，可以灵活地插入不同的WTAL框架，同时保持端到端的培训方式。在THUMOS'14和ActivityNet1.2基准上进行了大量的实验，最先进的结果清楚地表明了所提出的方法的优越性。
2021-12-21 cs.CV cs.LG
Weakly-supervised Temporal Action Localization by Uncertainty Modeling
Microsoft Research Asia（微软亚洲研究院）
弱监督时间动作定位的目的是学习检测动作类的时间间隔，只有视频级别的标签。为此，将动作类的帧与背景帧（即，不属于任何动作类的帧）。在本文中，我们提出了一个新的视角背景帧，他们被建模为分布样本关于他们的不一致性。然后，可以通过估计每个帧在分布外的概率（称为不确定性）来检测背景帧，但是在没有帧级标签的情况下直接学习不确定性是不可行的。为了实现弱监督环境中的不确定性学习，我们利用多示例学习公式。此外，我们还引入了一个背景熵损失，以更好地区分背景帧，鼓励他们的分布（动作）概率均匀分布在所有的动作类。实验结果表明，我们的不确定性建模是有效的，在减轻背景帧的干扰，并带来了很大的性能增益没有花里胡哨。我们证明了我们的模型在基准测试THUMOS'14和ActivityNet（1.2和1.3）上的表现明显优于最先进的方法。我们的代码可在https://github.com/Pilhyeon/WTAL-Uncertainty-Modeling上获得。
2020-12-17 cs.CV cs.LG
Weakly-Supervised Action Localization and Action Recognition using Global-Local Attention of 3D CNN
Brawijaya University（布拉维贾亚大学）；Nagasaki University（长崎大学）；Hiroshima University（广岛大学）
3D卷积神经网络（3D CNN）捕获关于3D数据（诸如视频序列）的空间和时间信息。然而，由于卷积和池化机制，信息丢失似乎不可避免。为了改善3D CNN中的视觉解释和分类，我们提出了两种方法; i）使用训练的3DResNext网络聚合逐层全局到局部（全局-局部）离散梯度，以及ii）实现注意力门控网络以提高动作识别的准确性。所提出的方法旨在通过视觉归因、弱监督动作定位和动作识别来显示3D CNN中称为全局-局部注意力的每一层的有用性。首先，3DResNext被训练并应用于使用关于最大预测类的反向传播的动作分类。然后对每个层的梯度和激活进行上采样。之后，聚合被用来产生更细微的注意力，指出预测类的输入视频中最关键的部分。我们使用轮廓阈值的最终注意力的最终定位。我们通过3DCam使用细粒度的视觉解释来评估修剪视频中的空间和时间动作定位。实验结果表明，该方法产生信息丰富的视觉解释和歧视性的注意。此外，通过在每一层上的注意力门控动作识别产生比基线模型更好的分类结果。
2022-08-16 cs.AI cs.CV cs.NE
Weakly Supervised Foreground Learning for Weakly Supervised Localization and Detection
Nanjing University（南京大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
现代深度学习模型需要大量精确注释的数据，这通常很难满足。因此，弱监督任务，包括弱监督目标定位（WSOL）和检测（WSOD），最近受到了计算机视觉界的关注。在本文中，我们激励并提出了弱监督前景学习（WSFL）任务，表明如果有真实前景模板，WSOL和WSOD都可以得到极大的改善。更重要的是，我们提出了一个完整的WSFL管道，具有低计算成本，生成伪框，学习前景蒙板，不需要任何本地化注释。在WSFL模型预测的前景掩模的帮助下，WSOL在CUB上实现了72.97%的正确定位精度，WSOD在VOC07上实现了55.7%的平均平均精度，从而为这两项任务建立了新的最先进的技术。我们的WSFL模型也表现出良好的传输能力。
2021-08-03 cs.CV
Self-Transfer Learning for Fully Weakly Supervised Object Localization
Lunit Inc.（Lunit公司）
深度学习的最新进展在各种具有挑战性的计算机视觉任务中取得了显着的表现。特别是在对象定位方面，深度卷积神经网络优于基于提取数据/任务驱动特征而不是手工特征的传统方法。虽然感兴趣区域（ROI）的位置信息为对象定位提供了良好的先验，但它需要大量的人力资源注释工作。因此，一个弱监督框架的目标定位。术语“弱”意味着该框架仅使用图像级标记的数据集来训练网络。在采用预训练网络的权值参数的迁移学习的帮助下，用于目标定位的弱监督学习框架表现良好，因为预训练网络已经具有良好训练的类特定特征。然而，这些方法不能用于没有预先训练的网络或良好局部化的大规模图像的一些应用。医学图像分析是这些应用中的代表，因为不可能获得这样的预训练网络。在这项工作中，我们提出了一个“完全”弱监督框架的对象定位（“半”-弱是对应的使用预训练的过滤器弱监督定位）命名为自迁移学习（STL）。它同时优化分类和定位网络。通过控制定位网络的监督级别，STL帮助定位网络在没有任何类型的先验的情况下聚焦于正确的ROI。我们使用两个医学图像数据集，胸部X光片和乳房X光片评估拟议的STL框架，并实现显着更好的定位性能相比，以前的弱监督方法。
2016-02-04 cs.CV
Subspace-Guided Feature Reconstruction for Unsupervised Anomaly Localization
Iwate University（岩手大学）；University of Toyama（toyama大学）；Okayama University（广岛大学）
本文提出子空间引导的特征重构框架，通过学习低维子空间和自表达模型，实现对异常区域的鲁棒定位，减少内存开销并提升性能。
2026-04-14 cs.CV
Improving Weakly-Supervised Object Localization By Micro-Annotation
IST Austria（奥地利科学技术研究所）
弱监督的对象定位方法往往会失败的对象类，始终与相同的背景元素，如火车上的轨道。我们提出了一种方法来克服这些故障，通过添加一个非常少量的模型特定的附加注释。其主要思想是将深度网络的中层表示聚类，并为每个聚类分配对象或干扰项标签。实验表明，在具有挑战性的ILSVC 2014数据集上进行限界框检测和在PASCAL VOC 2012数据集上进行语义分割的定位结果得到了显著改善。
2016-05-18 cs.CV
Rethinking the Route Towards Weakly Supervised Object Localization
National Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）；Nanjing University（南京大学）
弱监督对象定位（WSOL）旨在定位仅具有图像级标签的对象。以前的方法通常尝试利用特征图和分类权重来间接地使用图像级注释来定位对象。在本文中，我们证明了弱监督的目标定位应分为两个部分：类无关的目标定位和目标分类。对于类无关的对象定位，我们应该使用类无关的方法来生成噪声伪注释，然后在没有类标签的情况下对它们执行限界框回归。我们提出了伪监督目标定位（PSOL）方法作为一种新的方法来解决WSOL。我们的PSOL模型在不同数据集之间具有良好的可移植性，无需微调。通过生成的伪边界框，我们在ImageNet上实现了58.00%的定位准确率，在CUB-200上实现了74.97%的定位准确率，这比以前的模型有很大的优势。
2020-03-03 cs.CV
Improved Techniques For Weakly-Supervised Object Localization
Yonsei University（延世大学）
我们提出了一种改进的弱监督对象定位技术。传统的方法有一个局限性，他们只集中在最有区别的部分的目标对象。最近的研究解决了这个问题，并解决了这个限制，增加了训练数据的歧视性较低的部分。为此，我们采用了一种有效的数据增强，以提高目标定位的准确性。此外，我们引入了改进的学习技术，通过优化卷积神经网络（CNN）的基础上，最先进的模型。基于大量的实验，我们评估所提出的方法的有效性定性和定量。特别是，我们观察到，与当前最先进的弱监督对象定位技术相比，我们的方法根据配置将Top-1定位精度提高了21.4 - 37.3%。
2018-05-10 cs.CV
Bridging the Gap between Classification and Localization for Weakly Supervised Object Localization
Seoul National University（首尔国立大学）；LG AI Research（LG人工智能研究院）
弱监督目标定位的目的是在给定图像中找到一个目标对象区域，只有弱监督，如图像级标签。大多数现有的方法使用类激活图（CAM）来生成定位图;然而，CAM仅识别目标对象的最有区别的部分，而不是整个对象区域。在这项工作中，我们根据输入特征和特定于类别的权重之间的方向不对准来发现分类和定位之间的差距。我们证明，错位抑制CAM的激活，在地区是歧视性的，但属于目标对象。为了弥补这一差距，我们提出了一种方法来调整特征方向与类特定的权重。该方法在CUB-200-2011和ImageNet-1 K基准测试中实现了最先进的定位性能。
2022-04-01 cs.CV
CELNet: Evidence Localization for Pathology Images using Weakly Supervised Learning
The Hong Kong University of Science and Technology（香港科技大学）
尽管深度卷积神经网络提高了数字病理分析中图像分类和分割的性能，但它们通常在临床应用的可解释性方面较弱，或者需要大量注释来实现对象定位。为了克服这个问题，我们提出了一个弱监督学习为基础的方法，可以有效地学习本地化的歧视性证据的诊断标签从弱标记的训练数据。实验结果表明，我们所提出的方法可以可靠地查明癌症证据的位置，支持感兴趣的决定，同时仍然实现了具有竞争力的表现，在一瞥级和幻灯片级的组织病理学癌症检测任务。
2019-09-16 cs.CV
Learning Consistency from High-quality Pseudo-labels for Weakly Supervised Object Localization
Shanghai Jiao Tong University（上海交通大学）；Shanghai Frontier Science Research Center for Gravitational Wave Detection（上海引力波探测前沿科学研究中心）
伪监督学习方法已被证明是有效的弱监督对象定位任务。但有效性依赖于深度神经网络强大的正则化能力。基于定位网络在同一图像的不同版本上应该具有相似的位置预测的假设，我们提出了一种两阶段的方法来学习更一致的定位。在第一阶段，我们提出了一个基于掩码的伪标签生成器算法，并使用伪监督学习方法来初始化目标定位网络。在第二阶段，我们提出了一种简单有效的基于分类判别的伪标签置信度评估方法，并通过从高质量的伪标签中学习一致性，进一步改进定位网络，以获得更好的定位性能。实验结果表明，该方法在CUB-200-2011、ImageNet-1 k和Tiny-ImageNet三个基准数据集上均取得了良好的性能，证明了该方法的有效性。
2022-03-18 cs.CV
Weakly Supervised Localization using Deep Feature Maps
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Army Research Laboratory（陆军研究实验室）
目标定位是一个重要的计算机视觉问题，具有广泛的应用。缺乏大规模的对象级注释和相对丰富的图像级标签使得对象本地化任务中的监督薄弱成为一个令人信服的理由。深度卷积神经网络是用于对象识别的相关问题的一类最先进的方法。在本文中，我们描述了一种新的目标定位算法，它使用的分类网络只训练图像标签。这种弱监督方法利用了在分类网络的卷积层中捕获的局部空间和语义模式。我们提出了一种有效的束搜索为基础的方法来检测和定位图像中的多个对象。所提出的方法显着优于国家的最先进的标准对象定位数据集的mAP分数增加了8个点。
2016-03-29 cs.CV
ContextLocNet: Context-Aware Deep Network Models for Weakly Supervised Localization
Inria（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）
我们的目标是只使用图像级监督来定位图像中的对象。以前的方法主要集中在区分对象区域，往往无法定位精确的对象边界。我们解决这个问题，通过引入两种类型的上下文感知的指导模型，添加剂和对比模型，利用其周围的上下文区域，以提高本地化。加性模型鼓励预测的对象区域由其周围的上下文区域支持。对比模型鼓励预测的对象区域从其周围的上下文区域突出。我们的方法受益于卷积神经网络最近在对象识别方面的成功，并将Fast R-CNN扩展到弱监督对象定位。对PASCAL VOC 2007和2012基准测试的广泛实验评估表明，我们的上下文感知方法显着提高了弱监督定位和检测。
2016-09-14 cs.CV
High resolution weakly supervised localization architectures for medical images
在医学成像中，类激活图（CAM）通过指向感兴趣区域作为主要的解释工具。由于来自CAM的定位精度受到模型特征图的分辨率的约束，因此可以预期通常具有大特征图的分割模型将产生更准确的CAM。然而，我们发现，由于任务不匹配，情况并非如此。虽然分割模型是为具有像素级注释的数据集开发的，但在大多数医学成像数据集中仅图像级注释可用。我们的实验表明，全局平均池（GAP）和组归一化是恶化CAM定位精度的罪魁祸首。为了解决这个问题，我们提出了金字塔定位网络（PYLON），这是一种高精度弱监督定位模型，在NIH的胸部X射线14数据集上实现了0.62的平均点定位精度，而传统CAM模型的平均点定位精度为0.45。源代码和扩展结果可在https://github.com/cmb-chula/pylon上获取。
2020-10-22 cs.CV
W-TALC: Weakly-supervised Temporal Activity Localization and Classification
University of California, Riverside（加州大学河滨分校）
文献中的大多数活动定位方法都受到逐帧注释要求的负担。从弱标签中学习可能是减少这种手动标记工作的潜在解决方案。近年来，互联网上大量的带标签的视频涌入，这些视频可以作为弱监督训练数据的丰富来源。具体地，可以利用具有相似标签的视频之间的相关性来在时间上定位活动。为了实现这一目标，我们提出了W-TALC，一个弱监督的时间活动定位和分类框架，只使用视频级标签。该网络可以分为两个子网络，即基于双流的特征提取器网络和弱监督模块，我们通过优化两个互补的损失函数来学习。在两个具有挑战性的数据集-Thumos 14和ActivityNet1.2上的定性和定量结果表明，所提出的方法能够以细粒度检测活动，并实现比当前最先进的方法更好的性能。
2018-12-15 cs.CV
Learning a Weight Map for Weakly-Supervised Localization
Tel-Aviv University（特拉维夫大学）
在弱监督定位设置中，监督作为图像级标签给出。我们建议采用一个图像分类器$f$和训练生成网络$g$，输出，给定的输入图像，每像素的权重图，指示图像内的对象的位置。通过最小化分类器$f$在原始图像上的输出与其在给定由$g$的输出加权的相同图像的情况下的输出之间的差异来训练网络$g$。该方案需要一个正则化项，以确保$g$不提供一个统一的权重，并提前停止标准，以防止$g$过度分割的图像。我们的研究结果表明，该方法优于现有的定位方法的一个相当大的利润率上具有挑战性的细粒度分类数据集，以及一个通用的图像识别数据集。此外，所获得的权重图在细粒度分类数据集中的弱监督分割中也是最先进的。
2021-11-28 cs.CV
Learning from Counting: Leveraging Temporal Classification for Weakly Supervised Object Localization and Detection
本文提出了一种利用时间分类来支持弱监督目标检测（WSOD）的新方法。具体来说，我们引入光栅扫描顺序技术将2D图像序列化为1D序列数据，然后利用组合的LSTM（长短期记忆）和CTC（连接主义时间分类）网络来实现基于总计数（感兴趣对象）的对象定位。我们提出的网络LSTM-CCTC（基于计数的CTC）。这种“从计数中学习”的策略不同于现有的WSOD方法，因为我们的方法自动识别目标对象上或附近的关键点。该策略显著地减少了生成用于对象定位的大量候选提议的需要。实验表明，我们的方法产生最先进的性能的基础上评估PASCAL VOC数据集。
2021-03-06 cs.CV
Soft Proposal Networks for Weakly Supervised Object Localization
University of Chinese Academy of Sciences（中国科学院大学）；Duke University（杜克大学）
弱监督对象定位仍然具有挑战性，在训练过程中只有图像标签而不是边界框可用。对象建议是本地化中的一个有效组件，但通常计算量很大，并且无法与其他一些模块进行联合优化。在本文中，据我们所知，我们首次将弱监督对象建议以端到端的学习方式集成到卷积神经网络（CNN）中。我们设计了一个网络组件Soft Proposal（SP），可以插入任何标准卷积架构，以引入几乎无成本的对象提案，比最先进的方法快几个数量级。在SP增强的CNN中，被称为软提议网络（SPN），迭代进化的对象提议是基于深度特征图生成的，然后投影回来，并进一步与网络参数联合优化，仅具有图像级监督。通过统一的学习过程，SPN可以学习更好的以对象为中心的过滤器，发现更多有区别的视觉证据，并抑制背景干扰，从而显着提高弱监督对象定位和分类性能。我们报告了流行基准测试的最佳结果，包括PASCAL VOC，MS COCO和ImageNet。
2017-09-06 cs.CV
Learning Where and When: Patch-Based Spatiotemporal Localization in Weakly Supervised Video Anomaly Detection
University of South Florida（佛罗里达州立大学）
提出基于补丁的时空框架，在弱监督下联合定位异常的时间和空间位置，通过邻近感知Top-k选择策略生成细粒度空间异常图，显著提升时空定位精度。
2026-06-28 cs.CV
Mining Forgery Traces from Reconstruction Error: A Weakly Supervised Framework for Multimodal Deepfake Temporal Localization
School of Computer Science and Engineering（计算机科学与工程学院）；Sun Yat-sen University（中山大学）；Alibaba Group（阿里巴巴集团）
本文提出RT-DeepLoc框架，通过重建误差识别深度伪造，利用MAE学习真实数据的时空模式，结合不对称视频对比损失提升定位精度，实验表明在大规模数据集上达到弱监督时间伪造定位的最新水平。
2026-05-16 cs.CV
Weakly Supervised Object Localization and Detection: A Survey
Northwestern Polytechnical University（西北工业大学）；University of California at Merced（加州大学默塞德分校）
弱监督目标定位与检测是计算机视觉领域的一个新兴且具有挑战性的问题，对于发展新一代计算机视觉系统具有重要意义，在过去的十年中受到了广泛的关注。由于已经提出了方法，因此对这些主题进行全面调查是非常重要的。在这项工作中，我们回顾了（1）经典模型，（2）来自现成深度网络的特征表示方法，（3）完全基于深度学习的方法，以及（4）在该领域广泛使用的公开数据集和标准评估指标。我们还讨论了在这一领域的关键挑战，这一领域的发展历史，在每个类别的方法的优点/缺点，在不同类别的方法之间的关系，弱监督目标定位和检测方法的应用，以及潜在的未来方向，以进一步促进这一研究领域的发展。
2021-04-16 cs.CV
WSLLN: Weakly Supervised Natural Language Localization Networks
University of Maryland（马里兰大学）；Salesforce Research（Salesforce研究院）
我们提出了弱监督语言定位网络（WSLLN），以检测事件的长，未修剪的视频给定的语言查询。为了学习视觉片段和文本之间的对应关系，大多数以前的方法需要事件的时间坐标（开始和结束时间）进行训练，这导致注释成本很高。WSLLN通过仅使用视频-句子对进行训练而无需访问事件的时间位置来减轻注释负担。通过简单的端到端结构，WSLLN测量段文本的一致性，并同时进行段选择（以文本为条件）。两者的结果合并并优化为视频-句子匹配问题。在ActivityNet Captions和DiDeMo上的实验表明，WSLLN达到了最先进的性能。
2019-08-31 cs.CV
ViTOL: Vision Transformer for Weakly Supervised Object Localization
Mercedes-Benz Research and Development India（梅赛德斯-奔驰印度研发中心）
弱监督对象定位（WSOL）的目的是预测对象在图像中的位置，只使用图像级的类别标签。图像分类模型在定位对象时遇到的常见挑战是，（a）它们倾向于查看图像中最具区分性的特征，这些特征将定位图限制在非常小的区域，（b）定位图是类别不可知的，并且模型突出显示同一图像中的多个类别的对象，以及（c）定位性能受背景噪声的影响。为了缓解上述挑战，我们通过我们提出的方法ViTOL引入以下简单的变化。我们利用基于视觉的Transformer进行自我注意，并引入基于补丁的注意力丢弃层（p-ADL）来增加本地化地图的覆盖范围，并引入梯度注意力卷展机制来生成类相关的注意力地图。我们在ImageNet-1 K和CUB数据集上进行了广泛的定量，定性和消融实验。我们在两个数据集上分别实现了70.47%和73.17%的MaxBoxAcc-V2本地化分数。代码可在https://github.com/Saurav-31/ViTOL上获得
2022-04-14 cs.CV
Weakly-Supervised Localization and Classification of Proximal Femur Fractures
TU Munich（慕尼黑工业大学）；Universitat Pompeu Fabra（庞培法布拉大学）；Klinikum rechts der Isar（伊萨尔河右岸医院）；Ludwig Maximilian University（路德维希-马克西米利安大学）；CNRS（法国国家科学研究中心）；Ecole Centrale Nantes（南特中央理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
在本文中，我们的目标是骨折分类的问题，从临床X射线图像走向一个自动化的计算机辅助诊断（CAD）系统。虽然主要是处理一个图像分类问题，我们认为，定位图像中的骨折是至关重要的，使良好的类预测。因此，我们提出并深入分析了几种方案，同时骨折定位和分类。我们表明，使用辅助定位任务，在一般情况下，提高了分类性能。此外，由于弱监督深度学习方法的最新进展，可以避免对额外定位注释的需要。在这些方法中，我们研究和适应空间Transformers（ST），自迁移学习（STL），并从全局池层的本地化。我们提供了一个详细的定量和定性验证数据集的1347股骨骨折的图像和报告的高准确性方面的专家间的相关性值在文献中报道。我们的研究表明，i）病变定位改善了分类结果，ii）弱监督方法改善了基线分类，而没有任何额外的成本，iii）STL引导了特征激活并提高了性能。我们计划让数据集和代码都可用。
2018-09-27 cs.CV
C-WSL: Count-guided Weakly Supervised Localization
University of Maryland, College Park（马里兰大学帕克分校）；DeepMind（深度思维）；Adobe Research（奥多比研究院）
我们引入了计数引导的弱监督定位（C-WSL），这种方法使用每类对象计数作为一种新的监督形式来改进弱监督定位（WSL）。C-WSL使用一个简单的基于计数的区域选择算法来选择高质量的区域，每个区域在训练过程中覆盖单个对象实例，并通过使用所选区域进行训练来改进现有的WSL方法。为了证明C-WSL的有效性，我们将其集成到两个WSL架构，并在VOC 2007和VOC 2012上进行了广泛的实验。实验结果表明，C-WSL导致大的改进WSL和所提出的方法显着优于国家的最先进的方法。VOC 2007上的注释实验结果表明，与仅标记图像中的对象类别相比，需要适度的额外时间来获得每类对象计数。此外，我们减少了更多的$2\times$和$38\times$相比，中心点击和边界框注释的注释时间。
2018-07-25 cs.CV
Self-produced Guidance for Weakly-supervised Object Localization
University of Technology Sydney（悉尼科技大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
弱监督方法通常基于分类网络产生的注意力图来生成定位结果。然而，注意力地图展示了对象的最具区分力的部分，这些部分很小且稀疏。我们建议生成自产指导（SPG）掩模，将前景（感兴趣的对象）与背景分离，为分类网络提供像素的空间相关性信息。提出了一种分阶段的方法，将高置信度的对象区域学习SPG掩模。利用注意力图中的高置信度区域来逐步学习SPG掩码。然后将掩模用作辅助像素级监督以促进分类网络的训练。ILSVRC上的大量实验表明，SPG是有效的，在生产高质量的目标定位地图。特别地，所提出的SPG在ILSVRC验证集上实现了43.83%的Top-1定位出错率，这是新的最先进的出错率。
2018-08-05 cs.CV
Weakly Supervised Object Localization Using Size Estimates
University of Edinburgh（爱丁堡大学）
我们提出了一种弱监督对象定位（WSOL）技术，该技术基于WSOL算法通常在具有较大对象的图像上效果更好的观察。我们提出了一种课程学习策略，将训练图像按照从包含较大对象的图像到较小对象的顺序馈送到WSOL学习循环中，而不是同时在整个训练集上训练对象检测器。为了自动确定顺序，我们训练一个回归器来估计给定整个图像作为输入的对象的大小。此外，我们使用这些大小估计，以进一步改善WSOL的重新定位步骤，根据其大小与估计的对象大小的匹配程度，为对象提案分配权重。我们证明了具有挑战性的PASCAL VOC 2007数据集上使用大小顺序和大小权重的有效性，在那里我们实现了对现有最先进的WSOL技术的显着改进。
2016-08-16 cs.CV
Pairwise Similarity Knowledge Transfer for Weakly Supervised Object Localization
ANU（澳大利亚国立大学）；ACRV（澳大利亚机器人视觉研究中心）；Georgia Tech（佐治亚理工学院）；Google Research（谷歌研究院）；University of Washington（华盛顿大学）
弱监督对象定位（WSOL）方法只需要图像级标签，而不是完全监督算法所需的昂贵的限界框注释。我们研究了在具有弱监督图像标签的目标类上学习定位模型的问题，并在完全注释的源数据集的帮助下。通常，WSOL模型首先被训练来预测现成的完全监督源数据集上的类通用对象性得分，然后逐渐适应学习弱监督目标数据集中的对象。在这项工作中，我们认为，只学习一个对象函数是一种弱形式的知识转移，并建议学习一个类的成对相似性函数，直接比较两个输入的建议，以及。组合的定位模型和估计的对象注释在交替优化范例中联合学习，如在标准WSOL方法中通常所做的。与现有的学习成对相似性的工作相比，我们的方法优化了一个统一的目标，并保证收敛，对于大规模应用来说，它是计算效率高的。在COCO和ILSVRC 2013检测数据集上的实验表明，引入成对相似度函数后，定位模型的性能得到了显著提高。例如，在ILSVRC数据集中，正确定位（CorLoc）性能从72.8%提高到78.2%，这是知识转移背景下WSOL任务的最新技术水平。
2020-07-19 cs.CV
Weakly Supervised Lesion Localization With Probabilistic-CAM Pooling
JF Healthcare（JF医疗）；Greybird Ventures LLC（灰鸟风险投资有限责任公司）
胸部疾病的X线定位在诊断和治疗计划等临床实践中起着至关重要的作用。然而，当前基于深度学习的方法通常需要强监督，例如注释的边界框，用于训练这样的系统，这对于大规模收获是不可行的。我们提出了概率类激活图（PCAM）池，一种新的全球池操作病灶定位与图像级的监督。PCAM池在训练期间以概率方式显式地利用CAM的出色本地化能力。在ChestX-ray 14数据集上的实验表明，使用PCAM池训练的ResNet-34模型在分类任务和定位任务上的表现都优于最先进的基线。与CAM生成的定位热图相比，对PCAM合并生成的概率图的目视检查显示病变区域周围的清晰和尖锐边界。PCAM池在https://github.com/jfhealthcare/Chexpert上是开源的。
2020-05-29 cs.CV
A Benchmark for Weakly Semi-Supervised Abnormality Localization in Chest X-Rays
Tencent（腾讯）；Shenzhen University（深圳大学）；Fudan University（复旦大学）
准确的胸部X线异常定位有助于临床对各种胸部疾病的诊断。然而，病变级标注只能由有经验的放射科医生执行，并且繁琐耗时，因此难以获取。这种情况导致难以开发用于CXR的完全监督的异常定位系统。在这方面，我们建议通过弱半监督策略训练CXR异常定位框架，称为点超越类（PBC），它利用少量的完全注释的CXR与病变级边界框和广泛的弱注释样本点。这样的点注释设置可以以边际注释成本提供用于异常定位的弱实例级信息。特别地，我们PBC背后的核心思想是学习从点注释到边界框的鲁棒和准确的映射，以对抗注释点的方差。为了实现这一点，提出了一个正则化项，即多点一致性，它驱动模型从同一异常内部的不同点注释生成一致的限界框。此外，一个自我监督，称为对称一致性，也提出了深入利用有用的信息，从弱注释的数据异常定位。RSNA和VinDr-CXR数据集上的实验结果证明了该方法的有效性。当少于20%的框级标签用于训练时，与当前最先进的方法（即，点DETR）。代码可在www.example.com上获得。
2022-09-05 cs.CV
Box-based Refinement for Weakly Supervised and Unsupervised Localization Tasks
Tel Aviv University（特拉维夫大学）
本文提出在网络输出而非图像数据上训练基于框的检测器并应用损失反向传播，以改进弱监督和无监督定位任务的原始网络，在短语定位和无监督目标发现中取得显著提升。
2023-09-07 cs.CV
Attention-based Dropout Layer for Weakly Supervised Object Localization
Yonsei University（延世大学）
弱监督对象定位（WSOL）技术只使用图像级标签来学习对象位置，而不使用位置注释。这些技术的一个共同局限性是，它们只覆盖了对象的最有区别的部分，而不是整个对象。为了解决这个问题，我们提出了一个基于注意力的丢弃层（ADL），它利用自我注意力机制来处理模型的特征图。该方法由两个关键部分组成：1）隐藏模型中最具鉴别力的部分以捕捉对象的完整范围; 2）突出信息区域以提高模型的识别能力。实验结果表明，该方法能够有效提高WSOL的定位精度，在CUB-200-2011数据集上的定位精度达到了最新水平。我们还表明，所提出的方法是更有效的参数和计算开销比现有的技术。
2019-08-27 cs.CV
