Adaptive Patch Contrast for Weakly Supervised Semantic Segmentation
Xi’an Jiaotong-Liverpool University（西交利物浦大学）；University of Liverpool（利物浦大学）；University of Aberdeen（阿伯丁大学）；Microsoft（微软公司）；Jiangsu United Vocational and Technical College（江苏联合职业技术学院）
针对弱监督语义分割中基于ViT方法的补丁嵌入局限性及多阶段训练效率问题，提出APC方法，通过AKP层和PCL增强补丁嵌入，改进为端到端单阶段训练，在两个数据集上性能更优且训练更快。
2024-11-26 cs.CV
Improving Few-shot Learning with Weakly-supervised Object Localization
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
少样本学习通常涉及基于度量学习的分类器，其通过比较所提取的特征向量与类表示之间的距离来预测图像标签。然而，在特征提取器的后端应用全局池化可能不会产生正确聚焦于类对象的嵌入。在这项工作中，我们提出了一个新的框架，产生类表示提取功能的类相关区域的图像。给定只有几个示例性的图像与图像级标签，我们的框架首先本地化的类对象，通过空间分解的图像和它们的类原型之间的相似性。然后，增强类表示从本地化的结果。我们还提出了一个损失函数，以提高区分细化功能。我们的方法在miniImageNet和tieredImageNet基准测试中优于基线Few-Shot模型。
2021-05-25 cs.CV
Weakly Supervised Lesion Localization With Probabilistic-CAM Pooling
JF Healthcare（JF医疗）；Greybird Ventures LLC（灰鸟风险投资有限责任公司）
胸部疾病的X线定位在诊断和治疗计划等临床实践中起着至关重要的作用。然而，当前基于深度学习的方法通常需要强监督，例如注释的边界框，用于训练这样的系统，这对于大规模收获是不可行的。我们提出了概率类激活图（PCAM）池，一种新的全球池操作病灶定位与图像级的监督。PCAM池在训练期间以概率方式显式地利用CAM的出色本地化能力。在ChestX-ray 14数据集上的实验表明，使用PCAM池训练的ResNet-34模型在分类任务和定位任务上的表现都优于最先进的基线。与CAM生成的定位热图相比，对PCAM合并生成的概率图的目视检查显示病变区域周围的清晰和尖锐边界。PCAM池在https://github.com/jfhealthcare/Chexpert上是开源的。
2020-05-29 cs.CV
Weakly Supervised Object Detection with Pointwise Mutual Information
TU Dortmund University（多特蒙德工业大学）
在这项工作中，弱监督目标检测，结合逐点互信息的新方法。一个完全的卷积神经网络架构，其中网络学习每个对象类一个过滤器。生成的特征图指示图像中对象的位置，从而生成类激活图的直观表示。虽然传统上这种网络是通过softmax或二进制逻辑回归（sigmoid交叉熵损失）来学习的，但引入了基于余弦损失的学习方法。逐点互信息层被合并到网络中，以便在非分类嵌入空间中投影预测和地面实况存在标签。因此，余弦损失可以在这种非分类表示中使用。除了集成图像级注释外，还展示了如何使用空间金字塔池层集成逐点注释。在VOC2012数据集上对该方法进行了分类、点定位和弱监督限界框定位的评估。结果表明，逐点互信息和余弦损失的组合简化了学习过程，从而提高了精度。粗略逐点定位的集成以最小的注释成本进一步改进了结果。
2018-01-26 cs.CV
Deconvolutional Feature Stacking for Weakly-Supervised Semantic Segmentation
Lunit Inc.（Lunit公司）
提出了一种基于约束解卷积神经网络的弱监督语义分割框架。框架中的每个反卷积层由解池化和反卷积操作组成。“Unpooling”基于由相应卷积层的池化操作定义的unpooling开关对输入特征图进行上采样。“Deconvolution”通过使用与相应卷积层的卷积操作绑定的卷积权重来卷积输入的未合并特征。解池化-去卷积组合有助于在特征提取阶段中消除较少区别的特征，因为去卷积层的输出特征是从最具区别的解池化特征而不是原始特征重建的。这导致像素级推断阶段中的假阳性减少。从整个反卷积层恢复的所有特征图可以根据不同的抽象级别构成丰富的鉴别特征集。这些功能被堆叠以有选择地用于生成特定于类别的激活图。在弱监督（图像级标签）下，所提出的框架在医学图像（胸部X射线）中的病变分割上显示出有希望的结果，并在相同的实验条件下在PASCAL VOC分割数据集上实现了最先进的性能。
2016-03-12 cs.CV
Object-Extent Pooling for Weakly Supervised Single-Shot Localization
Vicarious Perception Technologies（维卡瑞斯感知技术公司）；Delft University of Technology（代尔夫特理工大学）
在缺乏详细的训练注释的情况下，在弱监督下实时执行对象定位任务的能力是非常有价值的。然而，生成和评估区域建议的计算成本是沉重的。我们适应类激活地图（CAM）的概念到第一个弱监督的“单发”检测器，不需要使用区域的建议。为了促进这一点，我们提出了一种新的全局池技术，称为空间金字塔平均最大（SPAM）池训练这个基于CAM的网络对象范围定位只有弱图像级的监督。我们证明了这个全局池化层具有接近理想的梯度流，用于范围本地化，这在最大池化和平均池化的极端之间提供了良好的权衡。我们的方法只需要一个单一的网络通道，并使用快速反投影技术，完全省略了任何区域建议步骤。据我们所知，这是第一个这样做的方法。因此，我们能够以35 fps的速度实时执行推理，这比之前所有弱监督对象定位框架都快了一个数量级。
2017-07-19 cs.CV
PPR-FCN: Weakly Supervised Visual Relation Detection via Parallel Pairwise R-FCN
Columbia University（哥伦比亚大学）；National University of Singapore（新加坡国立大学）
我们的目标是解决一个新的视觉任务，称为弱监督视觉关系检测（WSVRD），以检测“主谓宾”的关系，在图像中的对象关系groundtruths仅在图像级别。这是因为在实例级别标记对象之间的组合关系是非常昂贵的。与广泛研究的问题相比，弱监督目标检测（WSOD），WSVRD更具挑战性，因为它需要检查大量的区域对，这在计算上是禁止的，并且更可能陷入局部最优解，例如涉及错误空间上下文的那些。为此，我们提出了一个并行的，成对的区域为基础的，全卷积网络（PPR-FCN）的WSVRD。它使用并行FCN架构，同时执行对选择和分类的单个区域和区域对的对象和关系检测，同时共享几乎所有的计算共享整个图像。特别是，我们提出了一种新的位置-角色-敏感的得分地图与成对的ROI池，以有效地捕捉与一对对象相关的关键上下文。我们证明了PPR-FCN的优越性，在解决WSVRD的挑战，通过使用两个视觉关系基准的广泛的实验结果在所有基线。
2017-08-07 cs.CV
Learning ordered pooling weights in image classification
Das-nano；Veridas；Universidad Pública de Navarra（纳瓦拉公立大学）
空间池化是计算机视觉系统（如卷积神经网络或词袋方法）中的重要步骤。空间池化的目的是将相邻描述符组合以获得给定区域（局部或全局）的单个描述符。合成的组合向量必须尽可能具有判别性，换句话说，必须包含相关信息，同时删除不相关和令人困惑的细节。最大值和平均值是池化步骤中最常用的聚合函数。为了在不降低图像分类的鉴别能力的前提下提高相关信息的聚集能力，提出了一种基于有序加权平均（OWA）聚集算子的简单有效的方法。我们提出了一种方法来学习的OWA聚合运算符的权重在一个袋的话的框架和卷积神经网络，并提供了广泛的评估表明，基于OWA池优于经典的聚合运算符。
2021-06-10 cs.CV
Weakly Supervised Action Localization by Sparse Temporal Pooling Network
University of California（加利福尼亚大学）；Google（谷歌）；Seoul National University（首尔国立大学）
我们提出了一个弱监督的时间动作定位算法的未修剪的视频使用卷积神经网络。我们的算法从视频级别的类标签中学习，并预测人类动作的时间间隔，而不需要时间定位注释。我们设计我们的网络，以确定一个稀疏的子集的关键段与目标动作在视频中使用的注意力模块和融合的关键段通过自适应时间池。我们的损失函数是由两个术语，最大限度地减少视频级的动作分类错误，并执行稀疏的段选择。在推理时，我们提取和评分时间的建议，使用时间类激活和类不可知的注意，估计对应于目标动作的时间间隔。该算法在THUMOS 14数据集上获得了最先进的结果，在ActivityNet1.3上表现出色，即使其监督较弱。
2018-04-03 cs.CV
Weakly-supervised Learning of Mid-level Features for Pedestrian Attribute Recognition and Localization
Chinese Academy of Sciences（中国科学院）
现有的方法将行人属性识别视为多标签图像分类问题。在以往的工作中，人体属性的位置信息通常被删除或简单地编码在整个身体的刚性分裂。在本文中，我们制定了一个弱监督属性定位框架的任务。基于GoogLeNet，首先通过新颖设计的检测层发现一组中层属性特征，并采用基于最大池的弱监督目标检测技术，仅用图像级标签对这些层进行训练，无需行人属性的限界框标注.其次，通过检测响应幅度的回归来预测属性标签。最后，行人属性的位置和大致形状可以通过对检测层的激活图的融合执行聚类来推断，其中融合权重被估计为每个属性与其相关的中间层特征之间的相关强度。在两个目前最大的行人属性数据集上进行了大量的实验，即PETA数据集和RAP数据集。实验结果表明，该方法在属性识别方面取得了较好的效果。此外，属性定位的结果可视化，了解所提出的方法的特点。
2016-11-17 cs.CV
Reducing Information Bottleneck for Weakly Supervised Semantic Segmentation
Seoul National University（首尔大学）
弱监督的语义分割从类标签产生像素级定位;然而，在这样的标签上训练的分类器可能集中在目标对象的小的区分区域上。我们使用信息瓶颈原理来解释这种现象：由sigmoid或softmax激活函数激活的深度神经网络的最后一层会导致信息瓶颈，因此，只有一部分任务相关信息被传递到输出。我们首先通过一个模拟的玩具实验来支持这一论点，然后提出了一种通过删除最后一个激活函数来减少信息瓶颈的方法。此外，我们引入了一种新的池化方法，进一步鼓励信息从非歧视性区域的分类传输。我们的实验评估表明，这种简单的修改显着提高了PASCAL VOC 2012和MS COCO 2014数据集上的定位图的质量，为弱监督语义分割展示了新的最先进的性能。该代码可从以下网址获得：https://github.com/jbeomlee93/RIB。
2021-10-13 cs.CV cs.LG
AME-CAM: Attentive Multiple-Exit CAM for Weakly Supervised Segmentation on MRI Brain Tumor
National Tsing Hua University（国立清华大学）；University of Notre Dame（圣母大学）；The Chinese University of Hong Kong（香港中文大学）
针对MRI脑肿瘤弱监督分割中CAM分辨率低的问题，本文提出注意力多出口CAM（AME-CAM），通过多分辨率激活图分层聚合提升预测精度，并在BraTS 2021数据集上取得优于现有方法的性能。
2023-12-01 cs.AI cs.CV
Geometric Neural Phrase Pooling: Modeling the Spatial Co-occurrence of Neurons
The Johns Hopkins University（约翰霍普金斯大学）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Microsoft Research（微软研究院）
深度卷积神经网络（CNN）在最先进的视觉识别中发挥着重要作用。本文主要研究神经元反应的空间同现模型，这在以前的工作中研究较少。为此，我们将隐藏层中的神经元视为神经词，并在其上构造一组几何神经短语。将神经词分组为神经短语的想法是从视觉词袋（BoVW）模型中借用的。接下来，几何神经短语池（GNPP）算法被提出来有效地编码这些神经短语。GNPP作为一种新型的隐藏层，它在卷积后惩罚孤立的神经元响应，并且可以插入到CNN模型中，几乎没有额外的计算开销。实验结果表明，GNPP在图像分类中产生了显著且一致的准确率增益。
2016-07-21 cs.CV
Incorporating intratumoral heterogeneity into weakly-supervised deep learning models via variance pooling
Brigham and Women’s Hospital（布莱根妇女医院）；Harvard Medical School（哈佛医学院）；Massachusetts General Hospital（麻省总医院）
监督学习任务，如从千兆像素全载玻片图像（WSIs）预测癌症存活率，是计算病理学中的一个关键挑战，需要对肿瘤微环境的复杂特征进行建模。这些学习任务通常使用深度多实例学习（MIL）模型来解决，这些模型不会明确捕获肿瘤内的异质性。我们开发了一种新的方差池架构，使MIL模型将肿瘤内异质性纳入其预测。两个解释性工具的基础上，有代表性的补丁说明探测这些模型捕获的生物信号。来自癌症基因组图谱的4，479千兆像素WSI的实证研究表明，将方差池添加到MIL框架中可以提高五种癌症类型的生存预测性能。
2022-11-19 cs.CV cs.LG eess.IV
Local Features and Visual Words Emerge in Activations
Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（法国雷恩信息与自动化系统研究所）；Czech Technical University in Prague（捷克布拉格技术大学）
提出了一种新的深度空间匹配（DSM）图像检索方法.初始排名基于通过全局池化从卷积神经网络激活中提取的图像描述符，如在最近的最先进的工作中。然而，相同的稀疏3D激活张量也通过局部特征的集合来近似。然后，这些局部特征被鲁棒地匹配以近似张量的最佳对准。这无需任何网络修改，额外的层或训练。在原始图像上不发生局部特征检测。在整个过程中不需要局部特征描述符和视觉词汇。我们的实验表明，所提出的方法实现了最先进的性能在不同的网络架构和不同的全球池化方法的标准基准。最高增益的性能时，实现扩散的最近邻图的全局描述符是从空间验证的图像。
2019-05-15 cs.CV
A Simple Hierarchical Pooling Data Structure for Loop Closure
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们提出了一个数据结构，通过分层平均袋的字描述符在一系列的意见，实现平均加速范围从4到20倍的大规模循环闭合应用程序的基准数据集。虽然简单，该方法的工作原理以及复杂的凝聚计划的一小部分的成本与最小的性能损失。
2018-10-23 cs.CV cs.RO
Shrinking the Semantic Gap: Spatial Pooling of Local Moment Invariants for Copy-Move Forgery Detection
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
复制-移动伪造是一种从图像中复制和粘贴特定补丁的操作，具有潜在的非法或不道德用途。近年来，针对复制-移动伪造的取证方法在检测准确性和鲁棒性方面取得了越来越大的成功。然而，对于具有高自相似性或强信号破坏的图像，现有的算法往往表现出低效的过程和不可靠的结果。这主要是由于低层次视觉表征和高层次语义概念之间固有的语义鸿沟。在本文中，我们提出了一个非常第一次的研究，试图减轻复制移动伪造检测的语义差距问题，与空间池的局部不变矩的中级图像表示。本文的检测方法在两个方面对传统方法进行了扩展：1）首次将视觉词袋模型引入到该领域，为法医学研究提供了一个新的视角; 2）提出了一种词到短语的特征描述和匹配流水线，涵盖了数字图像的空间结构和视觉显著性信息。大量的实验结果表明，我们的框架在克服语义差距所造成的相关问题的最先进的算法的优越性能。
2023-01-17 cs.CV
Skeleton-based Zero-Shot Spatio-Temporal Action Localization via Weakly-Supervised Pretraining
Konica Minolta, Inc.（柯尼卡美能达公司）；Keio University（庆应义塾大学）；CyberAgent（CyberAgent公司）；NVIDIA（英伟达公司）
该研究提出基于骨骼的零样本时空动作定位方法，通过弱监督视觉-语言预训练与场景混合判别对比学习，解决标注限制问题，在四个公开数据集上验证了有效性。
2026-08-27 cs.CV
Recognition of Abnormal Events in Surveillance Videos using Weakly Supervised Dual-Encoder Models
Afeka College of Engineering（阿法卡工程学院）；Ben-Gurion University of the Negev（内盖夫本·古里安大学）
针对仅视频级监督下监控视频罕见多样异常检测的挑战，提出结合卷积与Transformer表示的双骨干框架，在UCF-Crime数据集上取得90.7%的AUC性能。
2025-11-17 cs.CV
Bootstrapping Weakly Supervised Segmentation-free Word Spotting through HMM-based Alignment
Uppsala University（乌普萨拉大学）
最近在手写文档中的单词识别方面的工作取得了令人印象深刻的结果。这一进展在很大程度上是由监督学习系统取得的，这些系统依赖于手动注释的数据，使得部署到新的集合是一项重大的工作。在本文中，我们提出了一种方法，利用没有限界框注释的成绩单训练无分割查询的字符串单词定位模型，给出了一个部分训练的模型。这是通过基于隐马尔可夫模型的无训练对齐过程完成的。该过程在单词区域建议和transmittance之间创建尝试性映射，以自动创建附加的弱注释训练数据，而不选择任何单个对齐可能性作为正确的对齐。当只使用1%到7%的完全注释的训练集进行部分收敛时，我们会自动注释剩余的训练数据并使用它成功地进行训练。在我们所有的数据集上，我们最终训练的模型的性能与使用完整训练集作为基础事实训练的模型的性能相差几个mAP%。我们相信，这将是一个显着的进步，更广泛地使用单词识别，因为数字转录数据将已经存在的部分，许多收藏的兴趣。
2020-03-24 cs.CV
Attention Awareness Multiple Instance Neural Network
Wuhan University（武汉大学）
多示例学习适用于许多弱注释数据的模式识别任务。人工神经网络和多实例学习的结合提供了一种端到端的解决方案，并得到了广泛的应用。然而，挑战仍然是双重的。首先，目前的MIL池操作符通常是预定义的，并且缺乏挖掘关键实例的灵活性。其次，在当前的解决方案中，袋级表示可能是不准确的或不可访问的。为此，本文提出了一个注意感知多实例神经网络框架。它包括一个实例级分类器，一个可训练的MIL池操作员的基础上空间的注意和袋级分类层。一系列模式识别任务的详尽实验表明，我们的框架优于许多国家的最先进的MIL方法，并验证了我们提出的注意力MIL池运营商的有效性。
2022-05-27 cs.CV
Focusing On Targets For Improving Weakly Supervised Visual Grounding
Toshiba Corporation（东芝公司）
弱监督视觉基础旨在预测图像中对应于特定语言查询的区域，其中目标对象和查询之间的映射在训练阶段是未知的。最先进的方法使用视觉语言预训练模型从Grad-CAM中获取热图，Grad-CAM将每个查询词与图像区域相匹配，并使用组合的热图对区域建议进行排名。在本文中，我们提出了两个简单而有效的方法来改善这种方法。首先，我们提出了一个目标感知裁剪方法，鼓励模型学习对象和场景级语义表示。其次，我们应用依存句法分析来提取与目标对象相关的词，然后在热图组合中强调这些词。我们的方法在RefCOCO、RefCOCO+和RefCOCOg上明显优于以前的SOTA方法。
2023-02-22 cs.CV
Weakly Supervised Bilinear Attention Network for Fine-Grained Visual Classification
University of Chinese Academy of Sciences（中国科学院大学）；Microsoft Research Asia（微软亚洲研究院）
对于细粒度的视觉分类，对象通常具有相似的几何结构，但呈现不同的局部外观和不同的姿态。因此，定位和提取区分性的局部特征在准确的类别预测中起着至关重要的作用。现有的工作要么关注有限的对象部分，要么训练孤立的网络进行定位和分类。在本文中，我们提出了弱监督双线性注意力网络（WS-BAN）来解决这些问题。该算法通过联合生成一组注意力图（region-of-interest maps）来表示物体各部分的位置，并通过双线性注意力池（BAP）提取连续的部分特征。此外，我们提出了注意正则化和注意丢弃来弱监督注意图的生成过程。WS-BAN可以进行端到端的训练，并在多个细粒度分类数据集上实现了最先进的性能，包括CUB-200-2011，Stanford Car和FGVC-Aircraft，这证明了它的有效性。
2019-02-28 cs.CV
A Weakly Supervised Adaptive DenseNet for Classifying Thoracic Diseases and Identifying Abnormalities
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）
我们提出了一个弱监督的深度学习模型，用于对胸部疾病进行分类并识别胸部X线摄影中的异常。在这项工作中，我们的模型不是从具有区域级注释的医学成像数据中学习，而是仅在具有图像级标签的成像数据上进行训练以分类疾病，并且能够同时识别异常图像区域。我们的模型由一个自定义的池结构和一个自适应的DenseNet前端组成，它可以有效地识别可能的疾病特征，用于分类和定位任务。我们的方法已经在公开可用的ChestX-ray 14数据集上进行了验证。实验结果表明，在ChestX-ray 14数据集上，我们的分类和定位预测性能比以前的模型有了显着的改善。总之，我们的网络可以产生准确的疾病分类和定位，这可能有助于临床决策。
2018-11-05 cs.CV
Knowledge Aided Consistency for Weakly Supervised Phrase Grounding
University of Southern California（南加利福尼亚大学）
给定自然语言查询，短语基础系统旨在定位图像中提到的对象。在弱监督场景中，图像区域之间的映射（即，建议）和语言在培训集中不可用。先前的方法通过训练基础系统来解决这个缺陷，该基础系统通过学习从预测的建议重构输入查询中包含的语言信息来训练。然而，优化仅仅是由语言模态的重建损失，并忽略了丰富的视觉信息中包含的建议和有用的线索，从外部知识。在本文中，我们探讨了视觉和语言形式的一致性，并利用互补的外部知识，以促进弱监督接地。提出了一种新的知识辅助一致性网络（KAC网），通过重构输入查询和建议的信息进行优化。为了利用视觉特征中包含的互补知识，我们引入了基于知识的池（KBP）门，专注于查询相关的建议。实验表明，KAC网在两个流行的数据集上提供了显着的改进。
2018-03-11 cs.CV
Bag of Visual Words and Fusion Methods for Action Recognition: Comprehensive Study and Good Practice
Southwest Jiaotong University（西南交通大学）；The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
基于视频的动作识别是计算机视觉研究中的重要课题之一。具有局部特征的视觉词袋模型（BoVW）已经成为最流行的方法，并在几个现实数据集上获得了最先进的性能，如HMDB 51，UCF 50和UCF 101。BoVW是从一组局部特征构造全局表示的通用流水线，其主要由五个步骤组成：（i）特征提取，（ii）特征预处理，（iii）码本生成，（iv）特征编码，以及（v）池化和归一化。在不同的场景下，每个步骤都独立地进行了许多努力，它们对动作识别的影响仍然是未知的。同时，视频数据表现出不同的视觉模式，如静态外观和运动动态。通常提取多个描述符来表示这些不同的视图。许多特征融合方法已经在其他领域得到了发展，但它们对动作识别的影响却从未被研究过。本文旨在全面研究BoVW中的所有步骤和不同的融合方法，并揭示一些良好的实践，以产生最先进的动作识别系统。具体而言，我们探索了两种局部特征，十种编码方法，八种池化和归一化策略，以及三种融合方法。我们的结论是，每一步都是至关重要的，有助于最终的识别率。此外，基于我们的全面研究，我们提出了一个简单而有效的表示，称为混合表示，通过探索不同的BoVW框架和本地描述符的互补性。使用这种表示法，我们获得了三个具有挑战性的数据集的最新技术水平：HMDB 51（61.1%），UCF 50（92.3%）和UCF 101（87.9%）。
2014-05-18 cs.CV
Weakly supervised 3D Reconstruction with Adversarial Constraint
Stanford University（斯坦福大学）；NEC Laboratories America, Inc.（NEC美国实验室公司）
通过使用深度神经网络，监督3D重建已经取得了重大进展。然而，这种性能的提高需要2D/3D数据的大规模注释。在本文中，我们探索廉价的2D监督作为昂贵的3D CAD注释的替代方案。具体来说，我们使用前景遮罩作为弱监督，通过光线跟踪池层，使透视投影和反向传播。此外，由于从掩模的3D重建是一个不适定的问题，我们建议将3D重建约束到匹配掩模观测的未标记的真实3D形状的流形。我们证明了学习这个约束优化问题的对数障碍解决方案类似于GAN目标，从而可以使用现有的工具来训练GANs。我们评估和分析各种数据集上的合成和真实图像的单视图和多视图重建的流形约束重建。
2017-10-04 cs.CV
High resolution weakly supervised localization architectures for medical images
在医学成像中，类激活图（CAM）通过指向感兴趣区域作为主要的解释工具。由于来自CAM的定位精度受到模型特征图的分辨率的约束，因此可以预期通常具有大特征图的分割模型将产生更准确的CAM。然而，我们发现，由于任务不匹配，情况并非如此。虽然分割模型是为具有像素级注释的数据集开发的，但在大多数医学成像数据集中仅图像级注释可用。我们的实验表明，全局平均池（GAP）和组归一化是恶化CAM定位精度的罪魁祸首。为了解决这个问题，我们提出了金字塔定位网络（PYLON），这是一种高精度弱监督定位模型，在NIH的胸部X射线14数据集上实现了0.62的平均点定位精度，而传统CAM模型的平均点定位精度为0.45。源代码和扩展结果可在https://github.com/cmb-chula/pylon上获取。
2020-10-22 cs.CV
HWNet v2: An Efficient Word Image Representation for Handwritten Documents
IIIT Hyderabad（印度理工学院海得拉巴分校）；CVIT, IIIT Hyderabad（印度理工学院海得拉巴分校计算机视觉与智能技术实验室(CVIT, IIIT Hyderabad)）
我们提出了一个框架，学习一个有效的整体表示手写文字图像。所提出的方法使用具有传统分类损失的深度卷积神经网络。我们工作的主要优势在于：（i）有效使用合成数据来预训练深度网络，（ii）具有感兴趣区域池的ResNet-34架构的适应版本（称为HWNet v2），其学习可变大小的单词图像的区别特征，以及（iii）具有模仿手写的自然过程的多个尺度和失真的训练数据的真实增强。我们进一步研究了迁移学习的过程，以减少合成域和真实域之间的域差距，并使用文献中提出的可视化技术分析了在网络的不同层学习的不变性。我们的表示导致了最先进的单词识别性能的标准手写数据集和历史手稿在不同的语言与最小的表示大小。在具有挑战性的IAM数据集上，我们的方法首先报告了大约0.90的mAP，用于单词识别，其表示大小仅为32维。此外，我们还提出了在英语和印度语脚本的打印文档数据集上的结果，这验证了所提出的学习单词图像表示的框架的通用性。
2019-03-19 cs.CV
Weakly Supervised Deep Learning for Thoracic Disease Classification and Localization on Chest X-rays
The University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Tencent AI Lab（腾讯人工智能实验室）
胸部X光检查是临床实践中最常用和最经济实惠的放射学检查之一。虽然在胸部X射线上检测胸部疾病对于机器智能来说仍然是一项具有挑战性的任务，这是由于1）来自不同胸部疾病患者的X射线上病变区域的高度变化的外观，以及2）放射科医生缺乏用于模型训练的准确像素级注释。现有的机器学习方法无法应对胸部疾病通常发生在局部疾病特定区域的挑战。在这篇文章中，我们提出了一个弱监督的深度学习框架，配备了挤压和激励块，多地图传输和最大最小池，用于分类胸部疾病以及定位可疑病变区域。在ChestX-ray 14数据集上进行了全面的实验和讨论。数值和可视化结果都证明了所提出的模型的有效性和其对国家的最先进的管道更好的性能。
2018-07-16 cs.CV
Weakly Supervised Medical Diagnosis and Localization from Multiple Resolutions
Enlitic Inc.（恩利蒂克公司）
诊断成像通常需要同时识别多种不同大小和外观的发现。除了所述发现的全局指示之外，当增强临床工作流程时，定位信息的预测和显示提高了对结果的信任和理解。医学训练数据很少包括超过全球图像级的标签分割是耗时和昂贵的collect. We介绍了一种方法来管理这些实际的约束，通过应用一种新的架构，学习在多个分辨率，同时生成显着性图与弱监督。此外，我们使用可学习的下界自适应（LSE-LBA）来参数化Log-Sum-Exp池函数，以构建锐度先验，并仅使用图像级标签更好地处理不同大小的局部异常。应用这种方法来解释胸部X光片，我们在NIH的CXR 14数据集中设置了9个异常的最新技术水平，同时生成了迄今为止分辨率最高的显着性图。
2018-03-21 cs.CV
Weakly Supervised Attention Learning for Textual Phrases Grounding
Arizona State University（亚利桑那州立大学）；University of California, Irvine（加州大学欧文分校）
视觉内容中的文本短语接地是一个有意义但具有挑战性的问题，具有各种潜在的应用，如图像-文本推理或文本驱动的多媒体交互。现有的方法大多采用监督学习机制，在训练过程中需要像素级的地面实况。然而，细粒度水平地面实况注释是相当耗时的，并且严重缩小了更一般应用的范围。在这个扩展的摘要中，我们探索了使用弱监督注意力学习机制从自上而下的信号（以单热标签或自然语言的形式）灵活定位图像区域的方法。在我们的模型中，使用了两种类型的模块：用于视觉特征捕获的骨干模块和基于正则化双线性池生成地图的注意模块。我们以端到端的方式构建模型，通过鼓励空间注意地图转移并专注于由自上而下信号最匹配的视觉特征组成的区域来训练模型。我们展示了初步的，但有希望的结果与多标签MNIST数据合成的测试平台。
2018-05-01 cs.CV
Weakly-Supervised Localization and Classification of Proximal Femur Fractures
TU Munich（慕尼黑工业大学）；Universitat Pompeu Fabra（庞培法布拉大学）；Klinikum rechts der Isar（伊萨尔河右岸医院）；Ludwig Maximilian University（路德维希-马克西米利安大学）；CNRS（法国国家科学研究中心）；Ecole Centrale Nantes（南特中央理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
在本文中，我们的目标是骨折分类的问题，从临床X射线图像走向一个自动化的计算机辅助诊断（CAD）系统。虽然主要是处理一个图像分类问题，我们认为，定位图像中的骨折是至关重要的，使良好的类预测。因此，我们提出并深入分析了几种方案，同时骨折定位和分类。我们表明，使用辅助定位任务，在一般情况下，提高了分类性能。此外，由于弱监督深度学习方法的最新进展，可以避免对额外定位注释的需要。在这些方法中，我们研究和适应空间Transformers（ST），自迁移学习（STL），并从全局池层的本地化。我们提供了一个详细的定量和定性验证数据集的1347股骨骨折的图像和报告的高准确性方面的专家间的相关性值在文献中报道。我们的研究表明，i）病变定位改善了分类结果，ii）弱监督方法改善了基线分类，而没有任何额外的成本，iii）STL引导了特征激活并提高了性能。我们计划让数据集和代码都可用。
2018-09-27 cs.CV
Contrastive Learning for Weakly Supervised Phrase Grounding
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA（英伟达）；Bar Ilan University（巴伊兰大学）
短语基础，将图像区域与字幕词相关联的问题，是视觉语言任务的重要组成部分。我们表明，短语接地可以通过优化字区域的注意，以最大限度地提高图像和字幕词之间的互信息的下限。给定成对的图像和字幕，我们最大限度地提高了注意力加权区域和相应字幕中的单词的兼容性，相比于非对应的图像和字幕对。其核心思想是通过语言模型指导的词替换来构造有效的负面字幕。与来自训练数据的随机采样负数相比，使用我们的负数进行训练会在准确性方面产生$\sim10\%$绝对增益。我们在COCO-Captions上训练的弱监督短语接地模型显示了$5.7\%$的健康增益，以在Flickr 30 K Entities基准上实现$76.7\%$准确性。
2020-08-05 cs.CL cs.CV cs.LG
Cube Padding for Weakly-Supervised Saliency Prediction in 360° Videos
National Tsing Hua University（国立清华大学）；Taiwan AI Labs（台湾人工智能实验室）；Academia Sinica（中央研究院）
360°视频中的自动显著性预测对于视点引导应用（例如，Facebook 360指南）。我们提出了一个时空网络，它是（1）弱监督训练的，（2）为360°观看范围量身定制的。请注意，大多数现有方法的可扩展性较低，因为它们依赖于带注释的显着图进行训练。最重要的是，它们将360°球面转换为2D图像（例如，单个等矩形图像或多个分离的正常视场（NFoV）图像），这引入了失真和图像边界。相比之下，我们提出了一个简单而有效的立方体填充（CP）技术如下。首先，我们使用透视投影在立方体的六个面上绘制360°视图。因此，它引入的失真非常小。然后，我们连接所有六个面，同时利用立方体上的面之间的连接性进行图像填充（即，Cube Padding）在卷积、池化、卷积LSTM层中的应用。以这种方式，CP不引入图像边界，同时适用于几乎所有卷积神经网络（CNN）结构。为了评估我们的方法，我们提出了Wild-360，一个新的360°视频显着性数据集，包含具有显着性热图注释的挑战性视频。在实验中，我们的方法优于基线方法在速度和质量。
2018-06-04 cs.CV
Weakly Supervised Visual Question Answer Generation
AlphaICs；KLE Technological University（KLE理工大学）；IIIT Hyderabad（海得拉巴国际信息技术学院）
提出一种弱监督视觉问答生成方法，通过依存句法分析和有序树遍历从图像和标题合成问答对并微调ViLBERT模型，在VQA数据集上BLEU分数显著优于SOTA。
2023-09-11 cs.CV
Top-Down Framework for Weakly-supervised Grounded Image Captioning
School of Electrical and Electronic Engineering, Nanyang Technology University（南洋理工大学电气与电子工程学院）；Department of Electrical and Electronic Engineering, The Hong Kong Polytechnic University（香港理工大学电气与电子工程系）
针对两阶段WSGIC依赖独立候选框、忽视物体关系的问题，提出单阶段自上而下框架，通过RGM、VLAMs和关系语义模块实现描述生成与定位，并在两个数据集上达到SOTA定位性能。
2024-03-02 cs.CV
Cytoarchitecture in Words: Weakly Supervised Vision-Language Modeling for Human Brain Microscopy
Institute of Neuroscience and Medicine (INM-1), Research Centre Jülich（神经科学与医学研究所（INM-1），焦耳研究中心）；Helmholtz AI, Research Centre Jülich（海德堡人工智能研究所，焦耳研究中心）；Institute for Brain Research, University Hospital Düsseldorf（脑研究所在杜塞尔多夫大学医院）；Computer Vision, Institute for Computational Visualistics, University of Koblenz（计算机视觉，计算视觉研究所，科布伦茨大学）
本研究提出了一种弱监督视觉-语言建模方法，通过标签介导生成人类大脑显微镜的区域描述，实现了在缺乏配对标注情况下的自然语言生成。
2026-08-19 cs.CV
Learning Visual Features from Large Weakly Supervised Data
Facebook AI Research（脸书人工智能研究院）
在大型监督数据集上训练的卷积网络产生的视觉特征构成了许多计算机视觉问题的基础。这些视觉特征的进一步改进可能需要更大的手动标记数据集，这严重限制了取得进展的速度。在本文中，我们探讨了利用大量弱标记图像集合来学习良好视觉特征的潜力。我们在包含1亿张Flickr照片和字幕的数据集上训练卷积网络，并表明这些网络产生的功能在一系列视觉问题上表现良好。我们还表明，网络适当地捕捉单词相似性，并学习不同语言之间的对应关系。
2015-11-06 cs.CV
SoT: Delving Deeper into Classification Head for Transformer
Dalian University of Technology（大连理工大学）；Tianjin University（天津大学）；MEGVII Technology（旷视科技）
Transformer模型不仅在自然语言处理（NLP）中取得了成功，而且在计算机视觉（CV）中也表现出很高的潜力。尽管取得了很大的进步，但大多数工作只关注体系结构的改进，而对分类头的关注很少。多年来，Transformer模型完全基于分类标记来构建最终的分类器，而没有显式地利用高级单词标记。在本文中，我们提出了一种新的Transformer模型称为二阶Transformer（SoT），同时利用分类令牌和单词令牌的分类器。具体来说，我们经验性地揭示，高级别的单词令牌包含丰富的信息，其本身是非常称职的分类器，而且，是补充的分类令牌。为了有效地利用这些丰富的信息，我们提出了具有奇异值功率归一化的多头全局互协方差池化，其具有相似的理念，因此与Transformer块兼容，比常用的池化方法更好。然后，我们全面研究了如何显式地将词标记与分类标记相结合，以构建最终的分类头。对于CV任务，我们的SoT在ImageNet和ImagNet-A等具有挑战性的基准测试上显著改进了最先进的视觉Transformer。对于NLP任务，通过基于预训练的语言Transformers（包括GPT和BERT）进行微调，我们的SoT大大提高了CoLA和RTE等广泛使用的任务的性能。代码将在https://peihuali.org/SoT上提供
2021-12-18 cs.AI cs.CV cs.LG
Cracking the neural code for word recognition in convolutional neural networks
通过训练深度神经网络识别单词并分析特化单元，揭示了类似“空间二元组”的神经编码机制，该机制编码字母身份与位置，实现不变的单词识别，并为阅读行为提供预测。
2024-07-18 cs.CV q-bio.NC
Sub-word Level Lip Reading With Visual Attention
University of Oxford（牛津大学）
本文的目标是学习强大的唇读模型，可以识别无声视频中的语音。大多数现有的作品处理开放集的视觉语音识别问题，通过适应现有的自动语音识别技术的顶部平凡汇集的视觉功能。相反，在本文中，我们专注于唇读中遇到的独特挑战，并提出量身定制的解决方案。为此，我们做出了以下贡献：（1）我们提出了一种基于注意力的池化机制来聚合视觉语音表示;（2）我们首次使用子词单元进行唇读，并表明这使我们能够更好地对任务的模糊性进行建模;（3）我们提出了一种在唇读网络上训练的视觉语音检测（VSD）模型。根据上述内容，我们在公共数据集上训练时，在具有挑战性的LRS 2和LRS 3基准上获得了最先进的结果，甚至通过使用数量级更少的数据，超过了在大规模工业数据集上训练的模型。我们最好的模型在LRS 2数据集上实现了22.6%的单词出错率，这是唇读模型前所未有的性能，大大减少了唇读和自动语音识别之间的性能差距。此外，在AVA-ActiveSpeaker基准测试中，我们的VSD模型超过了所有仅视觉基准，甚至优于最近的几种视听方法。
2021-12-03 cs.CL cs.CV
Rethinking Weakly-supervised Video Temporal Grounding From a Game Perspective
Hubei Key Laboratory of Distributed System Security（湖北分布式系统安全重点实验室）；Hubei Engineering Research Center on Big Data Security（大数据安全工程研究中心）；School of Cyber Science and Engineering（网络安全科学与工程学院）；Huazhong University of Science and Technology（华中科技大学）；University of Central Florida（佛罗里达中央大学）；Zhejiang Gongshang University（浙江工商大学）；Guangzhou University（广州大学）；The Chinese University of Hong Kong（香港中文大学）；Peking University（北京大学）
本文从博弈论视角出发，通过多元合作博弈建模帧与词的不确定对应关系，实现多级跨模态交互，从而在弱监督下提升视频时间定位的准确性。
2026-05-26 cs.AI cs.CV
Unified Multisensory Perception: Weakly-Supervised Audio-Visual Video Parsing
University of Rochester（罗切斯特大学）；Adobe Research（Adobe研究院）
在本文中，我们引入了一个新的问题，命名为视听视频解析，其目的是将视频解析成时间事件片段，并将它们标记为可听，可见或两者兼而有之。这样的问题对于完整理解视频中描绘的场景至关重要。为了便于探索，我们收集了一个看，听，和解析（LLP）数据集调查视听视频解析在弱监督的方式。这个任务可以自然地表述为多模态多实例学习（MMIL）问题。具体而言，我们提出了一种新的混合注意力网络，同时探索单峰和跨模态的时间背景。我们开发了一个细心的MMIL池化方法，从不同的时间范围和方式自适应地探索有用的音频和视频内容。此外，我们发现和减轻模态偏见和嘈杂的标签问题与个人指导的学习机制和标签平滑技术，分别。实验结果表明，具有挑战性的视听视频解析，即使只有视频级的弱标签可以实现。我们提出的框架可以有效地利用单模态和跨模态的时间上下文，并减轻模态偏见和嘈杂的标签问题。
2020-07-21 cs.CV cs.MM cs.SD
Weakly-Supervised Action Localization and Action Recognition using Global-Local Attention of 3D CNN
Brawijaya University（布拉维贾亚大学）；Nagasaki University（长崎大学）；Hiroshima University（广岛大学）
3D卷积神经网络（3D CNN）捕获关于3D数据（诸如视频序列）的空间和时间信息。然而，由于卷积和池化机制，信息丢失似乎不可避免。为了改善3D CNN中的视觉解释和分类，我们提出了两种方法; i）使用训练的3DResNext网络聚合逐层全局到局部（全局-局部）离散梯度，以及ii）实现注意力门控网络以提高动作识别的准确性。所提出的方法旨在通过视觉归因、弱监督动作定位和动作识别来显示3D CNN中称为全局-局部注意力的每一层的有用性。首先，3DResNext被训练并应用于使用关于最大预测类的反向传播的动作分类。然后对每个层的梯度和激活进行上采样。之后，聚合被用来产生更细微的注意力，指出预测类的输入视频中最关键的部分。我们使用轮廓阈值的最终注意力的最终定位。我们通过3DCam使用细粒度的视觉解释来评估修剪视频中的空间和时间动作定位。实验结果表明，该方法产生信息丰富的视觉解释和歧视性的注意。此外，通过在每一层上的注意力门控动作识别产生比基线模型更好的分类结果。
2022-08-16 cs.AI cs.CV cs.NE
