PBRnet: Pyramidal Bounding Box Refinement to Improve Object Localization Accuracy
Key Laboratory of Intelligent Information Processing, Advanced Computer Research Center, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所智能信息处理重点实验室（先进计算机研究中心））；School of Computer and Control Engineering, University of Chinese Academy of Sciences (UCAS)（中国科学院大学计算机与控制工程学院）；Department of Radiology, Suining Central Hospital（遂宁市中心医院放射科）；Peking University（北京大学）
近年来发展起来的目标检测器都是基于粗到细的框架，它包含了从粗到细的分类和回归过程，并逐渐获得更精确的目标检测。多分辨率模型，如特征金字塔网络（FPN），集成了不同分辨率的信息，有效地提高了性能。先前的研究也表明，定位可以进一步改善：1）使用细粒度的信息，这是更多的平移变量; 2）细化局部区域，这是更侧重于局部边界信息。在此基础上，设计了一种新的边界细化结构，将粗到细的框架与特征金字塔结构相结合，称为金字塔限界框细化网络（Pyramidal Bounding Box Refinement Network，PBRnet），该网络对目标的边界区域进行参数化，并在细化预测边界框时利用较低层次的特征映射来提取更精细的局部信息。在MS-COCO数据集上进行了大量的实验。当添加到FPN或Libra R-CNN时，PBRnet带来了大约3个点的$mAP$的显著性能增益。此外，通过将Cascade R-CNN视为粗到细检测器并将其定位分支替换为PBRnet的回归器，它将性能提高了1.5 $mAP$，从而使总性能提高了高达5个$mAP$点。
2020-03-10 cs.CV
Evaluation for Weakly Supervised Object Localization: Protocol, Metrics, and Datasets
Sogang University（西江大学）；NAVER AI Lab（NAVER人工智能实验室）；Yonsei University（延世大学）；University of Tuebingen（蒂宾根大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
弱监督对象定位（WSOL）在过去几年中得到了普及，因为它承诺只使用图像级标签训练定位模型。自从类激活映射（CAM）的开创性WSOL工作以来，该领域一直专注于如何扩展注意力区域以更广泛地覆盖对象并更好地定位它们。然而，这些策略依赖于完整的本地化监督来验证超参数和模型选择，这在WSOL设置下原则上是禁止的。在本文中，我们认为，WSOL任务是不适定的，只有图像级标签，并提出了一个新的评估协议，其中充分的监督是有限的，只有一个小的举行了集不重叠的测试集。我们观察到，根据我们的协议，五个最新的WSOL方法没有取得重大改进CAM基线。此外，我们报告说，现有的WSOL方法还没有达到少样本学习基线，在验证时的全监督用于模型训练。根据我们的研究结果，我们讨论了WSOL的未来发展方向。
2021-12-07 cs.CV
Coarse-To-Fine Visual Localization Using Semantic Compact Map
Institute of Robotics, Beihang University (BUAA)（北京航空航天大学机器人研究所）；Megvii Inc. (Face++)（旷视科技有限公司（Face++））；Hong Kong University of Science and Technology（香港科技大学）；Beijing Evolver Robotics Technology Co., Ltd.（北京进化者机器人科技有限公司）
城市车辆的鲁棒视觉定位仍然具有挑战性和未解决的问题。由于计算效率和内存容量的限制，使得大规模应用变得困难。由于语义信息作为一个稳定和紧凑的表示环境，我们提出了一个由粗到精的定位系统的基础上语义紧凑的地图。极点类对象存储在紧凑的地图，然后从语义分割的图像中提取的意见。定位由粒子滤波器执行，然后由姿态对准模块解耦平移和旋转以实现更好的精度。我们评估我们的系统在合成和现实的数据集，并比较它与两个基线，一个国家的最先进的语义特征为基础的系统，和传统的SIFT功能为基础的系统。实验表明，即使是一个非常小的地图，如一个10 KB的地图为3.7公里长的轨迹，我们的系统提供了一个相当的精度与基线。
2020-10-13 cs.CV cs.RO
Sketchy Bounding-box Supervision for 3D Instance Segmentation
PCA Lab, College of Computer Science, Nankai University（南开大学计算机科学学院PCA实验室）；School of Electronics and Information, Northwestern Polytechnical University（西北工业大学电子与信息学院）；State Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）；School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院）
针对弱监督3D实例分割中边界框不准确的问题，提出Sketchy-3DIS框架，联合学习伪标签器和分割器，在ScanNetV2和S3DIS上达到最先进性能。
2025-05-22 cs.CV
Label Refinement Network for Coarse-to-Fine Semantic Segmentation
University of Manitoba（曼尼托巴大学）；Indiana University（印第安纳大学）
我们考虑使用深度卷积神经网络的语义图像分割的问题。我们提出了一种称为标签细化网络的新型网络架构，该网络以几种分辨率以粗到细的方式预测分割标签。粗分辨率的分割标签与卷积特征一起使用以获得更精细分辨率的分割标签。我们在网络的几个阶段定义了损失函数，以提供不同阶段的监督。我们在几个标准数据集上的实验结果表明，该模型提供了一种有效的方法来产生像素级的密集图像标记。
2017-03-01 cs.CV
L-SNet: from Region Localization to Scale Invariant Medical Image Segmentation
Tongji University（同济大学）
从粗到精模型和级联分割结构被广泛采用来解决医学图像分割中的大尺度变化问题。然而，这些方法有两个主要的局限性：第一阶段分割成为性能瓶颈;缺乏整体可区分性使得两个阶段的训练过程异步和不一致。在本文中，我们提出了一个可区分的两阶段网络架构来解决这些问题。在第一阶段，定位网络（L-Net）以检测方式定位感兴趣区域（RoIs）;在第二阶段，分割网络（S-Net）对重新校准的RoIs进行精细分割; L-Net和S-Net之间的RoI重新校准模块消除了不一致性。在公共数据集上的实验结果表明，我们的方法优于最先进的粗到细模型，计算开销可以忽略不计。
2021-02-11 cs.CV
Spatial-Aware Token for Weakly Supervised Object Localization
University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）；University of Rochester（罗切斯特大学）
本文提出空间感知令牌SAT，通过任务特定空间令牌和空间感知注意力模块缓解分类与定位的优化冲突，并设计批量面积损失与归一化损失增强弱监督，在CUB-200和ImageNet上取得领先的弱监督目标定位性能。
2023-08-09 cs.CV
Dynamic Coarse-to-Fine Learning for Oriented Tiny Object Detection
Wuhan University（武汉大学）
本文提出动态由粗到细学习方法DCFL，通过动态先验与粗细结合标签分配缓解有向微小目标检测中的失配和不平衡问题，在多个数据集上取得领先性能。
2023-04-18 cs.CV
Puzzle-CAM: Improved localization via matching partial and full features
KAIST（韩国科学技术院）；GYNetworks
弱监督语义分割（WSSS）被引入到缩小语义分割性能的差距，从像素级监督到图像级监督。最先进的方法是基于类别激活图（CAM）来生成伪标签以训练分割网络。WSSS的主要局限性在于，从使用图像分类器的CAM生成伪标签的过程主要集中在对象的最有区别的部分。为了解决这个问题，我们提出了Puzzle-CAM，这是一个最大限度地减少来自单独补丁和整个图像的特征之间差异的过程。我们的方法包括一个拼图模块和两个正则化项，以发现对象中最完整的区域。Puzzle-CAM可以使用图像级监控激活对象的整个区域，而无需额外的参数。%在实验中，Puzzle-CAM优于使用相同标签对PASCAL VOC 2012测试数据集进行监督的先前最先进的方法。在实验中，Puzzle-CAM在PASCAL VOC 2012数据集上使用相同的标签进行监督，其性能优于以前的最先进方法。与我们的实验相关的代码可在https://github.com/OFRIN/PuzzleCAM上获得。
2021-09-23 cs.AI cs.CV
Evaluating Weakly Supervised Object Localization Methods Right
Yonsei University（延世大学）；University of Tuebingen（图宾根大学）
弱监督对象定位（WSOL）在过去几年中得到了普及，因为它承诺只使用图像级标签训练定位模型。自从类激活映射（CAM）的开创性WSOL工作以来，该领域一直专注于如何扩展注意力区域以更广泛地覆盖对象并更好地定位它们。然而，这些策略依赖于完全本地化监督来验证超参数和模型选择，这在WSOL设置下原则上是禁止的。在本文中，我们认为，WSOL任务是不适定的，只有图像级标签，并提出了一个新的评估协议，其中充分的监督是有限的，只有一个小的举行了集不重叠的测试集。我们观察到，根据我们的协议，五个最新的WSOL方法没有取得重大改进CAM基线。此外，我们报告说，现有的WSOL方法还没有达到少样本学习基线，在验证时的全监督用于模型训练。根据我们的研究结果，我们讨论了WSOL的未来发展方向。
2020-04-01 cs.CV cs.LG
Referring Image Segmentation Using Text Supervision
Dalian University of Technology（大连理工大学）；City University of Hong Kong（香港城市大学）
针对现有RIS方法依赖高成本标注的问题，提出仅用文本监督的弱监督RIS框架，通过双边提示、响应图校准和伪标签生成策略训练分割网络，性能媲美全监督方法且优于现有弱监督方法。
2023-08-28 cs.CV
A Teacher-Student Framework for Semi-supervised Medical Image Segmentation From Mixed Supervision
Xiamen University（厦门大学）；Chinese PLA General Hospital（中国人民解放军总医院）；Deepwise AI Laboratory（深度智耀人工智能实验室）
基于全监督卷积网络的医学图像标准分割需要精确的密集注释。这种学习框架建立在费力的手动注释上，对专业知识的要求有限，导致高质量标签不足。为了克服这种局限性，利用大量的弱标记数据，我们放松了严格的标记要求，并开发了一个半监督学习框架的基础上，教师-学生的时尚与部分密集标记的监督和补充松散的边界盒监督，更容易获得的器官和病变分割。在大多数情况下，观察器官及其内部病变的几何关系，我们提出了一个分层的器官病变（O2 L）注意模块在教师分割器产生伪标签。然后，用手动标记和伪标记注释的组合训练学生分割器。我们进一步提出了一个定位分支，通过在深度解码器中聚合高级特征来预测器官和病变的位置，从而丰富了学生分割器的精确定位信息。我们通过消融研究在LiTS挑战数据集上验证了我们模型中的每个设计，并与最近的方法相比显示了其最先进的性能。我们证明了我们的模型对限界框的质量是鲁棒的，并且与全监督学习方法相比具有相当的性能。
2020-10-23 cs.CV
Zero-shot Natural Language Video Localization
GIST（韩国科学技术院）；UC Berkeley Vision AI Lab, AI Center, NCSOFT（加州大学伯克利分校视觉人工智能实验室、人工智能中心、NCSOFT公司）
理解视频以使用自然语言定位时刻通常需要与语言查询配对的大型昂贵的注释视频区域。为了消除标注成本，我们首次尝试以zero-shot方式训练自然语言视频定位模型。受无监督图像描述设置的启发，我们只需要随机文本语料库，未标记的视频集合和现成的对象检测器来训练模型。利用不成对的数据，我们提出了产生伪监督的候选时间区域和相应的查询语句，并开发了一个简单的NLVL模型与伪监督训练。我们的实证验证表明，所提出的伪监督方法优于几个基线方法和一些方法使用更强的监督Charades-STA和ActivityNet-Captions。
2021-08-29 cs.AI cs.CL cs.CV
Open-Ended CT Volume Segmentation with Weak Supervision from Language
Department of Electrical Engineering and Computer Science, UC Berkeley（加州大学伯克利分校电气工程与计算机科学系）；Voio；Department of Radiology and Biomedical Imaging, UC San Francisco（加州大学旧金山分校放射学与生物医学成像系）；Computational Precision Health, UC Berkeley and UC San Francisco（加州大学伯克利分校和加州大学旧金山分校计算精准健康中心）
研究基于语言弱监督训练CT扫描文本条件分割模型，通过结合体素级与切片级监督，从扫描-报告对提取信息，微调通用2D图像分割模型SAM3，在ReXGroundingCT数据集上提升了分割骰子分数。
2026-07-29 cs.CV
SG2Loc: Sequential Visual Localization on 3D Scene Graphs
ETH Zurich（苏黎世联邦理工学院）；Google（谷歌）；TU Munich（慕尼黑工业大学）；Microsoft（微软）
提出一种轻量级顺序视觉定位方法，利用紧凑的3D场景图表示环境，通过粒子滤波和语义匹配实现高效定位，显著降低存储需求。
2026-06-11 cs.CV
BoxMask: Revisiting Bounding Box Supervision for Video Object Detection
DFKI - German Research Center for Artificial Intelligence（德国人工智能研究中心）
我们提出了一种新的，简单而有效的方法来提升视频目标检测。我们观察到，以前的作品上的实例级的功能聚合，立即忽略了细化像素级的表示，导致共享相似的外观或运动特性的对象之间的混乱。为了解决这一限制，我们提出了BoxMask，它通过结合类感知的像素级信息来有效地学习判别表示。我们简单地考虑限界框级注释作为每个对象的粗略掩码来监督我们的方法。所提出的模块可以毫不费力地集成到任何基于区域的检测器中，以提高检测能力。在ImageNet VID和EPIC KITCHENS数据集上进行的大量实验表明，当我们将BoxMask模块插入到许多最新的最先进的方法中时，性能得到了一致和显著的改善。
2022-10-12 cs.CV
AutoCompass: Accurate Visual Localization on Public Maps by Learning from Weak Labels
I3A, Universidad de Zaragoza（萨拉戈萨大学I3A研究所）；Niantic Spatial（Niantic Spatial公司）；University of Oxford（牛津大学）
AutoCompass是一种基于弱标签的监督方法，通过利用原始GPS标签、GPS容差区域及SLAM/SfM获取的相对位姿，提升神经地图匹配器的视觉定位精度，在两类基准测试中均优于同类方法。
2026-09-03 cs.CV
Learning to Estimate Pose by Watching Videos
IIT Kanpur（印度理工学院坎普尔分校）
在本文中，我们提出了一种技术，用于获得粗略的姿态估计的人在图像中，不需要任何人工监督。虽然一般的无监督技术将无法估计人体姿势，我们建议，可以通过观察人体运动在多帧中获得足够的信息，粗略的姿势。具体来说，我们认为通过视频获得代理监督作为一种手段，用于获得基于运动的分组线索。我们使用检测人员的基本对象检测器来补充该方法。仅使用这些组件，我们就可以获得对人体姿势的粗略估计。利用这些样本进行训练，我们训练了一个完全的卷积神经网络（FCNN）[20]，以获得准确的基于密集斑点的姿势估计。我们表明，所获得的结果接近地面实况，并且接近使用完全监督的卷积姿态估计方法[31]在具有挑战性的数据集[15]上评估的结果。这通过使用基于姿势的动作识别方法[5]评估所获得的姿势来进一步验证。在这种情况下，我们优于使用基线方法获得的结果，该基线方法使用完全监督的姿势估计算法，并且与使用具有完全监督的卷积姿势估计创建的新基线具有竞争力。
2017-04-13 cs.CV
Bridging the Gap between Classification and Localization for Weakly Supervised Object Localization
Seoul National University（首尔国立大学）；LG AI Research（LG人工智能研究院）
弱监督目标定位的目的是在给定图像中找到一个目标对象区域，只有弱监督，如图像级标签。大多数现有的方法使用类激活图（CAM）来生成定位图;然而，CAM仅识别目标对象的最有区别的部分，而不是整个对象区域。在这项工作中，我们根据输入特征和特定于类别的权重之间的方向不对准来发现分类和定位之间的差距。我们证明，错位抑制CAM的激活，在地区是歧视性的，但属于目标对象。为了弥补这一差距，我们提出了一种方法来调整特征方向与类特定的权重。该方法在CUB-200-2011和ImageNet-1 K基准测试中实现了最先进的定位性能。
2022-04-01 cs.CV
MixSup: Mixed-grained Supervision for Label-efficient LiDAR-based 3D Object Detection
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对基于LiDAR的三维目标检测标签效率问题，提出混合粒度监督范式MixSup，用粗聚类标签学语义、少量框标签学几何，搭配自动粗标注工具PointSAM，仅用10%框标注即可达到全监督性能的97.31%。
2024-01-29 cs.CV cs.RO
LoD-Loc v2: Aerial Visual Localization over Low Level-of-Detail City Models using Explicit Silhouette Alignment
National University of Defense Technology（国防科技大学）；Westlake University（西湖大学）
LoD-Loc v2 提出基于显式轮廓对齐的由粗到精定位方法，首次在低细节层次城市模型上实现无人机空中视觉定位，并发布相关数据集，性能大幅超越现有基线。
2025-07-01 cs.CV
Dense Structural Priors for Sparse Functional Landmark Localization in Surgical Videos
Johns Hopkins University（约翰霍普金斯大学）
提出利用SAM 3作为结构先验，通过零样本点提示掩码和轻量级精炼框架，在无像素级标注下实现手术视频中功能标志点定位，F1达72.4%（尖端）和58.0%（锚点）。
2026-08-25 cs.CV
Railroad is not a Train: Saliency as Pseudo-pixel Supervision for Weakly Supervised Semantic Segmentation
Yonsei University（延世大学）；Sungkyunkwan University（成均馆大学）
现有的弱监督语义分割（WSSS）研究中使用图像级弱监督有几个局限性：稀疏的对象覆盖，不准确的对象边界，和来自非目标对象的共现像素。为了克服这些挑战，我们提出了一种新的框架，即显式伪像素监督（EPS），它通过结合两个弱监督从像素级反馈中学习;图像级标签通过本地化映射提供对象身份，显着性映射来自现成的显着性检测模型提供了丰富的边界。我们设计了一个联合训练策略，充分利用两者之间的信息互补关系。我们的方法可以获得准确的对象边界和丢弃共现像素，从而显着提高伪掩模的质量。实验结果表明，该方法通过解决WSSS的关键挑战，显著优于现有方法，并在PASCAL VOC 2012和MS COCO 2014数据集上实现了新的最先进性能。
2021-05-19 cs.CV
Evaluating Supervision Levels Trade-Offs for Infrared-Based People Counting
ETS Montreal（蒙特利尔理工学院）；LIVIA（LIVIA实验室）
本文探索了较弱监督级别对基于红外图像的深度人员计数架构性能的影响，发现CNN图像级模型在性能上与YOLO检测器等相当，且帧率更高、参数量相近，有效降低了标注成本。
2023-11-20 cs.AI cs.CV cs.LG
LocTex: Learning Data-Efficient Visual Representations from Localized Textual Supervision
MIT（麻省理工学院）；Toyota Research Institute（丰田研究所）
诸如目标检测和语义/实例分割之类的计算机视觉任务依赖于对大型训练数据集进行细致的注释。在本文中，我们提出了LocTex，它利用了低成本的本地化文本注释（即，字幕和同步的鼠标悬停手势）以减少注释工作。我们在图像和字幕之间引入了一个对比预训练框架，并建议用渲染的鼠标轨迹来监督跨模态注意力图，以提供粗略的定位信号。我们学习的视觉特征捕获了丰富的语义（来自自由形式的标题）和准确的定位（来自鼠标轨迹），当转移到各种下游视觉任务时非常有效。与ImageNet监督预训练相比，LocTex可以将预训练数据集的大小减少10倍或将目标数据集减少2倍，同时在COCO实例分割上实现相当甚至更高的性能。当提供相同数量的注释时，LocTex在PASCAL VOC图像分类任务上的准确率比以前最先进的“视觉+语言”预训练方法高出约4%。
2021-08-26 cs.CL cs.CV
Improving Few-Shot Part Segmentation using Coarse Supervision
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
训练深度网络进行零件分割的一个重要瓶颈是获得详细注释的成本。我们提出了一个框架，利用粗糙的标签，如图形地面掩模和关键点的位置，是现成的某些类别，以改善部分分割模型。一个关键的挑战是，这些注释是为不同的任务收集的，具有不同的标签样式，并且不能容易地映射到零件标签。为此，我们建议共同学习标签样式和零件分割模型之间的依赖关系，使我们能够利用来自不同标签的监督。为了评估我们的方法，我们开发了一个基准的加州理工大学-加州大学圣地亚哥分校的鸟类和飞行器数据集。我们的方法优于基于多任务学习、半监督学习和竞争方法的基线，这些方法依赖于手动设计的损失函数来利用稀疏监督。
2022-07-27 cs.CV
A Coarse to Fine Framework for Object Detection in High Resolution Image
Northwestern Polytechnical University（西北工业大学）
目标检测是计算机视觉中的一个基本问题，其目的是对图像中的目标进行定位和分类。虽然目前的设备可以很容易地获得非常高分辨率的图像，但现有的目标检测方法很少考虑检测高分辨率图像中的微小目标或大尺度方差问题。本文介绍了一种简单而有效的方法，提高了目标检测的准确性，特别是对小目标和大规模变化的场景，同时减少了高分辨率图像的计算成本。受观察到的启发，如果图像被适当地下采样，则整体检测精度会降低，但召回率不会显着降低。此外，即使使用轻量级检测器，也可以通过输入高分辨率图像来更好地检测小物体。我们提出了一个基于聚类的从粗到精的目标检测框架，以提高检测小目标的性能，同时确保高分辨率图像中大目标的准确性。第一阶段对下采样后的图像进行粗检测，对高分辨率图像进行轻量化检测器的小目标中心定位，然后根据粗检测和中心定位结果得到基于聚类区域生成方法的图像碎片，并将碎片送入第二阶段检测器进行细检测。最后，我们合并粗检测和精检测结果。该方法充分利用了目标的稀疏性和高分辨率图像中的信息，从而提高了检测的效率。实验结果表明，我们提出的方法取得了良好的性能相比，其他国家的最先进的检测器。
2023-03-02 cs.AI cs.CV
A Coarse-to-Fine Instance Segmentation Network with Learning Boundary Representation
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Tsinghua University（清华大学）；Tencent（腾讯）
基于边界的实例分割因其高效性而备受关注。然而，现有的方法遭受的困难，在长距离回归。在本文中，我们提出了一个由粗到细的模块来解决这个问题。在粗略阶段生成近似边界点，然后对这些点的特征进行采样并馈送到精细回归器以进行精细预测。它是端到端可训练的，因为差分采样操作在模块中得到了很好的支持。此外，我们设计了一个整体的边界感知分支，并引入实例不可知的监督，以协助回归。在ResNet-101的支持下，该方法在COCO数据集上进行了单尺度训练和测试，获得了31.7%的掩码AP，优于基线1.3%的掩码AP，额外参数和GFLOPs不到1%。实验还表明，我们提出的方法实现了竞争力的性能相比，现有的基于边界的方法具有轻量级的设计和简单的管道。
2021-06-18 cs.AI cs.CV
Human Action Localization with Sparse Spatial Supervision
Xerox Research Centre Europe（施乐欧洲研究中心）；Inria（法国国家信息与自动化研究所）
我们介绍了一种方法，用于时空人体动作定位使用稀疏空间监督。我们的方法利用了当今可用的大量带注释的人类，并通过将最先进的人体检测器与检测跟踪方法相结合来提取人体管道。考虑到这些高质量的人体管和时间监督，我们选择具有非常稀疏的空间监督的阳性管和阴性管，即，每个实例仅一个空间注释帧。选定的管使我们能够有效地学习基于密集轨迹或CNN的时空动作检测器。我们在现有的动作本地化基准：UCF-Sports，J-HMDB和UCF-101上进行实验。我们的结果表明，尽管使用稀疏空间监督，我们的方法与使用完全监督的方法表现相当，即，每帧一个限界框注释。为了进一步验证我们的方法，我们引入了DALY（Daily Action Localization in YouTube），这是一个在空间和时间上进行真实动作定位的数据集。它包含31小时视频（330万帧）中10个动作的3.6k实例的高质量时间和空间注释。它比现有的数据集大一个数量级，具有更多样的外观和较长的未修剪视频。
2017-05-23 cs.CV
Spatio-Temporal Instance Learning: Action Tubes from Class Supervision
University of Amsterdam（阿姆斯特丹大学）
这项工作的目标是在视频中的时空动作定位，只使用视频级类标签的监督。国家的最先进的铸造这种弱监督的动作定位制度作为一个多实例学习问题，其中的实例是先验计算的时空建议。我们提出了时空实例学习，而不是将时空学习与训练断开，它可以直接从视频帧中的框建议中进行动作定位。我们概述了我们的模型的假设，并提出了一个最大利润目标和优化与潜变量，使时空学习的行动，从视频标签。我们还提供了一个有效的链接算法和两个重排序策略，以促进和进一步提高动作定位。四个动作数据集上的实验评估表明，我们的方法的有效性，从弱监督本地化。此外，我们展示了如何将其他监督水平和混合物，作为确定最佳监督策略的行动本地化的一步。
2018-11-21 cs.CV
SigLIP-HD by Fine-to-Coarse Supervision
The University of Hong Kong（香港大学）；Shanghai AI Laboratory（上海人工智能实验室）
研究如何在低成本下实现精细视觉感知，提出SigLIP-HD，采用从细到粗监督设计，基于SigLIP 2模型构建，在相同推理预算下能产生更好视觉令牌，在多基准测试中结果优于基线模型。
2026-07-13 cs.CV
CFAD: Coarse-to-Fine Action Detector for Spatiotemporal Action Localization
Shanghai Jiao Tong University（上海交通大学）；Shanghai University（上海大学）；Multimedia University（多媒体大学）；Adobe Research（Adobe研究院）；Clobotics（扩博智能）
大多数当前的时空动作定位管道连接逐帧或逐片段检测结果以生成动作建议，其中仅利用局部信息，并且效率受到密集的每帧定位的阻碍。在本文中，我们提出了Coarse-to-Fine Action Detector（CFAD），这是一种用于高效时空动作定位的原始端到端可训练框架。CFAD引入了一种新的范例，首先从视频流中估计粗略的时空动作管，然后基于关键时间戳细化管的位置。这个概念是由两个关键组件实现的，在我们的框架中的粗和精模块。粗模块中的长时间信息的参数化建模有助于获得准确的初始管估计，而细化模块在关键时间戳的指导下选择性地调整管位置。与其他方法相比，所提出的CFAD在UCF 101 -24，UCFSports和JHMDB-21的动作检测基准上取得了有竞争力的结果，推理速度比最近的竞争对手快3.3倍。
2020-08-19 cs.CV
Reasoning-Driven Anomaly Detection and Localization with Image-Level Supervision
State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）
本文提出基于图像级监督的异常检测与定位方法，利用大语言模型的推理能力实现像素级定位，无需额外组件或标注。
2026-03-28 cs.CV
Multiple Sound Sources Localization from Coarse to Fine
Shanghai Jiao Tong University（上海交通大学）；Baidu Research（百度研究院）；Adobe Research（奥多比研究院）
如何在无约束的视频中视觉定位多个声源是一个棘手的问题，特别是当缺乏成对的声音对象注释时。为了解决这个问题，我们开发了一个两阶段的视听学习框架，从复杂的场景中解开不同类别的音频和视觉表示，然后以粗到细的方式进行跨模态特征对齐。我们的模型在公共定位数据集上取得了最先进的结果，在复杂场景中的多源声音定位上也取得了相当好的性能。然后，我们采用本地化的结果进行声音分离，并获得与现有方法相当的性能。这些结果证明了我们的模型能够有效地将声音与特定的视觉源对齐。代码可在https://github.com/shvdiwnkozbw/Multi-Source-Sound-Localization上获得
2020-07-14 cs.CV
Guess Where? Actor-Supervision for Spatiotemporal Action Localization
KAUST（沙特阿拉伯阿卜杜拉国王科技大学）；University of Amsterdam（阿姆斯特丹大学）；Qualcomm Technologies Inc（高通技术公司）
本文研究了视频中动作的时空定位问题。与领先的方法相比，这些方法都是基于训练视频帧上仔细注释的框来学习本地化的，我们坚持弱监督的解决方案，只需要一个视频类标签。我们引入了一个演员监督的架构，利用演员转换方面的行动的固有组合性，本地化的行动。我们做了两个贡献。首先，我们提出了演员的建议，来自人类和非人类演员的图像，这是随着时间的推移，暹罗相似性匹配考虑演员变形的检测器。其次，我们提出了一个基于演员的注意力机制，使本地化的动作从动作类标签和演员的建议，是端到端的训练。在三个人类和非人类动作数据集上的实验表明，演员监督对于弱监督动作定位是最先进的，甚至与一些完全监督的替代方案相比具有竞争力。
2018-04-05 cs.CV
From Coarse to Fine: Robust Hierarchical Localization at Large Scale
ETH Zürich（苏黎世联邦理工学院）；Sevensense Robotics AG（Sevensense机器人股份公司）
鲁棒且准确的视觉定位是许多应用的基本能力，例如自动驾驶、移动机器人或增强现实。然而，这仍然是一项具有挑战性的任务，特别是对于大规模的环境和存在显着的外观变化。最先进的方法不仅要解决这些问题，而且对于某些实时应用程序来说往往过于资源密集。在本文中，我们提出了HF-Net，一种基于单片CNN的分层定位方法，该方法同时预测局部特征和全局描述符，以实现准确的6-DoF定位。我们利用粗到细的定位范式：我们首先执行一个全球检索，以获得位置假设，只有后来匹配这些候选地方的本地功能。这种分层的方法产生显着的运行时间节省，使我们的系统适合实时操作。通过利用学习的描述符，我们的方法在大的外观变化中实现了显着的定位鲁棒性，并在两个具有挑战性的大规模定位基准上设置了新的最先进的技术。
2019-04-08 cs.CV
Coarse to Fine: Video Retrieval before Moment Localization
Beijing University of Posts and Telecommunications（北京邮电大学）；Tencent PCG（腾讯平台与内容事业群）；Tianjin University（天津大学）
为了方便和快速，现有的视频语料矩检索（VCMR）方法通常采用基于相似性的特征对齐方法。然而，后期融合方法，如余弦相似性对齐无法充分利用查询文本和视频的信息。在本文中，我们结合特征对齐和特征融合，以提高VCMR的性能。
2021-10-14 cs.CV
Coarse-to-fine Semantic Localization with HD Map for Autonomous Driving in Structural Scenes
NullMax（NullMax公司）；School of Information Engineering, Zhengzhou University（郑州大学信息工程学院）
鲁棒和准确的定位是机器人导航和自动驾驶的重要组成部分。使用摄像头进行定位与高清地图（HD地图）提供了一个负担得起的定位传感器集。现有的方法遭受的姿态估计失败，由于错误倾向的数据关联或初始化与准确的初始姿态的要求。在本文中，我们提出了一个具有成本效益的车辆定位系统与高清地图的自动驾驶，使用摄像头作为主要传感器。为此，我们制定了基于视觉的本地化作为一个数据关联问题，将视觉语义映射到高清地图中的地标。具体地，通过组合粗略GPS（全球定位系统）测量和精细位姿搜索，以粗略到精细的方式完成系统初始化。在跟踪阶段，车辆姿态是通过隐式对齐的语义分割结果之间的图像和地标在高清地图与光度一致性。最后，车辆姿态计算的姿态图优化在一个滑动窗口的方式。我们在两个数据集上评估了我们的方法，并证明了所提出的方法在不同的驾驶场景中产生了有希望的定位结果。此外，我们的方法适用于单目相机和多相机，提供了灵活性，提高了定位系统的鲁棒性。
2021-07-06 cs.CV
Background-Click Supervision for Temporal Action Localization
弱监督时间动作定位的目的是从视频级标签中学习实例级动作模式，其中一个重大挑战是动作上下文混淆。为了克服这一挑战，最近的一项工作建立了一个动作点击监督框架。与传统的弱监督方法相比，它需要类似的注释成本，但可以稳步提高定位性能。在本文中，通过揭示现有方法的性能瓶颈主要来自背景误差，我们发现，一个更强大的动作定位器可以训练的标签上的背景视频帧，而不是那些在动作帧。为此，我们将动作点击监督转换为背景点击监督，并开发了一种新的方法，称为BackTAL。具体地，BackTAL对背景视频帧实现了双重建模，即位置建模和特征建模。在位置建模中，我们不仅对标注的视频帧进行监督学习，而且设计了一个分数分离模块，以扩大潜在动作帧和背景之间的分数差异。在特征建模中，我们提出了一个亲和度模块来测量相邻帧之间的帧特定的相似性，并在计算时间卷积时动态地关注信息丰富的邻居。在三个基准测试上进行了大量的实验，实验结果表明，所建立的BackTAL具有较高的性能和所提出的背景点击监督的合理性。代码可在https://github.com/VividLe/BackTAL上获得。
2021-11-24 cs.CV
Learning Coarse-to-Fine Osteoarthritis Representations under Noisy Hierarchical Labels
The Hong Kong Polytechnic University（香港理工大学）
本文探讨在噪声层次标签下通过双头模型提升骨关节炎诊断的表示学习，通过比较不同3D模型的性能，发现双头监督能提升KL分级指标，并改善潜在表示的层次结构和解剖对齐。
2026-08-20 cs.CV
A flexible model for training action localization with varying levels of supervision
Inria（法国国家信息与自动化研究所）；École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；University Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）
视频中的时空动作检测通常在完全监督的设置中解决，每个帧都需要对训练视频进行手动注释。由于这样的注释非常繁琐，并且限制了可伸缩性，因此显然需要最大限度地减少手动监督的数量。在这项工作中，我们提出了一个统一的框架，可以处理和结合不同类型的要求不高的弱监督。我们的模型是基于判别聚类，并集成了不同类型的监督约束的优化。我们研究了这样一个模型的应用，以训练设置与替代监督信号，从视频级类标签的动作边界框的完整的每帧注释。在具有挑战性的UCF 101 -24和DALY数据集上的实验表明，我们的方法在以前方法所使用的监督的一部分上具有竞争力的性能。我们的模型的灵活性使得能够从具有不同注释级别的数据中联合学习。实验结果表明，通过添加一些完全监督的例子，否则弱标记的视频显着增益。
2018-11-27 cs.CV
Less Supervision, Better Generalization: Weakly Supervised Fake Region Localization in Diffusion-Edited Images
Kyung Hee University（庆熙大学）；NAVER Cloud（NAVER云）
提出弱监督框架ReGFLoW，利用扩散重建误差定位编辑区域，实现跨生成器泛化，优于全监督方法。
2026-10-02 cs.CV
Brain Tumor Sequence Registration with Non-iterative Coarse-to-fine Networks and Dual Deep Supervision
School of Computer Science, The University of Sydney（悉尼大学计算机科学学院）；Med-X Research Institute, Shanghai Jiao Tong University（上海交通大学Med-X研究院）
面向BraTS-Reg 2022脑胶质瘤术前与随访MRI配准，提出带双重深度监督的NICE-Net以应对大形变与对应缺失，验证MAE为3.387，最终测试排名第4。
2022-11-15 cs.CV
LOOC: Localize Overlapping Objects with Count Supervision
获取计数注释通常比点级别和限界框注释需要更少的人工。因此，我们提出了在这种较弱的监督下在密集场景中定位对象的新问题设置。我们提出了LOOC，一种带计数监督的重叠对象本地化方法。我们通过在两个阶段之间交替来训练LOOC。在第一阶段，LOOC学习以半监督的方式生成伪点级注释。在第二阶段，LOOC使用完全监督的本地化方法，在这些伪标签上进行训练。定位方法用于逐步提高伪标签的质量。我们在流行的计数数据集上进行了实验。对于本地化，LOOC在只有计数监督可用的新问题设置中实现了强大的新基线。对于计数，LOOC优于当前仅使用计数作为其监督的最先进方法。代码可从以下网址获得：https://github.com/ElementAI/looc。
2020-07-03 cs.CV
Multi-Scale Cross-Fusion and Edge-Supervision Network for Image Splicing Localization
School of Computer and Information Engineering, Henan University（河南大学计算机与信息工程学院）；School of Cyberspace, Hangzhou Dianzi University（杭州电子科技大学网络空间学院）
针对图像拼接定位中边缘信息利用不足导致完整性与误报问题，提出多尺度交叉融合与边缘监督网络，通过跨尺度/跨域融合、边缘掩码预测及注意力集成，在公开数据集上超越现有方法。
2024-12-17 cs.CV
A Coarse-to-fine Deep Convolutional Neural Network Framework for Frame Duplication Detection and Localization in Forged Videos
Kitware Inc.（Kitware公司）
视频可以通过复制一系列连续的帧来操纵，目的是隐藏或模仿同一视频中的特定内容。在本文中，我们提出了一种新的基于深度卷积神经网络的粗到精框架，以自动检测和定位这种帧重复。首先，I3D网络找到候选复制帧序列与对应的所选原始帧序列之间的粗级匹配。然后，基于ResNet架构的Siamese网络识别单个复制帧与相应的选定帧之间的精细级别对应关系。我们还提出了一个强大的统计方法来计算一个视频级的分数，表明操纵或伪造的可能性。此外，为了提供操作定位信息，我们开发了一个基于I3D网络的不一致性检测器，以区分重复帧和选定的原始帧。对两个具有挑战性的视频伪造数据集的量化评估清楚地表明，这种方法的性能显着优于四个最近的最先进的方法。
2019-05-06 cs.CV
MapLocNet: Coarse-to-Fine Feature Registration for Visual Re-Localization in Navigation Maps
Global Institute of Future Technology, Shanghai Jiao Tong University（上海交通大学未来技术全球研究院）；IAS BU, Huawei Technologies（华为技术有限公司IAS BU）
针对现有导航地图定位方法推理延迟高的问题，提出基于transformer的MapLocNet，通过由粗到精的特征配准实现高精度实时定位，无需HD地图，在多数据集上性能优于现有最优方法。
2024-07-11 cs.CV
TransVCL: Attention-enhanced Video Copy Localization Network with Flexible Supervision
Ant Group（蚂蚁集团）；Copyright Protection Center of China（中国版权保护中心）
在视频检索应用中，视频拷贝定位的目标是精确定位一对未修剪视频中的所有拷贝片段。以往的方法通常从输入视频对的帧级特征之间的余弦相似性生成的帧到帧的相似性矩阵开始，然后在时间约束下在相似性矩阵上检测和细化复制片段的边界。在本文中，我们提出了transVCL：一个注意力增强的视频复制定位网络，它是直接从初始帧级功能优化和训练端到端的三个主要组成部分：一个定制的Transformer的功能增强，相关性和softmax层的相似性矩阵生成，和一个时间对齐模块复制段本地化。与以前的方法要求手工制作的相似性矩阵相比，TransVCL使用自我和交叉注意层将特征序列对之间的长距离时间信息结合起来。通过对三个组件的联合设计和优化，可以学习相似性矩阵以呈现更具鉴别力的复制模式，从而在片段级标记数据集（VCSL和VCDB）上比以前的方法有显着改进。除了在完全监督设置中的最先进的性能外，注意力架构还有助于TransVCL进一步利用未标记或简单的视频级标记数据。补充视频级标记数据集（包括SVD和FIVR）的其他实验表明，TransVCL从全监督到半监督（有或没有视频级注释）具有很高的灵活性。代码可在https://github.com/transvcl/TransVCL上公开获取。
2022-11-24 cs.CV
Adaptive Mutual Supervision for Weakly-Supervised Temporal Action Localization
Shanghai Jiao Tong University（上海交通大学）
弱监督时间动作定位的目的是定位动作在未经修剪的视频只有视频级的动作类别标签。以往的方法大多忽略了类激活序列（CAS）的不完整性问题，导致局部化结果不明显。为了解决这个问题，我们引入了一个自适应相互监督框架（AMS）的两个分支，其中的基础分支采用CAS本地化最具歧视性的动作区域，而补充分支本地化的歧视性较低的动作区域，通过一种新的自适应采样器。自适应采样器利用与来自基本分支的CAS负相关的采样权重序列动态地更新补充分支的输入，从而促使补充分支定位被基本分支低估的作用区域。为了促进两个分支机构之间的相互促进，我们构建了互位监管。每个分支都利用从另一个分支生成的位置伪标签作为本地化监督。通过在多次迭代中交替优化两个分支，我们逐步完成动作区域。在THUMOS 14和ActivityNet 1.2上进行的大量实验表明，所提出的AMS方法显着优于最先进的方法。
2021-04-06 cs.AI cs.CV
3C-Net: Category Count and Center Loss for Weakly-Supervised Action Localization
Inception Institute of Artificial Intelligence（Inception人工智能研究院）
时间动作定位是一个具有挑战性的计算机视觉问题，具有许多现实世界的应用。大多数现有方法需要费力的帧级监督来训练动作本地化模型。在这项工作中，我们提出了一个框架，称为3C-Net，它只需要视频级的监督（弱监督）的动作类别标签和相应的计数的形式。我们引入了一种新的配方来学习具有增强定位能力的判别动作特征。我们的联合制定有三个方面：一个分类术语，以确保学习的动作特征的可分性，一个适应多标签中心损失长期，以提高动作特征的可辨别性和计数损失长期划定相邻的动作序列，从而提高本地化。在两个具有挑战性的基准上进行了全面的实验：THUMOS 14和ActivityNet 1.2。我们的方法为这两个数据集上的弱监督时间动作定位提供了一种新的最先进的方法。在THUMOS 14数据集上，与最先进的方法相比，所提出的方法在平均精度（mAP）方面实现了4.6%的绝对增益。源代码可在www.example.com上获得。
2019-11-18 cs.CV
Visual Camera Re-Localization Using Graph Neural Networks and Relative Pose Supervision
ETH Zurich（苏黎世联邦理工学院）；Niantic；University College London（伦敦大学学院）
视觉重新定位意味着使用单个图像作为输入来估计相机相对于预先记录的环境的位置和方向。得分最高的方法是“基于结构的”，并且需要查询相机的内在函数作为模型的输入，并进行仔细的几何优化。当缺少内在函数时，方法通过做出各种其他假设来竞争准确性。这会产生相当好的本地化分数，但模型在某些方面是“狭窄的”，例如，需要昂贵的测试时计算、深度传感器或多个查询帧。相比之下，我们提出的方法几乎没有特殊的假设，并且在训练和测试中相当轻量级。我们的姿势回归网络只从训练场景的相对姿势中学习。为了进行推理，它构建了一个将查询图像连接到训练对象的图，并使用了一个图神经网络（GNN），其中节点上有图像表示，边缘上有图像对表示。通过在它们之间有效地传递消息，两种表示类型都被细化以产生一致的相机姿态估计。我们验证了我们的方法在标准室内（7场景）和室外（剑桥地标）相机重新定位基准的有效性。我们的相对姿势回归方法与绝对姿势回归网络的准确性相匹配，同时保留了相对姿势模型的测试时间速度和推广到非训练场景的能力。
2021-04-12 cs.CV
Where are the Blobs: Counting by Localization with Point Supervision
University of British Columbia（不列颠哥伦比亚大学）；Element AI
目标计数是计算机视觉中的一项重要任务，因为其在诸如监视、交通监控和计数日常物体等应用中的需求不断增长。最先进的方法使用基于回归的优化，其中它们显式地学习对感兴趣的对象进行计数。这些方法通常比基于检测的方法性能更好，后者需要学习预测每个对象的位置，大小和形状的更困难的任务。然而，我们提出了一种基于检测的方法，不需要估计的大小和形状的对象，并优于基于回归的方法。我们的贡献是三方面的：（1）我们提出了一种新的损失函数，鼓励网络仅使用点级注释来输出每个对象实例的单个blob;（2）我们设计了两种方法来分割对象实例之间的大型预测blob;（3）我们表明，我们的方法在几个具有挑战性的数据集上实现了新的最先进的结果，包括Pascal VOC和Penguins数据集。我们的方法甚至优于那些使用更强监督的方法，如深度特征，多点注释和边界框标签。
2018-07-25 cs.CV
Proposal-based Temporal Action Localization with Point-level Supervision
针对点级监督时序动作定位中MIL框架依赖短片段、信息有限的问题，提出基于灵活时长动作提议的定位方法，结合高效聚类生成密集伪标签与细粒度对比损失优化，在四个基准上取得媲美甚至超越现有最优及部分全监督方法的性能。
2023-10-09 cs.CV
Dense Center-Direction Regression for Object Counting and Localization with Point Supervision
Faculty of Computer and Information Science, University of Ljubljana（卢布尔雅那大学计算机与信息科学学院）
针对点监督目标计数定位中像素标注不平衡、现有方法数据利用不充分的问题，提出CeDiRNet方法，通过密集中心方向回归增强支撑，拆分任务并采用可合成数据训练的轻量定位网络，在6个数据集上性能超越现有SOTA。
2024-08-26 cs.CV
