Shuffled Patch-Wise Supervision for Presentation Attack Detection
Istanbul Technical University（伊斯坦布尔理工大学）；Sodec Technologies
面部反欺骗对于防止通过使用照片、视频、面具或授权人员面部的不同替代品进行虚假面部验证至关重要。大多数最先进的呈现攻击检测（PAD）系统都存在过拟合问题，即它们在单个数据集上获得了近乎完美的分数，但在具有更真实数据的不同数据集上失败。这个问题促使研究人员开发出在现实世界条件下表现良好的模型。这对于使用卷积神经网络（CNN）的基于帧的呈现攻击检测系统是特别具有挑战性的问题。为此，我们提出了一种新的PAD方法，它结合了基于补丁的CNN的逐像素二进制监督。我们认为，用人脸补丁训练CNN可以让模型在不学习背景或特定于人脸的痕迹的情况下区分欺骗。我们在标准基准数据集- Replay-Mobile，OULU-NPU -和真实数据集上测试了所提出的方法。该方法在具有挑战性的实验装置上显示出其优越性。也就是说，它在OULU-NPU协议3、4和数据集间真实世界实验上实现了更高的性能。
2021-09-09 cs.CR cs.CV cs.LG
Iris Presentation Attack Detection by Attention-based and Deep Pixel-wise Binary Supervision Network
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所）；TU Darmstadt（达姆施塔特工业大学）
虹膜呈现攻击检测在虹膜识别系统中起着至关重要的作用。大多数现有的基于CNN的iris PAD解决方案1）在CNN的训练过程中只执行二进制标签监督，服务于全局信息学习，但削弱了对局部判别特征的捕获，2）更喜欢堆叠的更深卷积或专家设计的网络，增加了过拟合的风险，3）融合多个PAD系统或各种类型的特征，增加了在移动设备上部署的难度。因此，我们提出了一种新的基于注意力的深度像素二元监督（A-PBS）方法。逐像素监督首先能够捕获细粒度的像素/块级线索。然后，注意力机制引导网络自动找到对准确的PAD决策贡献最大的区域。在LivDet-Iris 2017和其他三个公开可用的数据库上进行了广泛的实验，以显示所提出的A-PBS方法的有效性和鲁棒性。例如，A-PBS模型在IIITD-WVU数据库上实现了6.50%的HTER，优于最先进的方法。
2021-06-28 cs.CV
Investigating Weight-Perturbed Deep Neural Networks With Application in Iris Presentation Attack Detection
Michigan State University（密歇根州立大学）
本研究评估了DNN对权重和偏置参数扰动的敏感性，涉及VGG、ResNet和DenseNet三种架构及高斯噪声、权重置零和缩放三种扰动，在虹膜呈现攻击检测任务中提出无需训练的扰动模型集成方法，在两个数据集上显著提升性能。
2023-11-22 cs.CV
Learnable Multi-level Frequency Decomposition and Hierarchical Attention Mechanism for Generalized Face Presentation Attack Detection
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形研究所）；TU Darmstadt（达姆施塔特工业大学）
随着人脸识别系统在日常生活中的应用越来越广泛，人脸呈现攻击检测（PAD）技术越来越受到人们的关注，并在人脸识别系统的安全保护中发挥着重要作用。尽管手工制作和基于深度学习的方法在数据集内评估中取得了很好的性能，但在处理看不见的场景时，性能会下降。在这项工作中，我们提出了一个双流卷积神经网络（CNN）的框架。一个流适应四个可学习的频率滤波器来学习频域中的特征，其受传感器/照明变化的影响较小。另一个流利用RGB图像来补充频域的特征。此外，我们提出了一个层次化的注意力模块集成，通过考虑CNN不同层中深度特征的性质，在不同阶段将来自两个流的信息连接起来。在数据集内和跨数据集设置中对所提出的方法进行了评估，结果表明，与最先进的方法相比，我们所提出的方法增强了大多数实验设置的通用性，包括明确设计用于域自适应/移位问题的方法。我们成功地证明了我们提出的PAD解决方案的设计，在逐步消融研究，涉及我们提出的可学习的频率分解，我们的分层注意模块设计，和使用的损失函数。公开发布训练代码和预训练模型
2021-11-02 cs.CV
Reasoning-Driven Anomaly Detection and Localization with Image-Level Supervision
State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）
本文提出基于图像级监督的异常检测与定位方法，利用大语言模型的推理能力实现像素级定位，无需额外组件或标注。
2026-03-28 cs.CV
Deep Frequent Spatial Temporal Learning for Face Anti-Spoofing
Guangzhou Huya Information Technologies Co., Limited（广州虎牙信息科技有限公司）；University of Oxford（牛津大学）
人脸防欺骗是人脸识别系统安全的关键，它可以有效地防止呈现攻击。以前的工作已经表明，使用深度和时间的监督这项任务的有效性。然而，深度监督往往只考虑在一个单一的帧，和时间的监督是探索通过利用某些信号，这是不鲁棒的场景变化。在这项工作中，受两个流ConvNets的启发，我们提出了一种新的两个流FreqSaptialTemporalNet用于人脸反欺骗，它同时利用了频繁，空间和时间信息。与现有的在多帧RGB图像中挖掘欺骗线索的方法相比，我们将多帧频谱图像作为判别式深度神经网络的一个输入流，鼓励自动挖掘真实视频和假视频之间的主要差异。大量的实验表明，使用所提出的架构有前途的改善效果。同时，提出了一种利用频繁增强流水线获取大量欺骗训练数据的简洁方法，有助于实时图像和虚假图像之间的细节可视化，以及训练大型网络时的数据不足问题。
2020-01-20 cs.CV cs.LG eess.IV
Intra and Cross-spectrum Iris Presentation Attack Detection in the NIR and Visible Domains
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所IGD）
虹膜呈现攻击检测（PAD）是虹膜识别系统安全的关键。最近的iris PAD解决方案通过利用深度学习技术实现了良好的性能。然而，大多数结果都是在数据库内的情况下报告的，目前还不清楚这种解决方案是否可以很好地推广到数据库和捕获光谱。由于在网络训练期间的二进制标签监督，这些PAD方法存在过拟合的风险，这有助于全局信息学习，但削弱了对局部判别特征的捕获。本章提出了一种新的基于注意力的深度像素二元监督（A-PBS）方法。A-PBS利用逐像素监督来捕获细粒度的像素/块级线索，并利用注意力机制来引导网络自动找到对准确的PAD决策贡献最大的区域。在六个近红外和一个可见光虹膜数据库上进行了大量的实验，以证明所提出的A-PBS方法的有效性和鲁棒性。我们还进行了大量的实验，在内部/跨数据库和内部/交叉频谱进行详细的分析。我们的实验结果表明A-PBS虹膜PAD方法的普遍性。
2023-02-27 cs.CV
Look Closer: Patch-wise Supervision for AI-Generated Image Detection
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；ShanghaiTech University（上海科技大学）；Anhui University（安徽大学）
本研究提出块级监督方法，通过共享骨干网络对图像块分类并在推理时平均概率，无需额外模块，在GenImage上四种骨干网络均提升准确率，为AI生成图像检测提供了简单有效的方案。
2026-10-01 cs.CV
A Unified Mammogram Analysis Method via Hybrid Deep Supervision
The Hong Kong University of Science and Technology（香港科技大学）
在计算机辅助乳腺X线筛查系统中，自动乳腺X线图像分类和肿块分割起着至关重要的作用。在这项工作中，我们提出了一个统一的乳房X线照片分析框架，用于整个乳房X线照片分类和分割。我们的模型是基于具有剩余连接的深度U网设计的，并配备了用于端到端多任务学习的新型混合深度监督（HDS）方案。作为深度监督（DS）的扩展，HDS不仅可以迫使模型学习更多像DS一样的区分特征，还可以将分割和分类任务无缝集成到一个模型中，因此模型可以从像素和图像监督中受益。我们在广泛使用的INbreast数据集上广泛验证了所提出的方法。消融研究证实，像素和图像监督是互惠互利的，证明了HDS的有效性。5倍交叉验证的结果表明，我们的统一模型在乳房X线照片分割和分类任务上都具有最先进的性能，平均分割Dice相似系数（DSC）为0.85，分类准确率为0.89。该代码可在https://github.com/angrypudding/hybrid-ds上获得。
2018-08-31 cs.CV
Instance-wise Supervision-level Optimization in Active Learning
Kyushu University（九州大学）；CyberAgent, Inc.（CyberAgent公司）
本文提出实例级监督级别优化（ISO）框架，在固定标注预算内同时选择实例并确定其最优标注级别，利用价值成本比和多样性准则，以更低成本实现更高分类准确率。
2025-03-09 cs.CV cs.LG
PW-MAD: Pixel-wise Supervision for Generalized Face Morphing Attack Detection
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所IGD）；TU Darmstadt（达姆施塔特工业大学）
人脸变形攻击图像可以被验证为多个身份，这使得这种攻击成为基于身份验证的过程（如边境检查）的主要漏洞。已经提出了各种方法来检测人脸变形攻击，然而，具有较低的泛化能力，意想不到的变形后的过程。一个主要的后变形过程是在许多国家签发护照或身份证件时执行的打印和扫描操作。在这项工作中，我们通过采用逐像素的监督方法来解决这个泛化问题，在这种方法中，我们训练网络将图像的每个像素分类为攻击或不攻击，而不是整个图像只有一个标签。事实证明，我们的逐像素变形攻击检测（PW-MAD）解决方案比一组已建立的基线更准确。更重要的是，PW-MAD表现出较高的概括性相比，相关的作品，当评估未知的重新数字化的攻击。除了PW-MAD方法之外，我们还创建了一个新的人脸变形攻击数据集，其中包含数字和重新数字化的样本，即LMA-DRD数据集，可根据要求公开用于研究目的。
2021-09-26 cs.CV
A Positive/Unlabeled Approach for the Segmentation of Medical Sequences using Point-Wise Supervision
University of Bern（伯尔尼大学）
快速注释医学成像数据的能力在训练用于分割的深度学习框架中起着关键作用。对于图像卷或视频序列，这样做甚至更加紧迫，因为注释这些内容特别繁重。为了缓解这个问题，这项工作提出了一种新的方法来有效地分割医学成像体积或视频，只使用逐点注释。这使得注释可以非常快速地收集，并且仍然适用于许多分割任务。我们的方法使用稀疏逐点注释，使用适当的正/未标记目标函数训练深度学习模型。虽然大多数这类方法假设数据中的阳性样本的比例是已知的先验，我们引入了一种新的自我监督的方法来估计这一先验有效地结合贝叶斯估计框架和新的停止标准。我们的方法迭代估计适当的类先验，并产生高分割质量的各种对象类型和成像方式。此外，通过利用时空跟踪框架，我们通过利用完整的数据量来规范我们的预测。我们的实验表明，我们的方法优于国家的最先进的方法针对同一问题。
2021-07-18 cs.CV
Fingerprint Presentation Attack Detection by Channel-wise Feature Denoising
Shenzhen University（深圳大学）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）
由于攻击材料的多样性，指纹识别系统容易受到恶意攻击。因此，提出有效的指纹呈现攻击检测（PAD）方法对AFRS的安全性和可靠性具有重要意义。然而，目前的PAD方法往往表现出新的攻击类型设置下的鲁棒性差。因此，本文提出了一种新的通道式特征去噪指纹PAD（CFD-PAD）的方法，通过处理冗余的噪声信息被忽略在以前的研究。该方法通过对每个通道的重要性进行加权，识别鉴别通道和“噪声”通道来学习指纹图像的重要特征。然后，在特征图中抑制“噪声”信道的传播以减少干扰。具体地说，设计了一个PA-自适应损失来约束特征分布，使活指纹的特征分布更加聚集，而欺骗指纹的特征分布更加分散。在LivDet 2017数据集上进行的实验结果表明，当错误检测率为1.0%（TDR@FDR=1%）时，所提出的CFD-PAD可以实现2.53%的平均分类错误（ACE）和93.83%的真实检测率。此外，所提出的方法在ACE（2.53%对4.56%）和TDR@FDR=1%（93.83%对73.32%）方面明显优于最好的基于单模型的方法，这证明了其有效性。虽然我们已经实现了与最先进的基于多模型的方法相当的结果，但是TDR@FDR=1%仍然从91.19%增加到93.83%。此外，该模型更简单，更轻，更有效，并已实现了74.76%的计算时间减少相比，最先进的多模型为基础的方法。源代码可在https://github.com/kongzh…
2023-03-07 cs.AI cs.CV
Deep Attention-guided Graph Clustering with Dual Self-supervision
City University of Hong Kong（香港城市大学）；Caritas Institute of Higher Education（明爱专上学院）；Southeast University（东南大学）
现有的深度嵌入聚类工作仅考虑最深层来学习特征嵌入，因此无法很好地利用来自聚类分配的可用区分信息，导致性能限制。为此，我们提出了一种新的方法，即具有双重自监督的深度注意力引导图聚类（DAGC）。具体地说，DAGC首先利用异质性融合模块来自适应地整合每层中的自动编码器和图卷积网络的特征，然后使用尺度融合模块来动态地连接不同层中的多尺度特征。这样的模块能够通过基于注意力的机制来学习区分性特征嵌入。此外，我们设计了一个分布式融合模块，利用聚类分配直接获得聚类结果。为了更好地探索从集群分配的判别信息，我们开发了一个双重的自我监督解决方案，包括一个软自我监督策略与三重Kullback-Leibler发散损失和一个硬自我监督策略与伪监督损失。大量的实验验证了我们的方法在六个基准数据集上的性能始终优于最先进的方法。特别是，我们的方法提高了ARI超过18.14%的最佳基线。
2022-12-26 cs.AI cs.CV
Distilling effective supervision for robust medical image segmentation with noisy labels
Tsinghua University（清华大学）
尽管深度学习方法在医学图像分割任务中取得了成功，但人类水平的性能依赖于具有高质量注释的大量训练数据，这些数据收集起来既昂贵又耗时，而事实是存在带有标签噪声的低质量注释，这导致学习模型的性能不佳。带噪声标签的分割学习的两个突出方向包括逐像素噪声鲁棒训练和图像级噪声鲁棒训练。在这项工作中，我们提出了一个新的框架，以解决分割与噪声标签提取有效的监督信息，从像素和图像水平。特别是，我们明确地估计每个像素的不确定性作为逐像素的噪声估计，并提出逐像素的鲁棒学习，通过使用原始标签和伪标签。此外，我们提出了一个图像级的鲁棒学习方法，以容纳更多的信息，作为补充像素级的学习。我们在模拟和真实世界的噪声数据集上进行了广泛的实验。结果表明，我们的方法相比，国家的最先进的基线与噪声标签的医学图像分割的优越性能。
2021-06-21 cs.CV
Deep Template Matching for Pedestrian Attribute Recognition with the Auxiliary Supervision of Attribute-wise Keypoints
SensingTech Ltd.（森赛科技有限公司）；Tsinghua University（清华大学）
行人属性识别在视频监控中的重要作用引起了广泛的关注。在大多数情况下，特定属性的存在与局部区域密切相关。最近的作品设计了复杂的模块，例如，注意力机制和身体部位定位属性对应区域的建议。这些工作进一步证明了属性特定区域的精确定位将有助于提高性能。然而，这些基于部分信息的方法仍然是不准确的，以及增加模型的复杂性，这使得它很难部署在现实的应用程序。在本文中，我们提出了一种基于深度模板匹配的方法，以更少的计算来捕获身体部位的特征。此外，我们还提出了一种辅助监督方法，使用人体姿势关键点来引导学习到有区别的局部线索。大量的实验表明，该方法在PETA、PA-100 K、RAP和RAPv 2 zs等大规模行人属性数据集上具有较低的计算复杂性和较好的性能.
2020-11-13 cs.AI cs.CV cs.LG
Group-wise Supervision with Focal-Dice Loss for Long-Tailed Indoor Semantic Occupancy Prediction
College of Electronics and Information Engineering, Shenzhen University（深圳大学电子与信息工程学院）；Guangdong Key Laboratory of Intelligent Information Processing（广东省智能信息处理重点实验室）
针对室内语义占用预测的长尾类别瓶颈，提出Group-UFD Occ方法，通过分组策略与UFD损失优化，在EmbodiedScan数据集上较基线实现11.38%相对提升，长尾类别精度显著提高。
2026-08-03 cs.CV
Attention-Guided Network for Iris Presentation Attack Detection
Michigan State University（密歇根州立大学）
卷积神经网络（CNN）正越来越多地用于解决虹膜呈现攻击检测问题。在这项工作中，我们提出了注意力引导的虹膜呈现攻击检测（AG-PAD），以增强具有注意力机制的CNN。两种类型的注意力模块独立地附加在骨干网络的最后一个卷积层的顶部。具体地，通道注意模块用于对特征之间的通道间关系进行建模，而位置注意模块用于对特征之间的空间间关系进行建模。一个元素的总和是用来融合这两个注意力模块。此外，一个新的层次注意力机制的介绍。涉及JHU-APL专有数据集和基准LivDet-Iris-2017数据集的实验表明，所提出的方法取得了令人满意的结果。据我们所知，这是第一个利用虹膜呈现攻击检测中的注意力机制的工作。
2020-10-23 cs.CV
Iterative multi-path tracking for video and volume segmentation with sparse point supervision
University of Bern（伯尔尼大学）
最近用于分割任务的机器学习策略在大型逐像素注释图像数据集上训练时显示出很强的能力。然而，聚合这些数据集仍然是一个重大挑战，因为与收集广泛的注释相关的时间和金钱成本非常高。在视频和体积图像数据中生成精确的逐像素注释时尤其如此。为此，这项工作提出了一种新的框架，以产生像素明智的分割使用最小的监督。我们的方法依赖于2D点监督，从而在数据的每个图像上提供感兴趣对象内的单个2D位置。然后，我们的方法通过学习对象图像特定的特征并在半监督学习框架中使用这些特征，以半监督的方式估计对象外观。然后，我们的对象模型用于基于图形的优化问题，该问题考虑了所有提供的位置和图像数据，以便推断完整的像素分割。在实践中，我们最佳地解决这个问题作为一个跟踪问题，使用K-最短路径的方法。然后迭代地细化对象模型和分割，以进一步改进最终分割。我们表明，通过使用凝视跟踪器收集2D位置，我们的方法可以提供一系列对象和图像模态（视频和3D体积）的最先进的分割，然后这些可以用于训练监督机器学习分类器。
2018-08-27 cs.AI cs.CV
Beyond Pixel-Wise Supervision for Medical Image Segmentation: From Traditional Models to Foundation Models
Northwest University（西北大学）；Lappeenranta University of Technology（拉彭兰塔理工大学）；Hebei University of Technology（河北工业大学）；Fudan University（复旦大学）
本文全面调研了基础模型时代前后利用弱标注进行医学图像分割的标注高效学习方法，并讨论了现有挑战，为基础模型推动该领域发展提供指导。
2024-04-20 cs.CV
Explaining Face Presentation Attack Detection Using Natural Language
University of Southern California（南加州大学）；Alexandria University（亚历山大大学）
已经开发了大量基于深度神经网络的技术来解决面部呈现攻击检测（PAD）的挑战性问题。虽然这些技术的重点一直是提高PAD性能的分类精度和鲁棒性对看不见的攻击和环境条件，存在很少的注意PAD预测的可解释性。在本文中，我们解决了通过自然语言解释PAD预测的问题。我们的方法将PAD模型深层的特征表示传递给语言模型，以生成描述PAD预测背后的推理的文本。由于我们研究中注释数据的数量有限，我们应用轻量级LSTM网络作为我们的自然语言生成模型。我们研究了不同的损失函数如何影响生成的解释的质量，包括常用的逐词交叉熵损失，句子判别损失和句子语义损失。我们使用来自1，105个真实和924个演示攻击样本的数据集的人脸图像进行实验。我们的定量和定性结果表明，我们的模型生成适当的PAD解释，通过文本以及权力的明智的损失的有效性。据我们所知，这是第一次引入联合生物识别-NLP任务。我们的数据集可以通过我们的GitHub页面获得。
2021-11-08 cs.AI cs.CL cs.CR
When Misalignment Becomes Supervision: Structured Label Noise in Supervised Synthetic CT Generation
Univ. Rennes（雷恩大学）；CLCC Eugene Marquis（欧仁·马奎斯癌症中心）；INSERM（法国国家健康与医学研究院）；LTSI - UMR 1099（信号与图像处理实验室 - UMR 1099）
本研究揭示配准残差作为结构化标签噪声影响有监督合成CT生成，提出基于Segment Anything编码器的感知损失以提升分割性能和结构连贯性，并主张补充解剖导向评估。
2026-09-25 cs.CV
Seg2Box: 3D Object Detection by Point-Wise Semantics Supervision
Xiamen University（厦门大学）
针对3D检测与分割标签冗余问题，提出Seg2Box方法，通过MFMS-C生成准确框级伪标签、SGIM-ST优化挖掘实例，仅用语义标签实现检测，在两个基准数据集上mAP大幅领先。
2025-03-21 cs.CV
Exploring Pixel-level Self-supervision for Weakly Supervised Semantic Segmentation
KAIST（韩国科学技术院）
现有的研究在弱监督语义分割（WSSS）利用类激活地图（CAM）本地化的类对象。然而，由于分类损失不足以提供精确的对象区域，因此CAM倾向于偏向于有区别的模式（即，稀疏性）并且不提供精确的对象边界信息（即，不精确）。为了解决这些限制，我们提出了一个新的框架（由MainNet和SupportNet组成）。其从给定的图像级监督导出像素级自我监督。在我们的框架中，在建议的区域对比模块（RCM）和多尺度注意模块（MAM）的帮助下，MainNet通过来自SupportNet的自我监督进行训练。RCM从SupportNet中提取了两种形式的自我监督：（1）从CAM生成的类区域掩码和（2）根据类区域掩码从特征中获得的类原型。然后，MainNet的每个像素级特征都由原型以对比的方式进行训练，从而锐化生成的CAM。MAM利用从SupportNet推断的多个尺度的CAM作为自我监督来指导MainNet。基于来自MainNet和SupportNet的多尺度CAM之间的不同，来自MainNet的CAM被训练以扩展到区分度较低的区域。该方法在PASCAL VOC 2012数据集的训练集和验证集上均显示出最先进的WSSS性能。为了可重复性，代码将很快公开。
2021-12-10 cs.CV
Joint Class-Affinity Loss Correction for Robust Medical Image Segmentation with Noisy Labels
Department of Electrical Engineering, City Univeristy of Hong Kong, Hong Kong
以有限的注释成本收集的噪声标签阻止医学图像分割算法学习精确的语义相关性。以前的分割技术的学习与噪声标签只是执行一个像素的方式来保持语义，如像素的标签校正，但忽略了成对的方式。事实上，我们观察到逐对方式捕获像素之间的亲和关系可以大大降低标签噪声率。出于这一观察，我们提出了一个新的观点，通过合并像素明智的和成对的方式，其中监督来自嘈杂的类和亲和标签，分别噪声缓解。统一像素方式和成对方式，我们提出了一个强大的联合类亲和分割（JCAS）框架，以打击标签噪声问题在医学图像分割。考虑到成对方式的亲和力包含上下文依赖性，设计了一个差分亲和力推理（DAR）模块，通过推理类内和类间的亲和力关系来校正像素级分割预测。为了进一步提高抗噪声能力，设计了类亲和损失校正（CALC）策略，通过类和亲和标签中建模的噪声标签分布来校正监督信号。同时，CALC策略通过理论推导的一致性正则化，将逐像素和逐对方式相互作用。在合成和现实世界的噪声标签下进行的大量实验证实了所提出的JCAS框架的有效性，其性能上限的差距最小。源代码可从\url{https://github.com/CityU-AIM-Group/JCAS}获得。
2022-06-16 cs.CV
Learning to Segment Medical Images with Scribble-Supervision Alone
ETH Zürich（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）
医学图像的语义分割是健康解剖和疾病等量化的关键步骤。目前最先进的分割算法大多基于深度神经网络，并依赖于具有完整像素注释的大型数据集。生成这样的注释通常只能由医学专业人员完成，并且需要大量的宝贵时间。训练具有弱注释的医学图像分割网络仍然是一个相对未探索的主题。在这项工作中，我们研究了训练策略，以单独从涂鸦注释中学习像素分割网络的参数。我们评估了公共心脏（ACDC）和前列腺（NCI-ISBI）分割数据集的技术。我们发现，在涂鸦上训练的网络与在完整注释上训练的网络相比，Dice的退化非常小，仅为2.9%（心脏）和4.5%（前列腺）。
2018-07-12 cs.CV
OPEN: Object-wise Position Embedding for Multi-view 3D Object Detection
Huazhong University of Science and Technology（华中科技大学）；Baidu Inc.（百度公司）
针对现有多视角3D检测器深度监督存在的缺陷，该研究提出带目标级位置嵌入的OPEN检测器，通过目标级深度编码与嵌入实现精准检测，在nuScenes基准上取得SOTA性能。
2024-07-15 cs.CV
Box-driven Class-wise Region Masking and Filling Rate Guided Loss for Weakly Supervised Semantic Segmentation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；The University of Sydney（悉尼大学）；SenseTime（商汤科技）；Chinese Academy of Sciences - Artificial Intelligence Research（中国科学院人工智能创新研究院）
语义分割通过采用深度全卷积网络（FCN）取得了巨大的进步。然而，基于FCN的模型的性能严重依赖于大量的像素级注释，这是昂贵的和耗时的。为了解决这个问题，学习从边界框进行弱监督分割是一个很好的选择。如何充分利用边界盒的类级和区域级监督是弱监督学习面临的关键挑战。在本文中，我们首先介绍了一个盒子驱动的类的屏蔽模型（casual-wise masking model，简称casual-wise masking model）来去除每个类的不相关区域。此外，基于限界框监督生成的像素级分割建议，计算每个类别的平均填充率作为重要的先验线索，提出填充率引导的自适应损失（FR-Loss）算法，帮助模型忽略建议中错误标记的像素。与以前的方法直接训练模型与固定的个别段建议，我们的方法可以调整模型学习与全局统计信息。因此，它可以帮助减少错误标记提案的负面影响。我们评估所提出的方法上具有挑战性的PASCAL VOC 2012基准，并与其他方法进行比较。大量的实验结果表明，该方法是有效的，达到了最先进的结果。
2019-04-26 cs.CV
Cross-scale Aligned Supervision for Training GANs
Sungkyunkwan University（全北大学）
针对GAN多尺度生成中跨尺度轨迹未对齐问题，提出CAT（跨尺度对齐Transformer），通过生成器侧一致性正则化对齐中间输出与最终输出，在ImageNet-256上实现FID-50K为1.56。
2026-05-26 cs.AI cs.CV
Beyond pixel-wise supervision for segmentation: A few global shape descriptors might be surprisingly good!
ÉTS Montréal（蒙特利尔高等工程技术学院）；CRCHUM Montréal（蒙特利尔大学医院研究中心）
训练深度分割网络的标准损失可以被视为像素的单独分类，而不是监督预测分割的全局形状。虽然有效，但它们需要精确了解图像中每个像素的标签。这项研究调查了全局几何形状描述符在单独用作训练深度网络的分割损失时的有效性。不仅在理论上有趣，还有更深层次的动机将分割问题作为形状描述符的重建：获得低阶形状矩近似值的注释可能比全掩模对应物要简单得多，并且解剖先验可以很容易地编码为不变的形状描述，这可能会减轻注释负担。此外，最重要的是，我们假设，给定一个任务，某些形状描述可能是不变的图像采集协议/模式和受试者人群，这可能会打开有趣的研究途径，在医学图像分割的泛化。我们在深度分割的背景下引入并制定了一些形状描述符，并评估了它们在两个不同的挑战性任务中作为独立损失的潜力。受最近深度网络约束优化工作的启发，我们提出了一种使用这些描述符来监督分割的方法，而无需任何像素级标签。非常令人惊讶的是，每个类只有4个描述符值就可以接近具有65 k个独立离散标签的分割掩码的性能。我们还发现，形状描述符可以是一种有效的方式来编码关于任务的解剖先验，从而能够利用专家知识而无需额外的注释。我们的实现是公开的，可以很容易地扩展到其他任务和描述符：https://github.com/hkervadec/shape_descriptors
2021-05-03 cs.CV
Teach me to segment with mixed supervision: Confident students become masters
ETS Montreal（蒙特利尔高等工程学院）
深度分割神经网络需要具有逐像素分割的大型训练数据集，这在实践中获得是昂贵的。混合监督可以减轻这种困难，其中一小部分数据包含完整的像素级注释，而其余部分则较少受到监督，例如，只有少数像素被标记。在这项工作中，我们提出了一个双分支架构，其中上层分支（教师）接收强大的注释，而底部的（学生）是由有限的监督和指导的上层分支。结合标记像素上的标准交叉熵，我们的新公式集成了两个重要的术语：（i）在较少监督的图像上定义的香农熵损失，这鼓励了底部分支的自信学生预测;以及（ii）Kullback-Leibler（KL）发散，其将来自由强监督分支生成的预测的知识转移到较少监督分支，并引导熵（学生置信度）项以避免平凡解。非常有趣的是，我们表明，熵和KL发散之间的协同作用产生了显着的性能改善。此外，我们讨论了香农熵最小化和标准的伪掩模生成之间的一个有趣的联系，并认为前者应该优先于后者利用未标记像素的信息。通过一系列的定量和定性实验，我们证明了所提出的配方在分割MRI图像中的左心室内膜的有效性。我们证明，我们的方法显着优于其他策略，以解决混合监督框架内的语义分割。更有趣的是，根据最近的观察分类，我们表明，分支训练减少监督大大优于老师。
2020-12-15 cs.CV
Multi-channel Deep Supervision for Crowd Counting
School of Computer Science（计算机学院）；Northwestern Polytechnical University（西北工业大学）
人群计数在公共安全、视频监控等方面有着广泛的应用，是现代社会中一个值得探索的课题。许多基于CNN的方法已经被提出来提高估计的准确性，但是存在一些固有的问题影响性能，例如过拟合和池化层引起的细节丢失。为了解决这些问题，在本文中，我们提出了一个有效的网络称为MDSNet，它引入了一个新的监督框架称为多通道深度监督（MDS）。MDS在估计模型的解码器上进行信道式监督，以帮助生成密度图。为了获得不同渠道的准确监管信息，MDSNet采用了一个辅助网络，称为监管网络（SN），以产生丰富的监管地图的基础上现有的地面实况。除了传统的密度图监督外，我们还使用SN将点注释转换为连续的监督信息，并在MDSNet中进行点监督。在几个主流的基准测试上的实验表明，所提出的MDSNet取得了有竞争力的结果和MDS显着提高了性能，而不改变网络结构。
2021-03-17 cs.CV
MS-KD: Multi-Organ Segmentation with Multiple Binary-Labeled Datasets
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学媒体网络协同创新中心）
在3D医学图像中注释多个器官是耗时且昂贵的。同时，存在许多单器官数据集，其中一个特定的器官注释。本文研究了如何利用一组二进制标记的数据集来学习多器官分割模型。提出了一种新的多教师单学生知识蒸馏（MS-KD）框架，教师模型是预先训练好的单器官分割网络，学生模型是多器官分割网络.考虑到每个教师关注不同的器官，基于区域的监督方法，包括逻辑明智的监督和特征明智的监督，提出。每个教师在两个区域监督学生，器官区域，教师被认为是专家，背景区域，所有教师都同意。在三个公开的单器官数据集和一个多器官数据集上的大量实验证明了所提出的MS-KD框架的有效性。
2021-08-05 cs.CV
Pixel-wise Agricultural Image Time Series Classification: Comparisons and a Deformable Prototype-based Approach
LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS（LIGM实验室、巴黎路桥学校、古斯塔夫·埃菲尔大学、法国国家科学研究中心）；Inria Paris（巴黎信息与自动化研究所）；Ecole normale superieure (ENS-PSL, CNRS, Inria)（巴黎高等师范学院（PSL大学成员）、法国国家科学研究中心、法国信息与自动化研究所）；Center for Data Science, New York University（纽约大学数据科学中心）
针对农业卫星图像时间序列逐像素分割的监督依赖问题，提出带光谱变形与时移不变性的可变形原型方法，在低数据和无监督场景下性能优于现有方法。
2024-07-12 cs.CV
GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views
Tsinghua University（清华大学）；Harbin Institute of Technology（哈尔滨工业大学）
提出可泛化的像素级 3D Gaussian Splatting 框架，通过回归 Gaussian 参数图并结合深度估计与对极注意力机制，在稀疏视角下实现无需优化的实时高分辨率人-场景渲染。
2024-11-18 cs.CV
DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions
Sun Yat-sen University（中山大学）；University of Technology Sydney（悉尼科技大学）；CRRC Academy（中车研究院）
本文提出 DNA 家族，通过分块监督和架构蒸馏缩小权重共享 NAS 的可信评分范围，实现全候选评估及不同深度、宽度搜索，并在 ImageNet 上取得领先准确率。
2024-03-02 cs.CV
Learning under Distributed Weak Supervision
Imperial College London（帝国理工学院）
用于监督的训练数据的可用性是医学图像分析方法经常遇到的瓶颈。虽然通常由临床专家评定者建立，但是所获取的成像数据的增加使得传统的逐像素分割不太可行。在本文中，我们研究了使用众包平台来分发超像素弱注释任务，并从一群非专家评分员中收集这些注释。人群注释随后用于训练全卷积神经网络，以解决T2加权MR图像中的胎儿脑分割问题。使用这种方法，我们报告令人鼓舞的结果相比，高度有针对性的，完全监督的方法，并可能解决一个常见的问题，阻碍图像分析研究。
2016-06-03 cs.CV
Thermal Features for Presentation Attack Detection in Hand Biometrics
Research and Academic Computer Network（研究与学术计算机网络）；Institute of Control and Computation Engineering（控制与计算工程研究院）；Warsaw University of Technology（华沙理工大学）
提出了一种利用手部热特征进行呈现攻击检测的方法，该方法可应用于手部生物特征识别系统的流水线中。通过设想我们的系统的两种不同的操作模式，并通过采用基于DCNN的分类器，该分类器通过在可见光和热光谱中捕获的真实和假手表示的数据集进行微调，我们能够带来两个重要的可交付成果。首先，PAD方法在开放集模式下操作，能够正确地辨别100%的假热样本，实现等于0%的攻击呈现分类出错率（APCER）和善意呈现分类出错率（BPCER），其可以容易地作为单独的组件实现到任何现有系统中。第二，手部生物识别系统以封闭模式运行，将PAD内置到识别管道中，并与用户分类同时运行，实现高达99.75%的rank-1识别准确率。我们还表明，热图像的人手，除了他们携带的活性功能，也可以提高分类精度的生物识别系统，当与可见光图像。为了遵循可再现性指南并促进该领域的进一步研究，我们与感兴趣的研究人员分享了训练的模型权重，源代码和新创建的假手表示数据集。
2018-09-12 cs.CV
Multi-stream 3D FCN with Multi-scale Deep Supervision for Multi-modality Isointense Infant Brain MR Image Segmentation
University of Bern（伯尔尼大学）
我们提出了一种方法来解决具有挑战性的问题，分割的多模态等信号婴儿大脑MR图像到白质（WM），灰质（GM），和脑脊液（CSF）。我们的方法基于上下文引导的多流全卷积网络（FCN），经过训练后，可以直接将整个体积数据映射到其体积标签。为了缓解训练过程中潜在的梯度消失问题，我们设计了多尺度深度监督。此外，上下文信息的使用，以进一步提高我们的方法的性能。根据MICCAI 2017 Grand Challenge对6个月婴儿脑MRI分割（iSeg-2017）的测试数据进行验证，我们的方法分别实现了CSF、GM和WM的平均Dice重叠系数为95.4%、91.6%和89.6%。
2019-03-09 cs.CV
Every Annotation Counts: Multi-label Deep Supervision for Medical Image Segmentation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carl Zeiss AG（卡尔蔡司公司）；University of Applied Sciences Berlin（柏林应用科学大学）
像素分割是我们领域中最需要数据和注释的任务之一。提供代表性和准确的注释通常是关键任务，特别是对于具有挑战性的医疗应用。在本文中，我们提出了一个半弱监督分割算法，以克服这一障碍。我们的方法是基于一个新的配方的深度监督和学生-教师模型，并允许不同的监督信号的轻松集成。与以前的工作相比，我们表明，必须注意如何在较低层中集成深度监管，我们将多标签深度监管作为成功的最重要秘密因素。通过我们新颖的分割训练机制，灵活地利用完全标记的图像，标记有边界框，只是全局标签，或者根本没有，我们能够将昂贵标签的要求降低94.22% -将最佳完全监督基线的差距缩小到只有5%的平均IoU。我们的方法通过对视网膜流体分割的广泛实验进行了验证，我们对每种注释类型在提高分割性能方面的预期效果进行了深入分析。
2021-04-27 cs.CV
Data-Driven Deep Supervision for Skin Lesion Classification
University of Notre Dame（圣母大学）；Nanjing University of Science and Technology（南京理工大学）；Qingdao Women and Children’s Hospital of Qingdao University（青岛大学附属青岛妇女儿童医院）；University of Connecticut（康涅狄格大学）
近年来，色素沉着、非色素沉着和色素脱失的非黑素细胞皮肤病变的自动分类已经引起了很多关注。然而，皮肤纹理、病变形状、脱色对比度、照明条件等的成像变化阻碍了鲁棒的特征提取，影响了分类精度。在本文中，我们提出了一种新的深度神经网络，它利用输入数据进行鲁棒的特征提取。具体来说，我们分析卷积网络的行为（视野），以找到深度监督的位置，以改进特征提取。为了实现这一点，首先，我们执行激活映射以生成对象掩码，突出显示对分类输出生成最关键的输入区域。然后，选择其逐层有效感受野与对象掩模中的近似对象形状相匹配的网络层作为我们深度监督的焦点。利用不同类型的卷积特征提取器和分类器在三个黑色素瘤检测数据集和两个白癜风检测数据集上，我们验证了我们的新方法的有效性。
2022-09-04 cs.CV
Medical Image Segmentation with Limited Supervision: A Review of Deep Network Models
College of Computer Science and Technology, Huaqiao University（华侨大学计算机科学与技术学院）；School of Economics and Finance, Huaqiao University（华侨大学经济与金融学院）
尽管深度学习方法在各种任务上表现出色，但大多数前沿模型严重依赖于大规模带注释的训练样本，而这些样本通常无法用于临床和医疗保健任务。医学图像的标记成本非常高，特别是在医学图像分割中，这通常需要密集的像素/体素标记。因此，从有限的监督（包括有限数量的注释、稀疏注释和不准确的注释）中学习和概括的强大能力对于深度学习模型在医学图像分割中的成功应用至关重要。然而，由于其固有的困难，有限监督的分割是具有挑战性的，需要特定的模型设计和/或学习策略。在本文中，我们提供了一个系统的和最新的审查上述解决方案，总结和评论的方法。我们还强调了在这一领域的几个问题，讨论了未来的方向观察进一步的调查。
2021-02-28 cs.CV cs.LG
Enhanced Knowledge Distillation for Detection Transformer via Teacher Prediction Refinement
Shanghai Jiao Tong University（上海交通大学）
针对DETR蒸馏中教师监督质量不佳的问题，提出TPRD模块，通过正预测校正和负预测抑制精化教师预测，并引入MDKP保留暗知识，在MS COCO和PASCAL VOC上验证了有效性。
2026-09-18 cs.CV
DIR-AS: Decoupling Individual Identification and Temporal Reasoning for Action Segmentation
Stony Brook University（石溪大学）
本文提出DIR-AS方法，通过解耦个体识别与时序推理并融合多尺度注意力机制，有效缓解动作分割的过度分割问题，在GTEA和Breakfast数据集上达到SOTA。
2023-04-04 cs.CV
Pixel-Wise Multimodal Contrastive Learning for Remote Sensing Images
Wageningen University & Research（瓦赫宁根大学与研究学院）；Institute of Computing, University of Campinas (UNICAMP)（计算学院，坎皮纳斯大学（UNICAMP））
本文提出像素级多模态对比学习方法，通过二维表示和对比学习提升遥感图像中特征提取效果，优于现有方法。
2026-01-07 cs.AI cs.CV
RQUL-UIE: Revitalizing Quality-Unstable Labels for Underwater Image Enhancement via In-Dataset Self-Supervision
The Hong Kong Polytechnic University（香港理工大学）
提出一种基于扩散模型的数据集内自监督学习策略，通过评估标签质量并量化噪声级别进行分步去噪监督，结合傅里叶细化网络，有效利用不稳定标签提升水下图像增强质量。
2026-09-07 cs.CV
An Elastic Interaction-Based Loss Function for Medical Image Segmentation
The Hong Kong University of Science and Technology（香港科技大学）
深度学习技术在医学图像分割方面取得了成功，因为它们易于操作并且对各种类型的数据集具有鲁棒性。深度分割任务中常用的损失函数是逐像素损失函数。这导致了这些模型的瓶颈，以实现高精度的生物医学图像中的复杂结构。例如，视网膜图像中预测的小血管经常在像素级损失的监督下断开或甚至丢失。本文通过引入基于远程弹性交互的训练策略来解决这个问题。在该策略中，卷积神经网络（CNN）在预测区域的边界与实际对象的边界之间的弹性相互作用能量的指导下学习目标区域。在建议损失的监督下，预测区域的边界被对象边界强烈吸引，并且倾向于保持连接。实验结果表明，我们的方法是能够实现相当大的改进相比，常用的像素损失函数（交叉熵和骰子损失）和其他最近的损失函数上的三个视网膜血管分割数据集，驱动器，STARE和CHASEDB1。
2020-10-11 cs.CV eess.IV
CDRNet: Accurate Cup-to-Disc Ratio Measurement with Tight Bounding Box Supervision in Fundus Photography Using Deep Learning
Delta Micro Technology, Inc.（德尔塔微技术公司）；Shenzhen SiBright Co., Ltd.（深圳思博瑞特有限公司）
杯盘比（CDR）是青光眼诊断的重要指标之一。与文献中使用昂贵的全监督学习公式和像素级注释不同，本研究探讨了仅使用严格的限界框监督在眼底图像中进行准确CDR测量的可行性。为此，我们开发了一个名为CDRNet的双任务网络，用于精确的CDR测量，一个用于弱监督图像分割，另一个用于边界框回归。弱监督图像分割任务基于广义多实例学习公式和平滑最大值逼近来实现，并且边界框回归任务在原始图像分辨率下以单个尺度输出类特定的限界框预测。为了得到准确的限界框预测，提出了一种类特定的边界框规范化器和期望交-并。在实验中，所提出的方法进行了评估的测试集与1200图像使用CDR错误和$F_1$分数的CDR测量和骰子系数的图像分割。分级研究进行了比较所提出的方法与个人分级的性能。实验结果表明，所提出的方法优于国家的最先进的性能从全监督图像分割（FSIS）的方法，使用像素级注释CDR测量。它的表现也优于个人评分。此外，所提出的方法得到的性能接近国家的最先进的FSIS和性能的视杯和光盘分割的个人分级。代码可在\url{https://github.com/wangjuan313/CDRNet}上获得。
2022-11-09 cs.AI cs.CV
RoSplat: Robust Feed-Forward Pixel-wise Gaussian Splatting for Varying Input Views and High-Resolution Rendering
Australian National University（澳大利亚国立大学）；NVIDIA
本文提出RoSplat，通过引入alpha归一化策略和辅助3D采样正则化器，解决高斯散射在不同输入视角下的过亮问题和高分辨率渲染中的孔洞 artifacts，提升渲染质量。
2026-05-13 cs.CV
Pixel-wise Planarity for High-Precision Monocular Plane Segmentation
ETH Zurich（苏黎世联邦理工学院）；Microsoft Spatial AI Lab（微软空间智能实验室）
提出像素级平面性预测框架，结合深度与法线，通过区域生长实现高精度单目平面分割，提升几何精度与效率。
2026-09-15 cs.CV
Weakly Supervised Video Salient Object Detection via Point Supervision
Fudan University（复旦大学）；Yiwu Research Institute of Fudan University（复旦大学义乌研究院）
基于逐像素密集标注训练的视频显著目标检测模型已经取得了优异的性能，但是获得逐像素标注的数据集是费力的。一些作品试图使用潦草的注释来缓解这个问题，但点监督作为一种更节省劳动力的注释方法（甚至是用于密集预测的手动注释方法中最节省劳动力的方法）尚未被探索。在本文中，我们提出了一个强基线模型的基础上点监督。为了利用时间信息推断显著图，我们分别从短期和长期角度挖掘帧间互补信息。具体来说，我们提出了一个混合令牌注意模块，它混合光流和图像信息从正交方向，自适应突出的关键光流信息（通道维度）和关键令牌信息（空间维度）。为了利用长期线索，我们开发了长期跨帧注意力模块（LCFA），该模块帮助当前帧基于多帧标记推断显著对象。此外，我们标记两个点监督数据集，P-DAVIS和P-DAVSOD，通过重新标记DAVIS和DAVSOD数据集。在六个基准数据集上的实验表明，我们的方法优于以前最先进的弱监督方法，甚至可以与一些完全监督方法相媲美。提供源代码和数据集。
2022-07-15 cs.CV
Streaming Anchor Loss: Augmenting Supervision with Temporal Significance
Apple（苹果公司）
提出流式锚点损失（SAL），通过动态加权逐帧交叉熵损失，使流式模型聚焦关键帧，在无额外参数下提升语音检测任务的准确性与延迟。
2024-04-18 cs.AI cs.CV cs.LG
Instance-wise Depth and Motion Learning from Monocular Videos
KAIST（韩国科学技术院）；DGIST（大邱庆北科学技术院）；Microsoft Research（微软研究院）
我们提出了一个端到端的联合训练框架，该框架明确地对多个动态对象的6-DoF运动、自我运动和单目相机设置中的深度进行建模，而无需监督。我们的技术贡献是三方面的。首先，我们提出了一个可微的前向刚性投影模块，它在我们的实例深度和运动学习中起着关键作用。其次，我们设计了一个实例的光度和几何一致性损失，有效地分解背景和移动对象区域。最后，我们引入了一个新的自动注释方案来生成视频实例分割图，这些图将用作我们训练管道的输入。在详细的消融研究中，这些建议的元素得到了验证。通过在KITTI数据集上进行的大量实验，我们的框架表现出优于最先进的深度和运动估计方法。我们的代码和数据集将在https://github.com/SeokjuLee/Insta-DM上提供。
2020-04-08 cs.CV cs.LG cs.RO
SSA: Semantic Structure Aware Inference for Weakly Pixel-Wise Dense Predictions without Cost
Nanjing University Of Science And Technology（南京理工大学）
基于弱监督的像素级密集预测任务目前使用类注意力地图（CAM）来生成伪掩码作为地面实况。然而，现有的方法通常依赖于艰苦的训练模块，这可能会带来研磨的计算开销和复杂的训练过程。在这项工作中，语义结构感知推理（SSA），提出了探索隐藏在基于CNN的网络的不同阶段的语义结构信息，以生成高质量的CAM模型推理。具体地说，语义结构建模模块（SSM）首先提出了产生类无关的语义相关表示，其中每个项目表示之间的亲和度一类对象和所有其他。然后，结构化特征表示探索抛光一个不成熟的CAM通过点积运算。最后，将来自不同主干级的抛光CAM融合为输出。该方法具有无参数、不需要训练的优点。因此，它可以应用于广泛的弱监督像素密集预测任务。在弱监督目标定位和弱监督语义分割两个任务上的实验结果表明了该方法的有效性，在这两个任务上都取得了新的成果。
2021-11-05 cs.CV
