In-sample Contrastive Learning and Consistent Attention for Weakly Supervised Object Localization
Yonsei University（延世大学）
弱监督目标定位（WSOL）的目的是定位目标对象只使用图像级的监督。最近的方法鼓励模型通过丢弃最具区别性的部分来激活整个对象的特征图。然而，它们可能会导致过度扩展的背景，导致高估的本地化。在本文中，我们认为背景作为一个重要的线索，指导功能激活覆盖复杂的对象区域，并提出对比注意损失。丢失促进前景与其丢弃的版本之间的相似性，以及丢弃的版本与背景之间的不相似性。此外，我们提出前景一致性损失，惩罚较早的层产生噪音的注意力，关于后一层作为参考，为他们提供一种背景感。它引导早期层在对象上激活，而不是在局部独特的背景上激活，以便它们的注意力与后面的层相似。为了更好地优化上述损失，我们使用非局部注意力块来取代通道池注意力，从而增强注意力地图考虑空间相似性。最后但并非最不重要的是，我们建议除了最具鉴别力的区域之外，还删除背景区域。我们的方法在CUB-200-2011和ImageNet基准数据集上实现了关于顶级定位精度和MaxBoxAccV 2的最新性能，并且我们提供了对各个组件的详细分析。该代码将在网上公开，以供复制。
2020-09-25 cs.CV
Generalized Focal Loss V2: Learning Reliable Localization Quality Estimation for Dense Object Detection
Nanjing University of Science and Technology（南京理工大学）；Momenta；Nanjing University（南京大学）；Tsinghua University（清华大学）
定位质量估计（LQE）是至关重要的，在最近的密集目标检测器的进步，因为它可以提供准确的排名分数，有利于非最大值抑制处理和提高检测性能。作为常见的实践，大多数现有方法通过与对象分类或限界框回归共享的普通卷积特征来预测LQE分数。在本文中，我们探索了一个全新的和不同的视角来执行LQE -基于限界框的四个参数的学习分布。限界框分布受到启发，并在GFLV 1中引入“一般分布”，它很好地描述了预测边界框的不确定性。这样的属性使得限界框的分布统计与其真实定位质量高度相关。具体地，具有尖峰的限界框分布通常对应于高定位质量，反之亦然。通过利用分布统计数据和真实本地化质量之间的密切相关性，我们开发了一个相当轻量级的分布引导质量预测器（DGQP），用于基于GFLV 1的可靠LQE，从而产生GFLV 2。据我们所知，这是目标检测中首次尝试使用高度相关的统计表示来促进LQE。大量的实验证明了我们的方法的有效性。值得注意的是，GFLV 2（ResNet-101）在14.6 FPS下实现了46.2 AP，在COCO { \tt test-dev}上以绝对2.6 AP超过了之前最先进的ATSS基线（14.6 FPS下的43.6 AP），而不会牺牲训练和推理的效率。代码将在https://github.com/implus/GFocalV2上提供。
2020-11-25 cs.CV
Localization Uncertainty Estimation for Anchor-Free Object Detection
Electronics and Telecommunications Research Institute (ETRI)（韩国电子通信研究院）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
由于许多安全关键系统，如手术机器人和自动驾驶汽车在传感器噪声和不完整数据的不稳定环境中运行，因此目标检测器需要考虑定位不确定性。然而，现有的用于基于锚点的目标检测的不确定性估计方法存在一些局限性。1)它们对具有不同特征和尺度的异构对象属性的不确定性进行建模，例如位置（中心点）和尺度（宽度，高度），这可能难以估计。2)他们将框偏移建模为高斯分布，这与遵循Dirac delta分布的地面实况边界框不兼容。3)由于基于锚点的方法对锚点超参数敏感，因此它们的定位不确定性也可能对超参数的选择高度敏感。为了解决这些局限性，我们提出了一种新的本地化不确定性估计方法称为UAD无锚目标检测。我们的方法捕获了均匀的框偏移的四个方向（左，右，上，下）的不确定性，因此它可以判断哪个方向是不确定的，并提供[0，1]中的不确定性的定量值。为了实现这种不确定性估计，我们设计了一种新的不确定性损失，负幂对数似然损失，通过其IoU加权似然损失来度量定位不确定性，从而解决了模型误指定问题。此外，我们提出了一个不确定性意识的焦点损失反映估计的不确定性的分类得分。COCO数据集上的实验结果表明，我们的方法显着提高FCOS，高达1.8点，而不牺牲计算效率。
2022-07-06 cs.CV
Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Detection
Nanjing University of Science and Technology（南京理工大学）；Momenta（Momenta公司）；Nanjing University（南京大学）；Microsoft Research（微软研究院）；Tsinghua University（清华大学）
一级检测器基本上将目标检测表述为密集分类和定位。分类通常通过Focal Loss进行优化，并且框位置通常在Dirac delta分布下学习。单阶段检测器的最近趋势是引入单独的预测分支来估计定位的质量，其中预测的质量有助于分类以提高检测性能。本文深入研究了上述三个基本要素的表示：质量估计，分类和定位。在现有的实践中发现了两个问题，包括（1）训练和推理之间的质量估计和分类的不一致使用以及（2）当复杂场景中存在模糊性和不确定性时，用于定位的不灵活的Dirac delta分布。为了解决这些问题，我们为这些元素设计了新的表示。具体来说，我们合并到类预测向量的质量估计，形成一个联合表示的本地化质量和分类，并使用一个向量来表示任意分布的盒子位置。改进的表示消除了不一致的风险，准确地描述了实际数据中的灵活分布，但包含连续的标签，这超出了焦点损失的范围。然后，我们提出了广义焦点损失（GFL），将焦点损失从离散形式推广到连续形式，以实现成功的优化。在COCO测试开发中，GFL使用ResNet-101主干实现了45.0\%的AP，超过了最先进的SAPD（43.5\%）和ATSS（43.6\%），在相同的主干和训练设置下具有更高或相当的推理速度。值得注意的是，我们的最佳模型可以在单个2080 Ti GPU上以10 FPS实现48.2\%的单模型单尺度AP。代码和型号可在https://github.com…
2020-06-08 cs.CV
Single-Shot Two-Pronged Detector with Rectified IoU Loss
Chongqing University（重庆大学）
在基于CNN的对象检测器中，特征金字塔被广泛利用来缓解对象实例之间的尺度变化的问题。这些对象检测器通过自上而下的路径和横向连接来增强特征，主要是为了丰富低层特征的语义信息，而忽略了高层特征的增强。这可能导致不同层次特征之间的不平衡，特别是高级特征中严重缺乏详细信息，这使得难以获得准确的边界框。本文提出了一种新的双向转换思想，从前后两个方向探索不同层次之间的关系，既丰富了低层特征的语义信息，又丰富了高层特征的细节信息。在这一双管齐下的思想指导下，本文提出了一种双叉网络（Two-Pronged Network，TPNet），实现了高层特征和底层特征的双向传递，有助于在不同尺度下准确检测目标。此外，由于单级检测器中难样本和易样本之间的分布不平衡，定位损失的梯度总是由定位精度较差的难样本主导。这将使模型偏向硬样本。因此，在我们的TPNet中，提出了一种自适应的基于IoU的定位损失，称为矫正IoU（RIoU）损失，以纠正每种样本的梯度。修正后的IoU损失增加了高IoU样本的梯度，同时抑制了低IoU样本的梯度，这可以提高模型的整体定位精度。大量的实验证明了我们的TPNet和RIoU损失的优越性。
2020-08-08 cs.CV
A New Window Loss Function for Bone Fracture Detection and Localization in X-ray Images with Point-based Annotation
PAII Inc.（PAII公司）
目标检测方法被广泛用于使用医学图像的计算机辅助诊断。异常发现通常被视为由边界框描述的对象。然而，许多病理发现，例如，由于相当多的实例、形状和边界模糊性，不能通过边界框清楚地定义骨折。这使得限界框注释及其相关损失非常不合适。在这项工作中，我们提出了一种新的X射线图像的骨折检测方法，劳动有效和灵活的注释计划的基础上，适合于没有明确的对象级的空间范围或边界的异常发现。我们的方法采用了一个简单，直观，信息丰富的基于点的注释协议，标记本地化的病理信息。为了解决通过点注释的断裂尺度中的不确定性，我们将注释转换为像素级监督，该监督使用具有正、负和不确定区域的下限和上限。随后提出了一种新的窗口损失，只惩罚不确定区域以外的预测。我们的方法已被广泛评估4410骨盆X线图像的独特的患者。实验表明，我们的方法优于以前的国家的最先进的图像分类和目标检测基线的健康的利润率，与AUROC为0.983和FROC得分为89.6%。
2021-01-04 cs.CV
Bounding Box Regression with Uncertainty for Accurate Object Detection
Carnegie Mellon University（卡内基梅隆大学）；Megvii Inc. (Face++)（旷视科技（Face++））
大规模目标检测数据集（例如，MS-COCO）尝试尽可能清晰地定义地面实况边界框。然而，我们观察到，当标记边界框时，仍然会引入歧义。在本文中，我们提出了一种新的限界框回归损失学习限界框变换和本地化方差一起。我们的损失大大提高了各种架构的定位精度，几乎没有额外的计算。学习到的定位方差允许我们在非最大抑制（NMS）期间合并相邻的边界框，这进一步提高了定位性能。在MS-COCO上，我们将VGG-16 Faster R-CNN的平均精度（AP）从23.6%提高到29.1%。更重要的是，对于ResNet-50-FPN Mask R-CNN，我们的方法将AP和AP 90分别提高了1.8%和6.2%，显著优于之前最先进的限界框细化方法。我们的代码和模型可在github.com/yihui-he/KL-Loss上获得
2019-04-16 cs.CV
Aortic root landmark localization with optimal transport loss for heatmap regression
Meiji Institute for Advanced Study of Mathematical Sciences, Meiji University（明治大学先端数学研究所）；The Jikei University School of Medicine（慈惠医科大学）；Sendai Kousei Hospital（仙台厚生病院）；School of Interdisciplinary Mathematical Sciences, Meiji University（明治大学跨学科数学学部）
本文提出一种基于最优传输损失的一步式主动脉根部关键点定位方法，在3D CT图像上显著降低估计误差并兼顾精度与训练稳定性。
2024-07-06 cs.AI cs.CV stat.AP
SEMEDA: Enhancing Segmentation Precision with Semantic Edge Aware Loss
Sorbonne Université（索邦大学）
虽然现在深度神经网络在语义分割任务上取得了令人印象深刻的性能，但它们通常是通过优化像素损失（如交叉熵）来训练的。因此，这种网络输出的预测通常很难准确地捕捉对象边界，并在对象内部显示出漏洞。在本文中，我们提出了一种新的方法来改善预测分割掩模的结构。我们介绍了一种新的语义边缘检测网络，它允许匹配的预测和地面真相分割掩模。这种语义边缘感知策略（SEMEDA）可以与端到端训练框架中的任何骨干深度网络相结合。通过对Pascal VOC 2012和Cityscapes数据集的全面实验验证，我们表明，所提出的SEMEDA方法通过强制执行尖锐边界和避免对象内部的不连续性来增强预测分割掩码的结构，从而提高分割性能。此外，我们的语义边缘感知损失可以集成到任何流行的分割网络中，而不需要任何额外的注释，并且与标准像素交叉熵损失相比，计算负载可以忽略不计。
2019-05-06 cs.CV
Grounding Everything: Emerging Localization Properties in Vision-Language Transformers
University of Bonn（波恩大学）；Goethe University Frankfurt（法兰克福歌德大学）；Stanford University（斯坦福大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本研究发现预训练视觉-语言模型具备无需微调的零样本开放词汇定位能力，提出GEM模块将价值-价值注意力推广为自-自注意力并辅以正则化，在多个语义分割基准上超越同类方法，在OpenImagesV7上达SOTA。
2023-12-14 cs.AI cs.CV
Self-Supervised Learning for Biological Sample Localization in 3D Tomographic Images
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Heidelberg University（海德堡大学）
在基于同步加速器的计算机断层扫描（CT）中，存在空间分辨率、视场和样品的定位和对准速度之间的权衡。这个问题对于高通量层析成像（一种自动化装置，能够在没有人为干预的情况下扫描大批量样品）来说更加突出。因此，在许多应用中，只有20-30%的重建体积包含实际样本。这样的数据冗余使存储混乱并且增加了处理时间。因此，样品的自动定位成为一个重要的实际问题。在这项工作中，我们描述了两个自我监督的生物CT设计的损失。我们进一步展示了如何使用样本定位的不确定性估计。这种方法显示了定位样本的能力，相对误差小于1.5%，并将所使用的存储器减少了四分之一。我们还表明，提出的损失之一工程合理以及作为一个预训练任务的语义分割。
2023-01-11 cs.CV cs.LG
Topology-Guaranteed Image Segmentation: Enforcing Connectivity, Genus, and Width Constraints
Laboratory of Mathematics and Complex Systems (Ministry of Education of China)（数学与复杂系统实验室（教育部））；School of Mathematical Sciences, Beijing Normal University（北京师范大学数学系）；NORCE Norwegian Research Centre（挪威国家研究中心）；Beijing Normal University（北京师范大学）
本文提出一种整合宽度信息的拓扑框架，通过持续同调和PDE平滑技术，实现图像分割中连接性、生成数和宽度属性的精确保持。
2026-01-16 cs.AI cs.CV
Promoting Connectivity of Network-Like Structures by Enforcing Region Separation
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Stanford University（斯坦福大学）
我们提出了一种新颖的、面向连接性的损失函数，用于训练深度卷积网络，以从航空图像中重建网络状结构，如道路和灌溉渠。损失背后的主要思想是表达道路或运河的连通性，即它们在图像的背景区域之间创建的断开。简而言之，预测道路中的间隙导致位于地面实况道路的相对侧上的两个背景区域在预测中接触。我们的损失函数旨在防止背景区域之间的这种不必要的连接，从而关闭预测道路中的间隙。它还通过惩罚背景区域的不必要断开来防止预测假阳性道路和运河。为了捕捉即使是短的，死胡同路段，我们评估的损失，在小的图像作物。我们表明，在实验中的两个标准的道路基准和一个新的数据集的灌溉渠，我们的损失函数训练的convnets恢复道路连通性如此之好，它足以将其输出，以产生最先进的地图。我们的方法的一个明显优势是，损失可以插入到任何现有的训练设置，而无需进一步修改。
2020-09-15 cs.CV
Discriminability-enforcing loss to improve representation learning
University of Bucharest（布加勒斯特大学）
在训练过程中，深度神经网络隐式地学习通过特征层次来表示输入数据样本，其中层次的大小由层数确定。在本文中，我们专注于加强高级表示的区分能力，这些表示通常由更深层（更接近输出）学习。为此，我们引入了一个新的损失项的灵感来自基尼杂质，其目的是最大限度地减少熵（增加区分能力）的个别高级别的功能相对于类标签。虽然我们的基尼损失导致了高区分度的特征，但它并不能确保高级特征的分布与类的分布相匹配。因此，我们引入另一个损失项来最小化两个分布之间的Kullback-Leibler散度。我们对两个图像分类数据集（CIFAR-100和Caltech 101）进行了实验，考虑了从卷积网络（ResNet-17，ResNet-18，ResNet-50）到Transformers（CvT）的多种神经架构。我们的实证结果表明，将我们的新损失项集成到训练目标中始终优于单独使用交叉熵训练的模型，而根本不会增加推理时间。
2022-04-07 cs.CV cs.LG
Multi-Task Learning with Multi-Annotation Triplet Loss for Improved Object Detection
University of Florida（佛罗里达大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）；Department of Computer and Information Science and Engineering（计算机与信息科学与工程系）
本文提出多注释三元组损失框架，通过整合额外注释信息提升多任务学习中目标检测的性能。
2025-04-10 cs.AI cs.CV cs.LG
A Quadruplet Loss for Enforcing Semantically Coherent Embeddings in Multi-output Classification Problems
Instituto de Telecomunicações（电信研究所）；University of Beira Interior（贝拉内格罗大学）
本文描述了一个用于学习多输出分类问题中语义一致特征嵌入的目标函数，即，当响应变量的维数大于1时。特别是，我们认为在视觉监控环境中的身份检索和软生物特征标记的问题，这已经吸引了越来越多的兴趣。受三重损失[34]函数的启发，我们提出了一个推广：1）定义一个考虑元素对之间一致标签数量的度量; 2）忽略锚点的概念，根据对之间一致标签的数量，对于A，B，C，D距离约束，将d（A1，A2）< d（A1，B）替换为d（A，B）< d（C，D）。作为三重损失公式，我们的建议也优先考虑正对之间的小距离，但同时明确规定其他对之间的距离直接对应于它们在一致标签方面的相似性。这产生了在类质心和它们的语义描述之间具有强对应性的特征嵌入，即，其中，元素与共享它们的一些标签的其他元素的距离比与具有完全不相交的标签成员关系的元素的距离更近。作为实际效果，所提出的损失可以被视为特别适合于基于作为k-邻居的简单规则来执行联合粗略（软标签）+精细（ID）推断，这相对于先前相关的损失函数是新颖的。此外，与其三元组对应物相反，所提出的损失对于挖掘学习实例（例如半硬对）的任何苛刻标准都是不可知的。我们的实验在五个不同的数据集（BIODI，LFW，IJB-A，Megaface和PETA）进行，并验证了我们的假设，显示出非常有前途的结果。
2020-03-20 cs.CV
3C-Net: Category Count and Center Loss for Weakly-Supervised Action Localization
Inception Institute of Artificial Intelligence（Inception人工智能研究院）
时间动作定位是一个具有挑战性的计算机视觉问题，具有许多现实世界的应用。大多数现有方法需要费力的帧级监督来训练动作本地化模型。在这项工作中，我们提出了一个框架，称为3C-Net，它只需要视频级的监督（弱监督）的动作类别标签和相应的计数的形式。我们引入了一种新的配方来学习具有增强定位能力的判别动作特征。我们的联合制定有三个方面：一个分类术语，以确保学习的动作特征的可分性，一个适应多标签中心损失长期，以提高动作特征的可辨别性和计数损失长期划定相邻的动作序列，从而提高本地化。在两个具有挑战性的基准上进行了全面的实验：THUMOS 14和ActivityNet 1.2。我们的方法为这两个数据集上的弱监督时间动作定位提供了一种新的最先进的方法。在THUMOS 14数据集上，与最先进的方法相比，所提出的方法在平均精度（mAP）方面实现了4.6%的绝对增益。源代码可在www.example.com上获得。
2019-11-18 cs.CV
Learning Quintuplet Loss for Large-scale Visual Geo-Localization
Center for Robotics, UESTC（电子科技大学机器人中心）；school of vehicle and transportation, Tsinghua University（清华大学车辆与运载学院）；Microsoft Research（微软研究院）
随着人工智能（AI）技术的成熟，大规模视觉地理定位（LSVGL）在城市计算中越来越重要，其任务是准确高效地识别给定查询图像的地理位置。LSVGL面临的主要挑战，许多实验，由于现实世界的地方的外观可能会有不同的方式。而由于视角的任意性，训练图像和查询图像之间几乎不可避免地存在视角偏差。针对这种情况，本文深入分析了LSVGL框架中最常用的度量学习损失--三元组损失的局限性，提出了一种新的QUInTuplet Loss（QUITLoss），将所有潜在的正样本嵌入到原始的三元组损失中。大量的实验已经进行，以验证所提出的方法的有效性和结果表明，我们的新损失可以提高各种LSVGL方法。
2020-10-09 cs.CV
DeepSolarEye: Power Loss Prediction and Weakly Supervised Soiling Localization via Fully Convolutional Networks for Solar Panels
University of Washington（华盛顿大学）；IBM Research Lab（IBM研究实验室）
污垢对太阳能电池板的影响是可再生能源领域中一个重要且研究充分的问题。在本文中，我们提出了第一个基于卷积神经网络（CNN）的方法，用于太阳能电池板污染和缺陷分析。我们的方法将太阳能电池板的RGB图像和环境因素作为输入来预测功率损耗、污染定位和污染类型。在计算机视觉中，定位是一项复杂的任务，通常需要手动标记的训练数据，例如边界框或分割掩模。我们提出的方法包括专门的四个阶段，完全避免了本地化的地面真相，只需要面板图像与功率损失标签的训练。使用网络监督学习将从预测的定位掩模获得的影响区域分类为污染类型。为了提高CNN的定位能力，我们引入了一种新的双向输入感知融合（BiDIAF）块，该块在CNN的不同级别上加强输入，以学习特定于输入的特征图。我们的实证研究表明，BiDIAF提高了约3%的功率损耗预测精度和约4%的定位精度。当以弱监督方式学习时，我们的端到端模型在本地化方面进一步提高了约24%。我们的方法是可推广的，并在网络抓取的太阳能电池板图像上显示出有希望的结果。我们的系统在NVIDIA TitanX GPU上的帧速率为22 fps（包括所有步骤）。此外，我们收集了第一个用于太阳能电池板图像分析的数据集，包括45，000多张图像。
2018-03-18 cs.CV
Learning Condition Invariant Features for Retrieval-Based Localization from 1M Images
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
用于基于检索的定位的图像特征必须对动态对象（例如汽车）以及季节和白天的变化保持不变。这种不变性在某种程度上是可以通过现有的方法学习的，这些方法使用的是三元组损失，给定大量不同的训练图像。然而，由于算法训练复杂度高，在大数据集上不同损失函数之间存在不足的比较。在本文中，我们在三个不同的基准数据集上训练和评估几种定位方法，包括拥有超过一百万张图像的Oxford RobotCar。这种大规模的评估产生了有价值的见解的普遍性和性能的检索为基础的本地化。基于我们的研究结果，我们开发了一种新的方法来学习更准确，更好地概括本地化功能。它包括两个主要贡献：（i）基于特征量的损失函数，（ii）硬正和成对负挖掘。在具有挑战性的牛津RobotCar夜间条件下，我们的方法在5米范围内的定位精度比著名的三重损失高出24.4%。
2020-12-08 cs.CV
Dense Point Prediction: A Simple Baseline for Crowd Counting and Localization
Nanyang Technological University（南洋理工大学）
在本文中，我们提出了一个简单而有效的人群计数和定位网络名为SCALNet。与大多数将计数和定位任务分开的现有作品不同，我们将这些任务视为像素密集预测问题，并将其集成到端到端框架中。具体而言，对于人群计数，我们采用了由均方误差（MSE）损失监督的计数头。对于人群定位，关键的洞察力是识别人的关键点，即，头部的中心点。我们提出了一个定位头来区分密集人群训练的两个损失函数，即，负抑制焦点（NSF）损失和假阳性（FP）损失，其平衡正/负示例并处理假阳性预测。在最近的大规模基准测试NWPU-Crowd上的实验表明，我们的方法在人群定位和计数任务上分别比最先进的方法提高了5%和10%以上。该代码可在https://github.com/WangyiNTU/SCALNet上公开获取。
2021-04-26 cs.CV
SuSana Distancia is all you need: Enforcing class separability in metric learning via two novel distance-based loss functions for few-shot image classification
Tecnologico de Monterrey, School of Engineering and Sciences（蒙特雷理工学院工程与科学学院）；Centro de Investigación y de Estudios Avanzados（高级研究与调查中心）
针对少样本学习中潜在空间类可分性未完全强制的问题，提出Proto-Triplet Loss和ICNN loss两种基于距离的损失函数，在miniImagenet上提升2%准确率，并在多个数据集上展现竞争力。
2023-05-18 cs.AI cs.CV
PC-UNet: An Enforcing Poisson Statistics U-Net for Positron Emission Tomography Denoising
School of Computer Science and Technology, Guangdong University of Technology（广东技术大学计算机科学与技术学院）；Zhongshan School of Medicine, Sun Yat-sen University（中山大学仲沙医学院）；School of Mathematics and Statistics, Guangdong University of Technology（广东技术大学数学与统计学院）；School of Mathematics (Zhuhai), Sun Yat-sen University（中山大学珠海数学学院）；Future Technology Institute, South China University of Technology（华南理工大学未来技术研究院）；School of Computer Science and Engineering, Huizhou University（惠州大学计算机科学与工程学院）
PC-UNet 通过引入泊松方差和均值一致性损失，有效提升 PET 图像去噪的物理一致性与保真度。
2025-10-10 cs.AI cs.CV
Weakly Supervised Temporal Action Localization with Segment-Level Labels
Xidian University（西安电子科技大学）；IntelliFusion（云天励飞）；The University of Sydney（悉尼大学）
时间动作定位提出了测试性能和注释时间成本之间的权衡。完全监督的方法通过耗时的边界注释实现了良好的性能。具有更便宜的视频级类别标签注释的弱监督方法导致更差的性能。在本文中，我们引入了一个新的段级监督设置：当注释者观察到这里发生的动作时，段被标记。我们将这种段级监督与一个新的本地化模块一起纳入培训中。具体来说，我们设计了一个部分段损失视为一个损失抽样学习的标记段的整体动作部分。由于标记的片段只是动作的一部分，因此模型往往会随着训练过程而过拟合。为了解决这个问题，我们首先获得一个相似性矩阵的判别功能的指导下，球损失。然后，基于矩阵设计传播损失以充当正则化项，从而允许在训练期间隐式未标记的片段传播。实验证明，该方法在标注时间几乎相同的情况下，性能优于视频级监督方法。
2020-07-03 cs.CV
PICCOLO: Point Cloud-Centric Omnidirectional Localization
Seoul National University（首尔大学）
本研究提出以点云为中心的全向定位算法PICCOLO，通过基于点云投影位置的采样损失与梯度下降优化匹配点云和全景图，无需训练即可高精度稳定地恢复360°全景相机位姿。
2024-02-02 cs.CV
Composition Loss for Counting, Density Map Estimation and Localization in Dense Crowds
Carnegie Mellon University（卡内基梅隆大学）；University of Central Florida（中佛罗里达大学）；NVIDIA Inc.（英伟达公司）；Qatar University（卡塔尔大学）；University of Warwick（华威大学）
每年有数百万人聚集在一起，从朝圣到抗议，从音乐会到马拉松，从节日到葬礼，视觉人群分析正在成为计算机视觉的一个新领域。特别是，在高度密集的人群中计数是一个具有挑战性的问题，在人群安全和管理方面具有深远的适用性，以及衡量抗议和示威的政治意义。在本文中，我们提出了一种新的方法，同时解决了在一个给定的密集人群图像的计数，密度图估计和定位的人的问题。我们的公式是基于一个重要的观察，这三个问题是内在相关的，使损失函数优化深度CNN可分解。由于定位需要高质量的图像和注释，我们引入了UCF-QNRF数据集，克服了以前数据集的缺点，包含125万人手动标记点注释。最后，我们提出了评估措施，并与最近的深度CNN网络进行了比较，包括专门为人群计数开发的网络。我们的方法在新数据集上的表现明显优于最先进的方法，新数据集是最具挑战性的数据集，在最多样化的场景中具有最多的人群注释。
2018-08-02 cs.CV
Adversarial Background-Aware Loss for Weakly-supervised Temporal Activity Localization
University of Michigan（密歇根大学）
近年来，对未修剪视频中的时间定位活动进行了广泛的研究。尽管最近的进展，现有的方法弱监督的时间活动本地化的斗争，以识别活动时，没有发生。为了解决这个问题，我们提出了一种新的方法命名为A2 CL-PT。在我们的方法中考虑了特征空间的两个三元组：一个三元组用于学习每个活动类的判别特征，另一个三元组用于区分每个视频的活动相关特征和没有活动发生的特征（即背景特征）。为了进一步提高性能，我们使用两个并行的分支来构建我们的网络，这两个分支以对抗的方式运行：第一个分支定位视频中最突出的活动，第二个分支从视频的非本地化部分中找到其他补充活动。在THUMOS 14和ActivityNet数据集上进行的大量实验表明，我们提出的方法是有效的。具体而言，THUMOS 14数据集上从0.1到0.9的IoU阈值的平均mAP从27.9%显著提高到30.0%。
2020-07-13 cs.CV
Deep Motion Prior for Weakly-Supervised Temporal Action Localization
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；Columbia University（哥伦比亚大学）；National University of Singapore（新加坡国立大学）
弱监督时间动作定位（WSTAL）的目的是定位动作在未经修剪的视频只有视频级的标签。目前，大多数最先进的WSTAL方法都遵循多实例学习（MIL）管道：首先生成片段级预测，然后聚合到视频级预测。然而，我们认为现有的方法忽略了两个重要的缺点：1）运动信息的使用不足和2）普遍的交叉熵训练损失的不兼容性。在本文中，我们分析，运动线索背后的光流功能是互补的信息。受此启发，我们建议建立一个上下文相关的运动先验，称为motionness。具体地，引入运动图以基于局部运动载体（例如，光流）。此外，为了突出更多信息的视频片段，提出了一种运动引导的损失来调节以运动性分数为条件的网络训练。广泛的消融研究证实，运动性有效地模拟了感兴趣的动作，运动引导的损失导致更准确的结果。此外，我们的运动引导损失是一个即插即用的损失函数，并适用于现有的WSTAL方法。不失一般性，基于标准MIL流水线，我们的方法在三个具有挑战性的基准测试中实现了新的最先进的性能，包括THUMOS'14，ActivityNet v1.2和v1.3。
2022-07-29 cs.CV
Improving Image-Based Localization with Deep Learning: The Impact of the Loss Function
University of Western Australia（西澳大学）
这项工作研究的损失函数的性能上的神经网络的影响，在一个单眼，仅RGB，图像定位任务的背景下。当从图像回归相机的姿态时使用的常见技术是将损失公式化为位置和旋转均方误差的线性组合（使用调谐的超参数作为系数）。在这项工作中，我们观察到旋转和位置的变化相互影响捕获的图像，为了提高性能，姿态回归网络的损失函数应包括一个项，它结合了这两个耦合量的误差。基于任务特定的观察和实验调整，我们提出了所述损失项，并通过将该损失项附加到预先存在的姿态回归网络“PoseNet”的损失函数来创建新模型。我们实现了室内场景网络定位精度的提高;与默认PoseNet相比，中值位置和旋转误差分别降低了26.7%和24.0%。
2019-07-28 cs.AI cs.CV
DDM-NET: End-to-end learning of keypoint feature Detection, Description and Matching for 3D localization
Stevens Institute of Technology（史蒂文斯理工学院）；Wormpex AI Research（Wormpex人工智能研究院）
在本文中，我们提出了一个端到端的框架，共同学习关键点检测，描述符表示和跨帧匹配的任务，基于图像的3D定位。现有技术已经单独地解决了这些组件中的每一个，据称旨在减轻有效地训练整体网络的困难。我们设计了一个自监督的图像变形对应损失的特征检测和匹配，相对相机姿态学习的弱监督极线约束损失，和一个方向匹配方案，检测源图像中的关键点特征，并对目标图像进行粗到细的对应搜索。我们利用这个框架来执行我们的匹配模块中的周期一致性。此外，我们提出了一种新的损失，以鲁棒地处理明确的内点/离群点匹配和不太确定的匹配。这些学习机制的集成使得能够对执行所有三个本地化组件的单个网络进行端到端训练。在公共数据集上对我们的方法进行基准测试，证明了这样一个端到端框架如何能够产生更准确的定位，其性能优于传统方法和最先进的弱监督方法。
2023-02-01 cs.CV
Domain-invariant Similarity Activation Map Contrastive Learning for Retrieval-based Long-term Visual Localization
Shanghai Jiao Tong University（上海交通大学）；University of Cambridge（剑桥大学）
视觉定位是移动机器人和自动驾驶应用中的一个关键环节。图像检索是基于图像的定位方法中一种有效的技术。由于环境条件的剧烈变化，如光照，季节和天气的变化，基于检索的视觉定位受到严重影响，成为一个具有挑战性的问题。在这项工作中，一个通用的架构，首先制定概率通过多域图像转换提取域不变特征。然后，一种新的梯度加权相似性激活映射损失（Grad-SAM）被纳入更精细的定位与高精度。我们还提出了一种新的自适应三重损失，以提高对比学习的嵌入在一个自我监督的方式。最终的粗到精的图像检索流水线被实现为不具有和具有Grad-SAM损失的模型的顺序组合。在CMUSeasons数据集上进行了大量的实验，验证了该方法的有效性。使用CMU-Seasons数据集城市部分预训练的模型在RobotCar数据集上验证了我们方法的强大泛化能力。我们的性能与中等或高精度的最先进的基于图像的定位基线相当，甚至优于这些基线，特别是在具有光照变化，植被和夜间图像的挑战性环境下。代码和预训练模型可在https://github.com/HanjiangHu/DISAM上获得。
2021-10-14 cs.CV
Forcing the Whole Video as Background: An Adversarial Learning Strategy for Weakly Temporal Action Localization
Chongqing University（重庆大学）
利用视频级标签，弱监督时间动作定位（WTAL）应用分类定位范式来检测和分类未修剪视频中的动作。在WTAL中，由于分类的特点，不可避免地会误激活特定类别的背景片段，以提高分类器的可区分性。为了减轻背景的干扰，现有的方法试图扩大行动和背景之间的差异，通过建模的背景片段与伪片段级的注释，这在很大程度上依赖于人工假设。与以往的工作不同，我们提出了一个对抗性的学习策略，以打破挖掘伪背景片段的限制。具体地说，背景分类丢失迫使整个视频被视为背景的背景梯度增强策略，混淆了识别模型。值得注意的是，前景（动作）损失引导模型在这种情况下专注于动作片段。因此，两种分类损失之间的竞争驱动模型提高其动作建模的能力。同时，设计了一种新的时间增强网络，使模型能够基于所提出的策略构建亲和片段的时间关系，进一步提高动作定位的性能。最后，在THUMOS 14和ActivityNet1.2上进行了大量实验，验证了该方法的有效性。
2022-07-14 cs.CV
rPPG-SysDiaGAN: Systolic-Diastolic Feature Localization in rPPG Using Generative Adversarial Network with Multi-Domain Discriminator
West Virginia University（西弗吉尼亚大学）
本文提出rPPG-SysDiaGAN架构，通过引入专注于时域、频域及时域信号二阶导数的多判别器生成对抗网络，从面部视频中提取rPPG信号，解决了现有方法无法准确区分收缩和舒张成分的问题。
2025-04-01 cs.CV
D2-Net: Weakly-Supervised Action Localization via Discriminative Embeddings and Denoised Activations
Inception Institute of Artificial Intelligence（启元人工智能研究院）；Mohamed Bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；Monash University（莫纳什大学）；Linköping University（林雪平大学）；University of California Merced（加州大学默塞德分校）；Google Research（谷歌研究院）；Yonsei University（延世大学）
这项工作提出了一个弱监督的时间动作定位框架，称为D2-Net，它致力于使用视频级监督来时间定位动作。我们的主要贡献是引入了一种新的损失公式，它共同提高了潜在嵌入的可辨别性和输出时间类激活的鲁棒性，相对于由弱监督引起的前景背景噪声。所提出的配方包括一个判别和去噪损失项，用于增强时间动作定位。判别项引入了分类损失，并利用自上而下的注意力机制来增强潜在前景-背景嵌入的可分性。去噪损失项通过使用自下而上的注意力机制同时最大化视频内和视频间互信息来明确地解决类激活中的前景-背景噪声。因此，前景区域中的激活被强调，而背景区域中的激活被抑制，从而导致更鲁棒的预测。在多个基准上进行了全面的实验，包括THUMOS 14和ActivityNet1.2。与现有方法相比，我们的D2-Net在所有数据集上的表现都很好，在THUMOS 14上的IoU=0.5时，mAP的增益高达2.3%。源代码可在https://github.com/naraysa/D2-Net上获得
2021-08-23 cs.CV
Object-aware Sound Source Localization via Audio-Visual Scene Understanding
Kyung Hee University（庆熙大学）；KAIST AI（韩国科学技术院人工智能研究所）；Sungkyunkwan University（成均馆大学）
提出基于多模态大语言模型的对象感知声音源定位框架，通过生成详细上下文区分发声与静音对象，并引入OCA和ORI损失，在MUSIC和VGGSound上显著优于现有方法。
2025-06-24 cs.CV
Leveraging Diffusion Models for Synthetic Data Augmentation in Protein Subcellular Localization Classification
本研究探讨利用DDPM生成合成图像以增强蛋白质亚细胞定位多标签分类，提出MixModel结合混合训练策略，但泛化不佳，而基于ResNet的基线分类器表现更稳定，凸显了逼真数据生成与稳健监督的重要性。
2025-05-28 cs.CV
Stochastic Attraction-Repulsion Embedding for Large Scale Image Localization
Australian National University（澳大利亚国立大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；Northwestern Polytechnical University（西北工业大学）
本文解决了大规模的基于图像的定位（IBL）的问题，其中查询图像的空间位置是通过在大型数据库中找出最相似的参考图像来确定的。为了解决这个问题，一个关键的任务是学习判别图像表示，捕捉相关的信息定位。我们提出了一种新的表示学习方法具有较高的位置辨别能力。它提供了以下贡献：1）我们代表一个地方（location）作为描述相同地标的一组示例图像，并旨在最大化地点内图像之间的相似性，同时最小化地点间图像之间的相似性; 2）我们将相似性度量建模为地点内和地点间图像表示之间的L_2度量距离的概率分布; 3）提出了一种新的随机吸引和排斥嵌入（SARE）损失函数，使学习概率分布和实际概率分布之间的KL偏差最小化; 4）对SARE、三重排序和对比损失进行了理论比较。它通过分析梯度来深入了解SARE为什么更好。我们的SARE损失很容易实现，可插入任何CNN。实验表明，我们提出的方法提高了定位性能的标准基准的大幅度。证明了我们的方法的广泛适用性，我们在2018年谷歌地标检索挑战赛中获得了209个团队的第三名。我们的代码和模型可以在https://github.com/Liumouliu/deepIBL上找到。
2019-08-06 cs.CV
Semantic-Guided Multi-Attention Localization for Zero-Shot Learning
Rutgers University（罗格斯大学）；Hikvision Research Institute（海康威视研究院）；University of Delaware（特拉华大学）
零样本学习通过引入类的语义表示，将传统的对象分类扩展到不可见的类识别。现有的方法主要集中在学习适当的映射函数的视觉语义嵌入，而忽略了学习的区别性视觉特征的效果。本文研究了判别式区域定位的意义。我们提出了一个语义引导的多注意定位模型，该模型自动发现对象的最有区别的部分，用于零样本学习，而无需任何人工注释。我们的模型共同学习合作的全局和局部特征，从整个对象以及检测到的部分，分类对象的语义描述的基础上。此外，通过嵌入softmax损失和类中心三元组损失的联合监督，鼓励模型学习具有高类间分散性和类内紧凑性的特征。通过对三个广泛使用的零样本学习基准测试的综合实验，我们展示了多注意力定位的有效性，并且我们所提出的方法大大提高了最先进的结果。
2019-12-02 cs.CV
Localization with Limited Annotation for Chest X-rays
Technion - Israel Institute of Technology（以色列理工学院）；Google Research（谷歌研究院）
图像内的对象的定位是医学成像中的常见任务。学习定位或检测对象通常需要收集已标记有边界框或类似注释的数据，这可能非常耗时且昂贵。因此，一种可以用更少的注释来执行这种学习的技术将是非常有价值的。我们提出了这样一种技术的本地化与有限的注释，其中具有边界框的图像的数量可以是总数据集的一小部分（例如，小于1%）;所有其他图像只拥有一个完整的图像标签，没有限界框。我们提出了一种新的损失函数来解决这个问题，损失是一个连续放松的定义良好的离散制定弱监督学习，是数值上的适定性。此外，我们提出了一个新的架构，占补丁依赖性和平移不变性，通过包括CRF层和抗混叠滤波器，分别。我们将我们的技术应用于胸部X射线图像中胸部疾病的定位，并在ChestX-ray 14数据集上展示了最先进的定位性能。
2019-10-10 cs.CV
Drone-based Joint Density Map Estimation, Localization and Tracking with Space-Time Multi-Scale Attention Network
JD Finance America Corporation（京东金融美国公司）；Tianjin University（天津大学）；University at Albany, State University of New York（纽约州立大学奥尔巴尼分校）
本文提出了一种时空多尺度注意力网络（STANet），用于解决无人机拍摄的具有任意人群密度、视角和飞行高度的密集人群视频片段中的密度图估计、定位和跟踪问题。我们的STANet方法在连续帧中聚合多尺度特征图以利用时间相干性，然后预测密度图，定位目标，并同时将它们关联到人群中。设计了一个由粗到细的过程，逐渐将注意力模块应用于聚合的多尺度特征图，以强制网络利用有区别的时空特征以获得更好的性能。整个网络以端到端的方式进行训练，多任务损失由三项组成，即，密度图损失、定位损失和关联损失。采用非最大抑制和最小代价流框架生成场景中目标的运动轨迹。由于现有的人群计数数据集仅关注静态摄像机中的人群计数，而不是密度图估计，无人机上的人群计数和跟踪，因此我们收集了一个新的基于无人机的大规模数据集DroneCrowd，由112个视频剪辑组成，具有33，600个高分辨率帧（即，1920 x1080）在70个不同的场景中捕获。经过大量的努力，我们的数据集提供了20，800人的轨迹，其中包括480万个头部注释和几个视频级属性。在两个具有挑战性的公共数据集上进行了广泛的实验，即，上海科技和UCF-QNRF，以及我们的DroneCrowd，以证明STANet在最先进的技术水平下取得了良好的性能。数据集和代码可以在https://github.com/VisDrone上找到。
2019-12-04 cs.CV
EAGLE: An Edge-Aware Gradient Localization Enhanced Loss for CT Image Reconstruction
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；University Hospital Erlangen（埃尔朗根大学医院）
提出Eagle-Loss损失函数，通过梯度变化中局部特征的频谱分析增强CT重建图像的边缘清晰度，在低剂量CT重建和视野扩展任务中超越现有方法。
2024-03-15 cs.CV eess.IV
Stay in your Lane: Role Specific Queries with Overlap Suppression Loss for Dense Video Captioning
Konkuk University（韩国康 kuk 大学）；Sejong University（世宗大学）；KAIST（韩国科学技术院）
本文提出角色特定查询与重叠抑制损失，用于解决密集视频描述中的多任务干扰和时间冗余问题，通过分离定位与描述任务并增强语义一致性，提升描述精度。
2026-03-12 cs.CV
Distributional Loss for Robust Classification
Institute for Neuro- and Bioinformatics（神经与生物信息学研究所）
提出一种基于双峰高斯分布的分布损失概念，通过软化目标隐式捕捉类别模糊性，缓解过拟合，提升决策边界鲁棒性，尤其在低数据场景下效果显著。
2026-06-12 cs.CV cs.LG
Self-Guided Multiple Instance Learning for Weakly Supervised Disease Classification and Localization in Chest Radiographs
HIDSS4Health - Helmholtz Information and Data Science School for Health（HIDSS4Health——亥姆霍兹健康信息与数据科学学院）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；German Cancer Research Center Heidelberg（海德堡德国癌症研究中心）
缺乏细粒度的注释阻碍了自动诊断系统的部署，这需要人类对其决策过程进行解释。在本文中，我们解决的问题，弱监督识别和定位异常胸片。为此，我们引入了一种新的损失函数来训练卷积神经网络，增加了\emph{localization confidence}并辅助了整个\emph{disease identification}。损失利用图像级和补丁级预测来生成辅助监督。我们不是像以前的损失公式那样从预测中形成严格的二进制，而是以更定制的方式创建目标，这使得损失可以考虑可能的错误分类。我们表明，在所提出的学习方案中提供的监督可以在多实例学习的流行数据集上以及NIH~ ChestX-Ray 14疾病识别基准上获得更好的性能和更精确的预测，而不是以前使用的损失。
2020-09-30 cs.CV cs.LG eess.IV
A Systematic IoU-Related Method: Beyond Simplified Regression for Better Localization
Southern University of Science and Technology（南方科技大学）
现代检测器默认使用四变量独立回归定位损失，如平滑- $\ell_1$损失。然而，这种损失过于简化，以至于它与最终的评估指标--交集大于并集（IoU）--不一致。直接使用标准IoU也不是不可行的，因为在非重叠框的情况下的恒定零平台和最小的非零梯度可能使其不可训练。因此，我们提出了一个系统的方法来解决这些问题。首先，我们提出了一个新的度量标准，扩展的IoU（EIoU），当两个盒子不重叠时，它是定义良好的，当重叠时，它被简化为标准的IoU。其次，我们提出了凸化技术（CT）的基础上EIoU，它可以保证梯度在最小值为零的损失。第三，我们提出了一种稳定的优化技术（SOT），使分数EIoU损失更稳定，更平滑地接近最小值。第四，为了充分利用基于丢失的EIoU的能力，我们引入了一个相关的IoU预测头，以进一步提高定位精度。利用所提出的贡献，结合到具有ResNet 50 +FPN作为主干的更快R-CNN中的新方法在VOC 2007上产生\textbf{4.2 mAP}增益，在COCO 2017上产生\textbf{2.3 mAP}增益，超过基线平滑- $\ell_1$损失，几乎为\textbf{no training and inferencing computational cost}。具体而言，度量越严格，增益越显著，在度量$AP_{90}$下，VOC 2007上的\textbf{8.2 mAP}…
2021-12-03 cs.AI cs.CV
Unsupervised anomaly localization using VAE and beta-VAE
University of Iowa（爱荷华大学）
变分自动编码器（VAE）在数据分布的无监督学习中显示出巨大的潜力。在正常图像上训练的VAE预计仅能够重建正常图像，允许通过操纵VAE ELBO损失内的信息来定位图像中的异常像素。ELBO由KL发散损失（图像方面）和重建损失（像素方面）组成。使用后者作为预测器是自然和直接的。然而，通常情况下，局部异常添加到一个正常的图像会恶化整个重建图像，导致分割只使用朴素像素错误不准确。提出了基于能量的投影方法，提高了正常区域/像素的重建精度，在简单自然图像上达到了最先进的定位精度。另一种可能的预测器是ELBO及其分量相对于每个像素的梯度。以前的工作声称KL梯度是一个强大的预测。在本文中，我们认为，基于能量的投影在医学成像是不一样有用的自然图像。此外，我们观察到KL梯度预测器的鲁棒性完全取决于VAE和数据集的设置。我们还探讨了在异常定位中β-VAE和预测器集合内KL损失的权重的影响。
2020-05-19 cs.CV cs.LG
LOSS-SLAM: Lightweight Open-Set Semantic Simultaneous Localization and Mapping
Massachusetts Institute of Technology (MIT)（麻省理工学院）；Computer Science and Artificial Intelligence Laboratory (CSAIL)（计算机科学与人工智能实验室）
本文提出 LOSS-SLAM，将对象识别、定位与编码同概率图模型紧耦合，以更低计算开销实现优于现有方法的轻量级开集语义 SLAM。
2024-04-05 cs.CV cs.RO
LOTR: Face Landmark Localization Using Localization Transformer
Sertis Vision Lab（瑟蒂斯视觉实验室）；QIS Capital（QIS资本）；Chulalongkorn University（朱拉隆功大学）
提出了一种基于Transformer的人脸标志点定位网络Localization Transformer（LOTR）。建议的框架是一个直接的坐标回归方法，利用Transformer网络，以更好地利用空间信息的功能地图。LOTR模型由三个主要模块组成：1）将输入图像转换为特征图的视觉主干，2）改进来自视觉主干的特征表示的Transformer模块，以及3）直接从Transformer的表示预测地标坐标的地标预测头。给定裁剪和对齐的人脸图像，所提出的LOTR可以进行端到端的训练，而不需要任何后处理步骤。本文还介绍了平滑翼损失函数，它解决了梯度不连续的翼损失，导致更好的收敛比标准的损失函数，如L1，L2，和翼损失。在106点面部地标定位的第一次大挑战提供的JD地标数据集上的实验结果表明，LOTR优于排行榜上的现有方法和最近两种基于热图的方法。在WFLW数据集上，与几种最先进的方法相比，所提出的LOTR框架显示出有希望的结果。此外，我们报告了使用我们提出的LOTR进行人脸对齐时，最先进的人脸识别性能的改善。
2022-02-22 cs.AI cs.CV cs.LG
Not made for each other- Audio-Visual Dissonance-based Deepfake Detection and Localization
Indian Institute of Technology Ropar（印度理工学院罗帕尔分校）；Monash University（莫纳什大学）
我们提出了基于音频和视觉模态之间的差异来检测deepfake视频，称为模态不和谐分数（MDS）。我们假设，任何一种方式的操作将导致两种方式之间的不和谐，例如，损失的嘴唇同步，不自然的面部和嘴唇的运动，等MDS计算为一个视频中的音频和视觉片段之间的相异分数的总和。判别特征是学习的音频和视觉通道中的一个块的方式，采用交叉熵损失的个别形式，和对比损失模型间的模态相似性。在DFDC和DeepFake-TIMIT数据集上进行的大量实验表明，我们的方法比最先进的方法高出7%。我们还演示了时间伪造本地化，并展示了我们的技术如何识别操纵的视频片段。
2021-03-20 cs.CV cs.MM
GPA-VGGT:Adapting VGGT to Large Scale Localization by Self-Supervised Learning with Geometry and Physics Aware Loss
本文提出GPA-VGGT框架，通过自监督学习提升大规模环境中的定位能力，利用几何约束和物理一致性损失优化模型，实验表明其在数百次迭代内收敛并显著提升定位性能。
2026-04-02 cs.CV cs.RO
Transformer-Based Microbubble Localization
Concordia University（康考迪亚大学）
超声定位显微镜（ULM）是一种新兴的技术，它采用回声微泡（MB）的定位，以精细的采样和成像微循环超过超声成像的衍射极限。传统的MB定位方法主要基于考虑MB的特定点扩散函数（PSF），这导致由重叠MB、非平稳PSF和谐波MB回波引起的信息丢失。因此，必须设计能够准确定位MB同时对MB非线性和使MB PSF失真的MB浓度变化有弹性的方法。本文提出了一种基于transformer的MB本地化方法来解决这个问题。我们采用了检测Transformer（DETR）arXiv：2005.12872，这是一种端到端的对象识别方法，使用基于集合的匈牙利损失和二分匹配为每个检测到的对象检测一个唯一的边界框。据作者所知，这是第一次将Transformers用于MB本地化。为了评估所提出的策略，预先训练的DETR网络的性能进行了测试，使用迁移学习原理检测MB。我们在IEEE IUS Ultra-SR挑战组织者提供的数据集随机选择的帧的子集上对网络进行了微调，然后使用交叉验证对其余帧进行了测试。对于模拟数据集，本文支持部署基于变压器的解决方案，以实现高精度的MB定位。
2022-09-23 cs.CV eess.IV
Learning from Sparse Point Labels for Dense Carcinosis Localization in Advanced Ovarian Cancer Assessment
University of Strasbourg（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）；INSERM（法国国家卫生研究院）；ICube（ICube研究中心）；UMR7357；Fondazione Policlinico Universitario A. Gemelli IRCCS（A. Gemelli IRCCS大学医院基金会）；Università Cattolica del Sacro Cuore（圣心大学）；IRCAD（消化道癌症研究研究所）；Research Institute against Digestive Cancer（消化道癌症研究研究所）；Institute of Image-Guided Surgery（影像引导手术研究所）；IHU Strasbourg（斯特拉斯堡IHU）
针对医学图像中密集标注困难的问题，提出从稀疏点标签学习关键点定位，通过Crag and Tail损失函数有效利用正标签并减少假阴性影响，实现晚期卵巢癌腹腔镜视频中癌病关键点的准确密集定位。
2025-07-09 cs.CV cs.LG
