Aortic root landmark localization with optimal transport loss for heatmap regression
Meiji Institute for Advanced Study of Mathematical Sciences, Meiji University（明治大学先端数学研究所）；The Jikei University School of Medicine（慈惠医科大学）；Sendai Kousei Hospital（仙台厚生病院）；School of Interdisciplinary Mathematical Sciences, Meiji University（明治大学跨学科数学学部）
本文提出一种基于最优传输损失的一步式主动脉根部关键点定位方法，在3D CT图像上显著降低估计误差并兼顾精度与训练稳定性。
2024-07-06 cs.AI cs.CV stat.AP
CHaRM: Conditioned Heatmap Regression Methodology for Accurate and Fast Dental Landmark Localization
Nemotec Madrid, Spain（Nemotec马德里西班牙）；Dept. of Computer Science and Artificial Intelligence University of Granada（计算机科学与人工智能系格拉纳达大学）
本文提出首个完全端到端的三维 IOS 牙齿标志点检测框架 CHaRM，利用牙齿存在性条件模块避免牙齿分割，并在新数据集上以 CHaRNet 取得更高精度和最高 14.8 倍加速。
2025-08-29 cs.CV
landmarker: a Toolkit for Anatomical Landmark Localization in 2D/3D Images
IDLab；Department of Electronics and Information Systems（电子与信息系统系）；Ghent University（根特大学）；imec；Biometrics Research Group（生物识别研究组）；Department of Morphology, Imaging, Orthopedics, Rehabilitation and Nutrition（解剖学、成像、骨科、康复和营养系）
本文提出基于PyTorch的landmarker工具包，通过静态与自适应热图回归等方法及模块化设计，解决医学影像中2D/3D解剖标志定位缺乏专用工具的问题，提升精度并加速研发。
2025-05-05 cs.AI cs.CV cs.LG
Region Proposal Network with Graph Prior and IoU-Balance Loss for Landmark Detection in 3D Ultrasound
Shenzhen University（深圳大学）
3D超声（US）可以帮助进行详细的产前检查，以监测胎儿生长。为了分析3D US体积，准确地识别被评估器官的解剖标志是基本的。典型的深度学习方法通常直接回归坐标或涉及热图匹配。然而，这些方法难以处理具有大尺寸的体积以及胎儿的高度变化的位置和取向。在这项工作中，我们利用一个目标检测框架来检测三维胎儿面部US体积中的地标。通过回归多个参数的地标为中心的限界框（B盒）与一个严格的标准，所提出的模型是能够精确定位的目标地标的确切位置。具体来说，该模型使用3D区域建议网络（RPN）来生成3D候选区域，然后使用几个3D分类分支来选择最佳候选区域。它还采用了IoU平衡损失来改善分支机构之间的沟通，这有利于学习过程。此外，它在正则化训练之前利用基于距离的图，并有助于减少误报预测。在3D US数据集上评估所提出的框架的性能，以检测五个关键的胎儿面部标志。结果表明，该方法优于一些国家的最先进的方法在功效和效率。
2020-04-01 cs.CV cs.LG
Heatmap Distribution Matching for Human Pose Estimation
SUTD（新加坡科技设计大学）；NTU（南洋理工大学）
为了解决2D人体姿态估计的任务，最近的大多数方法将该任务视为热图估计问题，并且使用高斯平滑的热图作为优化目标并使用像素级损失（例如，MSE）作为损失函数来优化热图预测。在本文中，我们表明，以这种方式优化热图预测，身体关节定位的模型性能，这是这项任务的内在目标，在热图预测的优化过程中可能不会得到一致的改善。为了解决这个问题，从一个新的角度来看，我们建议制定的热图预测的优化作为预测的热图和身体关节的点注释之间的分布匹配问题直接。通过这样做，我们提出的方法不需要构建高斯平滑热图，并且可以在热图预测的优化过程中实现更一致的模型性能改进。通过在COCO数据集和MPII数据集上的大量实验，我们证明了我们所提出的方法的有效性。
2022-10-04 cs.CV
Attentive One-Dimensional Heatmap Regression for Facial Landmark Detection and Tracking
University of Science and Technology of China（中国科学技术大学）
虽然热图回归被认为是定位面部标志的最先进的方法，但它具有巨大的空间复杂性，并且容易产生量化误差。为了解决这个问题，我们提出了一种新的专注一维热图回归方法的面部标志定位。首先，我们预测两组1D热图来表示x和y坐标的边缘分布。与当前使用2D热图来表示x和y坐标的联合分布的热图回归方法相比，这些1D热图显著降低了空间复杂度。该方法具有更低的空间复杂度，可以在GPU内存有限的情况下输出高分辨率的1D热图，从而显着减轻量化误差。其次，采用共同注意力机制来模拟存在于x和y坐标中的固有空间模式，因此也捕获x和y轴上的联合分布。第三，基于1D热图结构，我们提出了一个面部地标检测器捕获空间模式的图像上的地标检测;和一个跟踪器进一步捕获时间模式与时间细化机制的地标跟踪。在四个基准数据库上的实验结果证明了该方法的优越性。
2020-08-27 cs.CV
Laplace Landmark Localization
Northeastern University（东北大学）；Snap Inc.（Snap公司）
图像和视频中的地标定位是一个经典的问题，有多种解决方法。如今，随着深度网络在整个机器学习中的流行，人们对推动面部地标检测技术以处理更具挑战性的数据的兴趣也有所提高。大多数努力使用基于L1或L2规范的网络目标，这有几个缺点。首先，从生成的热图确定地标的位置（即，置信度图），根据该置信度图预测的界标位置（即，平均值）在不考虑散布的情况下受到惩罚：高散布对应于低置信度，反之亦然。为此，我们引入了一个LaplaceKL目标，该目标对低置信度进行惩罚。另一个问题是对标记数据的依赖性，这些数据获取成本高且容易出错。为了解决这两个问题，我们提出了一个对抗性训练框架，利用未标记的数据来提高模型性能。我们的方法在所有300 W基准测试中都是最先进的，在野外注释面部标志（AFLW）数据集上排名第二。此外，我们的模型是鲁棒的，具有减小的尺寸：通道数量的1/8（即，0.0398MB）在CPU上的实时性可与最先进的技术相媲美。因此，我们表明，我们的方法是很高的实用价值，以现实生活中的应用。
2019-08-14 cs.CV
Sub-pixel face landmarks using heatmaps and a bag of tricks
Sertis Vision Lab（瑟蒂斯视觉实验室）
人脸特征点的精确定位是人脸识别、重建和变形的重要环节。为了准确地定位面部标志，我们提出了我们的热图回归方法。每个模型都由一个MobileNetV 2骨干网和几个升级层组成，并使用不同的技巧来优化性能和推理成本。我们使用五个天真的人脸地标从公开可用的人脸检测器来定位和对齐的脸，而不是像传统的方法使用的限界框。此外，我们通过添加随机旋转，位移和缩放-对齐后-该模型对面部位置比方向更敏感。我们还表明，它是可能的，以减少放大的复杂性，通过使用反卷积和像素洗牌层的混合物，而不妨碍本地化性能。我们提出了我们最先进的面部地标定位模型（在106点面部地标定位验证集的第二次大挑战中排名第二）。最后，我们使用公开的模型和基准测试这些地标对人脸识别的影响。
2021-03-08 cs.AI cs.CV cs.LG
Precise Facial Landmark Detection by Reference Heatmap Transformer
Zhongnan University of Economics and Law（中南财经政法大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）；China Three Gorges University（三峡大学）
本文提出Reference Heatmap Transformer（RHT），通过软硬变换模块和Multi-Scale Feature Fusion Module融合参考热图信息与语义特征，在复杂姿态、遮挡和光照条件下提升面部关键点检测精度，并在多个基准数据集上超越现有方法。
2023-03-14 cs.CV
Think about boundary: Fusing multi-level boundary information for landmark heatmap regression
虽然目前的人脸对齐算法在预测人脸标志点位置方面取得了很好的成绩，但对于具有严重遮挡和大姿态变化等情况的人脸，仍然存在巨大的挑战。相反，在这些场景中，人脸边界的语义位置更有可能被保留和估计。因此，我们研究了两个阶段，但端到端的方法来探索面部边界和地标之间的关系，以获得边界感知的地标预测，它包括两个模块：自校准边界估计（SCBE）模块和边界感知的地标变换（BALT）模块。在SCBE模块中，我们修改了茎层并采用中间监督来帮助生成高质量的面部边界热图。从SCBE模块继承的边界感知功能被集成到多尺度融合框架中的BALT模块中，以更好地对从边界到地标热图的转换进行建模。在具有挑战性的基准数据集上进行的实验结果表明，我们的方法优于文献中最先进的方法。
2020-08-25 cs.CV
DenseSeg: Joint Learning for Semantic Segmentation and Landmark Detection Using Dense Image-to-Shape Representation
University of Lübeck（吕贝克大学）；EchoScout GmbH（EchoScout有限公司）；University Hospital Schleswig-Holstein（石勒苏益格-荷尔斯泰因大学医院）
提出DenseSeg，利用密集图像到形状表示和全卷积架构联合学习语义分割与地标检测，在胸部X光和儿科腕部数据集上达到或超越最先进水平，且无需对地标显式训练即可添加新地标。
2024-12-16 cs.CV
Heatmap-based 2D Landmark Detection with a Varying Number of Landmarks
Heidelberg University Hospital（海德堡大学医院）；University of Applied Sciences, Mannheim（曼海姆应用科学大学）
二尖瓣修复术是一种恢复二尖瓣功能的手术。为了实现这一点，将假体环缝合到二尖瓣环上。分析穿过瓣环穿刺用于环植入的缝合线可用于手术技能评估、定量手术和经由增强现实在场景中定位虚拟假体环模型。这项工作提出了一种神经网络方法，该方法检测二尖瓣修复的内窥镜图像中的缝合线，因此解决了具有不同数量标志的标志检测问题，而不是大多数其他现有的基于深度学习的标志检测方法。神经网络分别在来自不同领域的两个数据汇集上进行训练，具有相同的架构和超参数设置。每个数据集由1,300多个立体帧对组成，总共有60,000多个带注释的地标。所提出的基于热图的神经网络在术中测试数据集上实现了66.68 $\pm$ 4.67%的平均阳性预测值（PPV）和24.45 $\pm$ 5.06%的平均真阳性率（TPR），在手术模拟期间记录的数据集上实现了81.50 \pm 5.77\%的平均PPV和61.60 $\pm$ 6.11%的平均TPR。当摄像机位于二尖瓣上方且照明良好时，可获得最佳检测结果。如果二尖瓣可被很好地感知，则也可以从侧视图进行检测。
2021-01-07 cs.CV cs.LG eess.IV
Annotation-cost Minimization for Medical Image Segmentation using Suggestive Mixed Supervision Fully Convolutional Networks
University of Michigan（密歇根大学）；Indian Institute of Technology - Bombay（印度理工学院孟买分校）
对于医学图像分割，大多数全卷积网络（FCN）需要通过大量高质量密集分割样本进行强有力的监督，这在成本、时间和物流方面都很繁重。这种注释的负担可以通过利用弱廉价的注释（例如边界框和解剖标志）来减轻。然而，\textit{a priori}很难估计每个监督类型所需的注释数量之间的最佳平衡，从而以最小的注释成本获得最大的性能。为了优化这种成本性能权衡，我们提出了一个基于成本最小化框架，在混合监督设置通过密集分割，边界框和地标。我们提出了一个线性规划（LP）制定结合不确定性和相似性的排名策略，明智地选择样本进行注释，以获得最佳性能。在结果部分，我们表明，我们提出的方法实现了与最先进的方法相当的性能，显著降低了注释成本。
2018-12-29 cs.CV
Dense Structural Priors for Sparse Functional Landmark Localization in Surgical Videos
Johns Hopkins University（约翰霍普金斯大学）
提出利用SAM 3作为结构先验，通过零样本点提示掩码和轻量级精炼框架，在无像素级标注下实现手术视频中功能标志点定位，F1达72.4%（尖端）和58.0%（锚点）。
2026-08-25 cs.CV
FLAME: Facial Landmark Heatmap Activated Multimodal Gaze Estimation
INRIA Sophia Antipolis - Méditerranée（法国国家信息与自动化研究所索菲亚·安提波利斯-地中海研究中心）；Birla Institute of Technology and Science, Pilani（皮拉尼·博拉理工学院）；Université Côte d’Azur（蔚蓝海岸大学）
3D凝视估计是关于预测人在3D空间中的视线。由于受试者的解剖学差异，与人无关的模型同样缺乏精度，而特定于人的校准技术增加了对可扩展性的严格限制。为了克服这些问题，我们提出了一种新的技术，面部地标热图激活的多模态凝视估计（FLAME），作为一种使用眼睛地标热图结合眼睛解剖信息的方式，以获得精确的凝视估计，而无需任何特定于人的校准。我们的评估表明，基准数据集ColumbiaGaze和EYEDIAP的竞争力提高了约10%。我们还进行了消融研究，以验证我们的方法。
2022-12-07 cs.AI cs.CV
FAHCD-Net: Frequency-Adaptive Heatmap-Conditional Diffusion Networks for Robust Facial Landmark Detection
Zhongnan University of Economics and Law（中南财经政法大学）
提出FAHCD-Net，通过频率自适应热图条件扩散模型与平滑正则化损失级联，抑制高频噪声并增强热图平滑性，在挑战性场景下实现人脸关键点检测的最先进性能。
2026-09-16 cs.CV
One-Shot Medical Landmark Localization by Edge-Guided Transform and Noisy Landmark Refinement
Peking University（北京大学）；Deepwise AI Lab（深睿医疗人工智能实验室）；Microsoft Research Asia（微软亚洲研究院）；The University of Hong Kong（香港大学）
作为许多医学应用的重要上游任务，监督地标定位仍然需要不可忽略的注释成本来实现期望的性能。此外，由于收集过程繁琐，医学标志数据集的大小有限，影响了大规模自监督预训练方法的有效性。为了解决这些挑战，我们提出了一个两阶段的框架，一次性医疗标志定位，首先推断标志的无监督注册从标记的样本到无标记的目标，然后利用这些嘈杂的伪标签训练强大的检测器。为了处理显着的结构变化，我们学习了一个端到端的级联的全局对齐和局部变形，新的损失函数的指导下，将边缘信息。在第二阶段，我们探讨了选择可靠的伪标签和交叉一致性的半监督学习的自我一致性。我们的方法在不同身体部位的公共数据集上实现了最先进的性能，这证明了它的普遍适用性。
2022-07-31 cs.CV
Two-Stage Mesh Deep Learning for Automated Tooth Segmentation and Landmark Localization on 3D Intraoral Scans
the Ohio State University（俄亥俄州立大学）；Xi’an Jiaotong University（西安交通大学）；United States Air Force（美国空军）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；SOVE Inc（SOVE公司）；ShanghaiTech University（上海科技大学）
在计算机辅助正畸治疗中，准确地分割牙齿并识别牙齿网格模型上相应的解剖标志是必不可少的。手动执行这两项任务是耗时的，繁琐的，更重要的是，由于患者牙齿的异常和大规模变化，高度依赖于牙科医生的经验。一些基于机器学习的方法已经被设计并应用于正畸领域以自动分割牙齿网格（例如，口内扫描）。相比之下，牙齿标志定位的研究数量仍然有限。本文提出了一种基于网格深度学习（称为TS-MDL）的两阶段框架，用于原始口内扫描的联合牙齿标记和标志识别。我们的TS-MDL首先采用端到端\emph{i} MeshSegNet方法（即，现有MeshSegNet的变体，具有改进的精度和效率），以标记下采样扫描上的每个牙齿。在分割输出的指导下，我们的TS-MDL进一步在原始网格上选择每个牙齿的感兴趣区域（ROI），以构建开创性PointNet的轻量级变体（即，PointNet-Reg）来回归对应的地标热图。我们的TS-MDL在真实临床数据集上进行了评估，显示出良好的分割和定位性能。具体而言，TS-MDL的第一阶段中的\emph{i} MeshSegNet在\textcolor [rgb]{0，0，0}{ $0.964\pm0.054$ }处达到平均Dice相似系数（DSC），显著优于原始MeshSegNet。在第二阶段，PointNet-Reg实现了$0.597\pm0.761 \, mm$的平均绝对误差（MAE）之间的…
2022-06-02 cs.CV
You Only Landmark Once: Lightweight U-Net Face Super Resolution with YOLO-World Landmark Heatmaps
Università degli Studi di Milano（米兰大学）；Istituto Italiano di Tecnologia（意大利理工学院）
提出轻量级U-Net，利用YOLO-World生成的地标热图作为监督，无需额外训练辅助网络，实现8倍人脸超分辨率重建，提升关键区域细节。
2026-06-05 cs.CV
Revisiting Cephalometric Landmark Detection from the view of Human Pose Estimation with Lightweight Super-Resolution Head
Singapore University of Technology and Design（新加坡科技设计大学）；Tongji University（同济大学）；Nanyang Technological University（南洋理工大学）
该研究借鉴人体姿态估计技术，基于MMPose构建CLD基准，并加入轻量超分辨率头以减少量化偏差，在CLDetection2023挑战赛中取得三项第一、一项第三。
2023-09-29 cs.AI cs.CV
Heatmap Regression without Soft-Argmax for Facial Landmark Detection
Department of Computer Science, Purdue University（计算机科学系，普渡大学）
本文提出基于经典结构化预测框架的替代训练目标，证明人脸关键点检测无需依赖Soft-argmax，在WFLW、COFW和300W上取得最先进性能且训练收敛速度提升2.2倍。
2025-08-19 cs.AI cs.CV
KNEEL: Knee Anatomical Landmark Localization Using Hourglass Networks
University of Oulu（奥卢大学）；Oulu University Hospital（奥卢大学医院）；Aalto University（阿尔托大学）
本文讨论了骨关节炎（OA）不同阶段膝关节X射线图像中解剖标志定位的挑战。界标定位可以被视为回归问题，其中界标位置通过使用感兴趣区域或甚至全尺寸图像直接预测，导致大的存储器占用，特别是在高分辨率医学图像的情况下。在这项工作中，我们提出了一个高效的深度神经网络框架，该框架具有沙漏架构，利用软argmax层直接预测地标点的归一化坐标。我们提供了一个广泛的评估不同的正则化技术和各种损失函数，以了解它们对本地化性能的影响。此外，我们从低预算的注释中引入了迁移学习的概念，并通过实验证明了这种方法可以提高地标定位的准确性。与先前的方法相比，我们在两个独立于训练数据的数据集上验证了我们的模型，并评估了该方法在OA严重程度不同阶段的性能。所提出的方法表现出更好的泛化性能相比，目前的最先进的。
2019-09-06 cs.CV
Unsupervised Landmark Discovery Using Consistency Guided Bottleneck
Australian National University（澳大利亚国立大学）
本文提出一致性引导瓶颈，通过跨图像地标对应获得伪监督并生成自适应热图，在无监督地标发现任务中显著提升了鲁棒性和性能。
2023-09-19 cs.CV
Learn Fine-grained Adaptive Loss for Multiple Anatomical Landmark Detection in Medical Images
Southeast University（东南大学）；Shenzhen University（深圳大学）
解剖标志的自动和准确检测是具有多种应用的医学图像分析中的基本操作。最近的深度学习方法已经通过利用似然图（即，热图）。然而，大多数当前的解决方案忽略了热图回归的另一个本质，即回归目标热图的客观度量，并依赖于手工制作的算法来设置目标精度，因此通常是繁琐的和特定于任务的。在本文中，我们提出了一种新的学习到学习的地标检测框架，同时优化神经网络和目标精度。这项工作的重点是利用强化学习（RL）框架来搜索客观指标，以便在训练过程中动态地回归多个热图，从而避免设置特定于问题的目标精度。我们还引入了一个早期停止策略，主动终止RL代理的相互作用，考虑探索-利用权衡，为单独的目标调整最佳精度。这种方法在训练中表现出更好的稳定性，并在推理中提高了定位精度。在两个不同的界标定位应用上的广泛实验结果：1）我们的内部产前超声（US）数据集和2）公开的头影测量X射线界标检测数据集，证明了我们所提出的方法的有效性。我们提出的框架是通用的，并显示出提高解剖标志检测效率的潜力。
2021-05-19 cs.AI cs.CV cs.LG
QAFE-Net: Quality Assessment of Facial Expressions with Landmark Heatmaps
School of Computer Science（计算机学院）
针对健康应用中面部表情质量评估需求，提出结合时序特征点热图与RGB数据的QAFE-Net方法，在帕金森病表情数据集和疼痛基准上均优于现有最优方法。
2023-12-12 cs.CV
An Attention-Guided Deep Regression Model for Landmark Detection in Cephalograms
School of Electronic Engineering, Xidian University（西安电子科技大学电子工程学院）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
头影测量描记法是正畸诊断和治疗计划中常用的方法。在本文中，我们提出了一个基于深度学习的框架来自动检测头影测量X射线图像中的解剖标志。我们训练深度编码器-解码器进行地标检测，并将全局地标配置与局部高分辨率特征响应相结合。提出的框架是基于2阶段的u-网络，回归的多通道热图的地标检测。在该框架中，我们将注意力机制嵌入到全局阶段热图中，引导局部阶段推断，以高分辨率回归局部热图块。此外，扩展探索策略提高了推理的鲁棒性，在不增加模型复杂度的情况下扩大了搜索范围。我们已经评估了我们的框架中使用最广泛的公共数据集的标志性检测头影测量X射线图像。通过更少的计算和手动调整，我们的框架获得了最先进的结果。
2020-09-27 cs.CV cs.LG eess.IV
Multi-view Face Detection Using Deep Convolutional Neural Networks
Yahoo（雅虎）
在本文中，我们考虑的问题，多视角人脸检测。虽然已经对此问题进行了大量研究，但当前用于此任务的最先进方法需要对面部标志进行注释，例如TSM [25]或对面部姿势进行注释[28，22]。它们还需要训练数十个模型来完全捕捉所有方向的人脸，例如HeadHunter方法中的22个模型[22]。在本文中，我们提出了深度密集人脸检测器（DDFD），一种不需要姿势/地标注释的方法，能够使用基于深度卷积神经网络的单个模型在广泛的方向上检测人脸。所提出的方法具有最小的复杂性;与其他最近的深度学习目标检测方法不同[9]，它不需要额外的组件，如分割，边界框回归或SVM分类器。此外，我们分析了所提出的人脸检测器在不同方向上的人脸的得分，发现1）所提出的方法能够从不同角度检测人脸，并在一定程度上处理遮挡，2）在训练集中的正样本的差异与所提出的人脸检测器的得分之间似乎存在相关性。后者表明，所提出的方法的性能可以进一步提高，通过使用更好的采样策略和更复杂的数据增强技术。对流行的人脸检测基准数据集的评估表明，我们的单模型人脸检测器算法与以前的方法相比具有相似或更好的性能，这些方法更复杂，需要注释不同的姿势或面部标志。
2015-04-20 cs.CV
Attaining human-level performance with atlas location autocontext for anatomical landmark detection in 3D CT data
Canon Medical Research Europe（佳能医疗欧洲研究中心）；Queen Elizabeth University Hospital（伊丽莎白女王大学医院）；University of Glasgow（格拉斯哥大学）
我们提出了一个有效的神经网络方法定位解剖标志在三维医学CT扫描，使用地图集位置自动上下文，以学习远程空间上下文。位置预测是通过回归到高斯热图来进行的，每个地标一个热图。该系统允许对浅层网络进行分片应用，从而能够同时预测多个体积热图，而无需过高的GPU内存要求。此外，该系统允许使用简单的超定仿射映射来利用界标间空间关系，该超定仿射映射对于检测失败和遮挡或部分视图是鲁棒的。对头部CT扫描中一系列结构上定义的22个标志进行评价。模型在201次扫描上进行了训练和验证。在由2个人类注释者独立注释的20个扫描的最终测试集上，神经网络达到了与注释者可变性匹配的准确度，具有跨地标类的相似的人类和机器可变性模式。
2018-09-30 cs.CV
Bringing Background into the Foreground: Making All Classes Equal in Weakly-supervised Video Semantic Segmentation
Australian National University（澳大利亚国立大学）；Smart Vision Systems, CSIRO（澳大利亚联邦科学与工业研究组织智能视觉系统）；CVLab, EPFL（洛桑联邦理工学院计算机视觉实验室）
像素级注释的获取成本高且耗时。因此，仅使用图像标签的弱监督可能在语义分割中具有显著影响。近年来，无论是从单个图像还是从视频中，弱监督语义分割都取得了很大的进展。然而，大多数现有的方法被设计为处理单个后台类。在实际应用中，例如自主导航，推理多个背景类通常是至关重要的。在本文中，我们介绍了一种通过使用分类器热图来实现这一点的方法。然后，我们开发了一个双流深度架构，共同利用外观和运动，并根据我们的热图设计一个损失来训练它。我们的实验证明了我们的分类器热图和我们的双流架构在具有挑战性的城市场景数据集和YouTube-Objects基准测试中的优势，我们在那里获得了最先进的结果。
2017-08-15 cs.CV
Dual-Thresholded Heatmap-Guided Proposal Clustering and Negative Certainty Supervision with Enhanced Base Network for Weakly Supervised Object Detection
Institute of Cyberspace Security, Harbin Institute of Technology（哈尔滨工业大学网络安全学院）；Faculty of Information Technology, Monash University（莫纳什大学信息科技学院）；Center on Machine Learning Research, Harbin Institute of Technology（哈尔滨工业大学机器学习研究中心）；Department of New Networks, Peng Cheng Laboratory（鹏城实验室网络部）；School of Cyberspace Science, Harbin Institute of Technology（哈尔滨工业大学网络空间科学学院）
提出DANCE方法，通过双阈值热力图引导的提议选择、增强基础网络和负确定性监督损失，解决弱监督目标检测中伪GT框不完整、语义鸿沟和收敛慢的问题。
2026-05-26 cs.CV
Whole-Body Human Pose Estimation in the Wild
The University of Hong Kong（香港大学）；SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）；The University of Sydney（悉尼大学）
本文研究了二维人体全身姿态估计的任务，其目的是定位整个人体（包括面部，手部，身体和脚部）上的密集地标。由于现有的数据集没有全身注释，以前的方法必须组装不同的深度模型，这些模型在人脸、手部和身体的不同数据集上独立训练，并与数据集偏差和大模型复杂性作斗争。为了填补这一空白，我们引入了COCO-WholeBody，它扩展了COCO数据集并带有全身注释。据我们所知，它是第一个对整个人体进行手动注释的基准，包括133个密集的地标，其中68个在脸上，42个在手上，23个在身体和脚上。设计了一个名为ZoomNet的单网络模型，考虑到整个人体的层次结构，以解决同一个人的不同身体部位的尺度变化。ZoomNet能够在拟议的COCO-WholeBody数据集上显著优于现有方法。大量的实验表明，COCO-WholeBody不仅可以用于从头开始训练深度模型进行全身姿势估计，而且还可以作为许多不同任务的强大预训练数据集，例如面部标志检测和手部关键点估计。该数据集可在https://github.com/jin-s13/COCO-WholeBody上公开获得。
2020-07-23 cs.CV
DenseReg: Fully Convolutional Dense Shape Regression In-the-Wild
Inria（法国国家信息与自动化研究所）
在这项工作中，我们使用深度学习来建立3D对象模型和“野外”图像之间的密集对应。我们引入了“DenseReg”，这是一种全卷积神经网络（F-CNN），它在单个前馈通道中在每个前景像素处密集地回归一对U-V模板坐标。为了训练DenseReg，我们通过结合3D可变形模型拟合和2D地标注释来构造监督信号。我们定义的回归任务的内在，U-V坐标的3D可变形模型，在训练时与图像实例相对应。许多其他对象相关的任务（例如，部分分割，地标定位）被证明是这个任务的副产品，并大大改善由于它的引入。我们通过将语义分割的思想与回归网络相结合来获得高度准确的回归结果，从而产生一种“量化回归”架构，该架构首先通过分类获得位置的量化估计，然后通过残差的回归对其进行细化。我们表明，这样的网络可以提高现有的最先进的姿态估计系统的性能。首先，我们证明了我们的系统可以作为统计可变形模型的初始化，以及级联架构的一个元素，共同定位地标和估计密集的对应关系。我们还表明，所获得的密集对应可以作为“特权信息”的来源，补充和扩展纯地标级注释，加速和改善姿态估计网络的训练。我们报告了在具有挑战性的300 W面部标志定位基准和MPII和LSP人体姿态估计数据集上的最新性能。
2018-03-11 cs.CV
OCDet: Object Center Detection via Bounding Box-Aware Heatmap Prediction on Edge Devices with NPUs
Technical University of Munich（慕尼黑工业大学）；Liebherr-Electronics and Drives GmbH（利勃海尔电子驱动有限公司）
本文提出轻量级目标中心检测框架 OCDet，通过广义中心度、平衡连续焦点损失和中心对齐分数，在带 NPU 的边缘设备上以更少参数和计算实现优于 YOLO11 的检测性能。
2024-11-23 cs.CV
Improved Heatmap-based Landmark Detection
Shandong University（山东大学）；Hong Kong University of Science and Technology（香港科技大学）
二尖瓣修复术是一项非常困难的手术，通常需要经验丰富的外科医生。医生将植入一个人工环以帮助恢复心脏功能。假体缝合的位置至关重要。在手术过程中获得和研究它们对新外科医生来说是一个宝贵的学习经验。本文提出了一种用于内窥镜图像中缝合线检测的界标检测网络，解决了图像中缝合点数量可变的问题。由于有两个数据集，一个来自模拟域，另一个来自真实术中数据，因此这项工作使用cycleGAN将来自两个域的图像相互转换，以获得更大的数据集和更好的真实术中数据评分。本文使用2708张照片的模拟数据集和2376张图像的真实数据集进行了测试。在模拟数据集上的平均灵敏度约为75.64%，精确度约为73.62%。在真实数据集上的平均灵敏度约为50.23%，精确度约为62.76%。数据来自AdaptOR MICCAI Challenge 2021，可在https：//zenodo.org/record/4646979\#.YO1zLUxCQ2x上找到。
2021-10-12 cs.CV
Separable Batch Normalization for Robust Facial Landmark Localization with Cross-protocol Network Training
一个大的、多样的、均衡的训练数据是深度神经网络训练成功的关键。然而，现有的公开可用的数据集用于面部标志定位通常比用于其他计算机视觉任务的数据集小得多。一个小的数据集如果没有多样和均衡的训练样本，就不能有效地支持深度网络的训练。为了解决上述问题，本文提出了一种新的可分离的批量归一化（SepBN）模块与跨协议网络训练（CNT）的鲁棒的面部标志定位策略。与使用所有训练数据来计算单个参数集的标准BN层不同，SepBN考虑训练数据集的样本可能属于不同的子域。因此，所提出的SepBN模块使用多组参数，每组参数对应于特定子域。然而，在推理阶段选择适当的分支仍然是一个具有挑战性的任务，因为测试样本的子域是未知的。为了减轻这种困难，我们提出了一种新的注意力机制，分配不同的权重，以有效的风格自动选择每个分支。作为进一步的创新，所提出的CNT策略使用具有不同面部地标标注系统的多个数据集来训练网络，从而提高了训练网络的性能并增强了泛化能力。在几个知名数据集上的实验结果证明了该方法的有效性。
2021-01-17 cs.CV
PAL-Net: A Point-Wise CNN with Patch-Attention for 3D Facial Landmark Localization
Department of Electronics, Information and Bioengineering, Politecnico di Milano, Milan, Italy.（电子、信息与生物工程系，米兰理工学院，米兰，意大利）；Department of Biomedical Sciences for Health, University of Milan, Milan, Italy.（健康生物医学科学系，米兰大学，米兰，意大利）；U.O. Laboratory of Applied Morphology, IRCCS Policlinico San Donato, 20097 San Donato Milanese, Italy.（应用形态学实验室，IRCCS圣丹诺多临床医院，意大利）；Department of Biomedical, Surgical and Dental Sciences, University of Milan, Milan, Italy.（生物医学、外科和牙科学系，米兰大学，米兰，意大利）
PAL-Net通过结合补丁注意力机制的点wise CNN，实现了高精度的3D面部特征点定位，兼顾准确性和计算效率，适用于高通量3D人体测量分析。
2026-02-09 cs.CV
Facial Landmarks Localization using Cascaded Neural Networks
Bar-Ilan University（巴伊兰大学）；Roma Tre University（罗马第三大学）
面部标志的准确定位是面部分析任务的核心，例如面部识别和面部表情分析等。在这项工作中，我们提出了一种基于深度学习架构的新型定位方法，该架构利用具有卷积神经网络单元的级联子网络。第一子网络的级联单元估计地标位置的基于热图的编码，而第二子网络的级联单元接收对应热图估计单元的输出作为输入，并且通过回归来细化它们。实验结果表明，该方案与当代最先进的方案相比，尤其是当应用于描绘具有挑战性的定位条件的图像时。
2021-07-19 cs.CV
Learning landmark guided embeddings for animal re-identification
Queensland University of Technology（昆士兰科技大学）；The University of Queensland（昆士兰大学）
由于不同个体之间的身体标记的细微变化以及对野生动物的姿势没有限制，图像中个体动物的重新识别可能是模糊的。人员重新识别是一项类似的任务，并且已经使用深度卷积神经网络（CNN）来处理它，该深度卷积神经网络学习用于人的图像的区别性嵌入。然而，学习个体动物的区别特征比人的外表更具挑战性，因为与人的身份的标记数据集相比，生态数据集的大小相对较小。我们建议通过明确利用身体标志信息来改进嵌入学习。身体标志被提供给CNN的输入，作为可以从单独的身体标志预测器获得的置信热图。鼓励模型通过学习重建输入热图的辅助任务来使用热图。身体标志引导特征提取网络学习独特图案的表示及其在身体上的位置。我们评估所提出的方法在一个大的合成数据集和一个小的真实数据集。我们的方法在合成和真实数据集上分别比没有身体标志输入的相同模型高出26%和18%。该方法对输入坐标中的噪声具有鲁棒性，并且可以容忍高达图像大小的10%的坐标误差。
2020-01-09 cs.CV
Progressive Face Super-Resolution via Attention to Facial Landmark
人脸超分辨率（SR）是SR域的一个子字段，专门针对人脸图像的重建。人脸重建的主要挑战是在不失真的情况下恢复基本的面部特征。我们提出了一种新的人脸SR方法，该方法可以生成逼真的8倍超分辨率人脸图像，并完全保留面部细节。为此，我们采用了渐进式训练方法，通过将网络分成连续的步骤来实现稳定的训练，每个步骤都产生具有逐渐更高分辨率的输出。我们还提出了一种新的面部注意力损失，并将其应用于每一步，通过乘以像素差和热图值来专注于更详细地恢复面部属性。最后，我们提出了一个压缩版本的最先进的人脸对齐网络（FAN）的地标热图提取。通过提出的FAN，我们可以提取适合人脸SR的热图，并减少整体训练时间。实验结果表明，我们的方法优于国家的最先进的方法在定性和定量测量，特别是在感知质量。
2019-08-22 cs.CV
Uncertainty-aware U-Net for Medical Landmark Detection
Fudan University（复旦大学）；Shanghai Key Laboratory of Intelligent Information Processing（上海市智能信息处理重点实验室）；School of Computer Science, Fudan University（复旦大学计算机科学学院）
基于热图的方法在解剖标志检测中起着重要作用。然而，目前大多数基于热图的方法假设所有地标的分布是相同的，并且每个地标的分布是各向同性的，这可能与现实不符。例如，颌上的界标更可能沿着边缘定位，而不太可能位于颌的内部或外部。手动注释往往遵循类似的规则，导致注释的地标的各向异性分布，这表示注释中的不确定性。为了估计不确定性，我们提出了一个名为金字塔协方差预测器的模块来预测目标高斯分布的协方差矩阵，该协方差矩阵确定地标的分布并表示地标标注的不确定性。具体而言，金字塔协方差预测器利用由骨干U-Net的编码器提取的金字塔特征，并预测地标位置分布的协方差矩阵的Cholesky分解。实验结果表明，提出的金字塔协方差预测器可以准确地预测分布，提高解剖标志检测的性能。
2023-03-18 cs.CV
Gaussian Vector: An Efficient Solution for Facial Landmark Detection
Central South University（中南大学）；Horizon Robotics（地平线机器人）
随着卷积神经网络的发展，人脸标志点检测取得了重大进展。广泛使用的算法可以分为坐标回归方法和基于热图的方法。然而，前者丢失了空间信息，导致性能不佳，而后者则具有较大的输出大小或较高的后处理复杂度。本文提出了一种新的解决方案，高斯矢量，以保持空间信息，以及减少输出大小和简化后处理。我们的方法提供了新的矢量监督，并引入了波段池模块，将热图转换为每个地标的一对矢量。这是一个简单有效的即插即用组件。此外，提出了超越框策略来处理人脸限界框之外的特征点。我们在300 W、COFW、WFLW和JD-landmark上对我们的方法进行了评估。结果显着超过以前的作品证明了我们的方法的有效性。
2020-10-03 cs.CV
Adaptive Wing Loss for Robust Face Alignment via Heatmap Regression
Oregon State University（俄勒冈州立大学）；JD Digits（京东数字科技）
深度网络热图回归已经成为定位面部标志的主流方法之一。然而，很少研究热图回归的损失函数。在本文中，我们分析了人脸对齐问题中热图回归的理想损失函数性质。然后，我们提出了一种新的损失函数，称为自适应Wing损失，它能够使其形状适应不同类型的地面实况热图像素。这种适应性惩罚损失更多的前景像素，而较少的背景像素。为了解决前景和背景像素之间的不平衡，我们还提出了加权损失图，它为前景和困难的背景像素分配高权重，以帮助训练过程更多地关注对地标定位至关重要的像素。为了进一步提高人脸对齐精度，我们引入了边界预测和边界坐标CoordConv。在COFW、300W和WFLW等不同基准测试上进行的大量实验表明，我们的方法在各种评估指标上的性能都明显优于最先进的方法。此外，自适应翼损失也有助于其他热图回归任务。代码将在https://github.com/protossw512/AdaptiveWingLoss上公开。
2020-05-19 cs.CV
POPoS: Improving Efficient and Robust Facial Landmark Detection with Parallel Optimal Position Search
Alibaba（阿里巴巴）
本文提出并行最优位置搜索框架POPoS，通过伪距多边测量校正热图误差、多边测量锚点损失优化距离图及单步并行计算算法，在五个基准数据集上实现了高精度、高效率且鲁棒的人脸关键点检测，尤其在低分辨率热图场景下表现优异。
2024-12-20 cs.CV
Disentangling 3D Pose in A Dendritic CNN for Unconstrained 2D Face Alignment
University of Maryland-College Park（马里兰大学帕克分校）
热图回归已经被用于地标定位有一段时间了。大多数方法使用非常深的瓶颈模块堆栈进行热图分类阶段，然后使用热图回归来提取关键点。在本文中，我们提出了一个单一的树突状CNN，被称为姿势条件树突状卷积神经网络（PCD-CNN），其中一个分类网络是由第二个和模块化的分类网络，在端到端的方式训练，以获得准确的标志点。在贝叶斯公式之后，我们通过对姿势的地标估计进行条件化来明确地解开面部图像的3D姿势，使其不同于多任务处理方法。大量的实验表明，姿态调节通过使其与面部姿态无关来减少定位误差。所提出的模型可以扩展到产生可变数量的标志点，从而扩大其适用于其他数据集。我们没有增加网络的深度或宽度，而是使用Mask-Softmax Loss和硬样本挖掘有效地训练CNN，以实现与最先进的方法相比，最多$15\%$减少错误，用于来自具有挑战性的数据集（包括AFLW，AFW，COFW和IBUG）的极端和中等姿态人脸图像。
2018-03-28 cs.CV
Reciprocal Landmark Detection and Tracking with Extremely Few Annotations
University of British Columbia（不列颠哥伦比亚大学）；Vancouver General Hospital（温哥华综合医院）
在超声心动图中定位解剖标志以执行二维测量是心脏疾病诊断中的常规临床工作流程的一部分。这些标志的自动定位是非常可取的，以改善工作流程，减少观察者之间的差异。鉴于黄金标准标签的稀疏性质，训练机器学习框架以执行这种定位受到阻碍;通常只有很少百分比的心脏电影系列帧被手动标记以供临床使用。在本文中，我们提出了一个新的端到端的互惠检测和跟踪模型，专门设计用于处理稀疏性质的超声心动图标签。该模型使用整个心脏电影序列中的少量注释帧进行训练，以生成一致的地标检测和跟踪，并且建议对该模型进行对抗性训练以利用这些注释帧。通过一系列的实验验证了该互反模型的优越性。
2021-01-27 cs.CV cs.LG
Coordinated Transformer with Position \& Sample-aware Central Loss for Anatomical Landmark Detection
Case Western Reserve University（凯斯西储大学）；The Second Affiliated Hospital of Anhui Medical University（安徽医科大学第二附属医院）；Institute of Orthopaedics, Research Center for Translational Medicine, The Second Affiliated Hospital of Anhui Medical University（安徽医科大学第二附属医院骨科研究所、转化医学研究中心）；China University of Petroleum（中国石油大学）；Guangzhou Twelfth people’s Hospital（广州市第十二人民医院）；Guangzhou Occupational Disease Prevention and Treatment Hospital（广州市职业病防治院）；Guangzhou Otolaryngology-head and Neck Surgery Hospital（广州市耳鼻咽喉头颈外科医院）；West China Hospital（华西医院）；Renmin Hospital of Wuhan University（武汉大学人民医院）
针对解剖标志点检测中热力图分布评估和全局结构信息利用的挑战，提出了位置与样本感知中心损失及协同Transformer（CoorTransformer），通过自适应聚焦困难样本和建立长程依赖显著提升了检测性能。
2023-05-18 cs.CV
LM-PCVMNet: Pediatric Cervical Vertebral Maturation Analysis with Deep Fusion of Landmarks and Metadata
Nankai University（南开大学）；Yanbian University（延边大学）；Haihe Lab of ITAI（海河实验室（智能网联与人工智能实验室））；Tianjin Stomatological Hospital（天津市口腔医院）
提出LM-PCVMNet，融合地标、热图调制和元数据对比损失，实现儿科CVM自动分期，并发布PCVM+数据集，性能优于现有模型。
2026-09-16 cs.CV eess.IV
Synthetic Augmentation for Anatomical Landmark Localization using DDPMs
Medical University of Graz（格拉茨医科大学）；Graz University of Technology（格拉茨工业大学）
本文提出利用2通道输入的DDPM同时生成医学图像与标志热图以增强解剖标志定位训练数据，并通过MRF和SSM评估生成质量，在手部X光片ALL任务中验证其有效性。
2024-10-17 cs.CV
Heatmap Regression for Lesion Detection using Pointwise Annotations
McGill University（麦吉尔大学）；Montreal Neurological Institute（蒙特利尔神经学研究所）
在许多临床背景下，检测所有病变对于评估疾病活动性至关重要。标准方法将病变检测作为分割问题，尽管获取分割标签的耗时性质。在本文中，我们提出了一种病变检测方法，它只依赖于点标签。我们的模型通过热图回归进行训练，可以以概率的方式检测到可变数量的病变。事实上，我们提出的后处理方法提供了一种可靠的方式，直接估计病变存在的不确定性。GAD病变检测的实验结果表明，我们的基于点的方法相比，昂贵的分割标签的训练具有竞争力。最后，我们的检测模型为分割提供了合适的预训练。当仅对17个分割样本进行微调时，我们实现了与完整数据集训练相当的性能。
2022-08-11 cs.CV cs.LG eess.IV
Measurement of Medial Elbow Joint Space using Landmark Detection
Graduate School of Science and Technology, University of Tsukuba（科学技术研究生院，茨木大学）；Department of Orthopaedic Surgery, University of Tsukuba（骨科手术部，茨木大学）；Department of Orthopaedic Surgery, Ibaraki Medical Center, Tokyo Medical University（Ibaraki医疗中心，东京医学大学骨科手术部）；Institute of Systems and Information Engineering, University of Tsukuba（系统与信息工程研究所，茨木大学）；Department of Orthopaedic Surgery, Kikkoman General Hospital（Kikkoman总医院骨科手术部）；Center for Computational Sciences, University of Tsukuba（计算科学中心，茨木大学）；Center for Cyber Medicine Research, University of Tsukuba（网络医学研究室，茨木大学）
针对UCL损伤诊断中缺乏公开肘部内侧超声数据集的问题，本文构建4,201张图像的关键点标注数据集，并提出SS关键点细化方法，显著提升关节间隙测量与定位精度。
2025-09-28 cs.CV
Super-FAN: Integrated facial landmark localization and super-resolution of real-world low resolution faces in arbitrary poses with GANs
The University of Nottingham（诺丁汉大学）
本文解决了两个具有挑战性的任务：提高低分辨率的面部图像的质量和准确定位面部标志在这样的低分辨率图像。为此，我们做出了以下5个贡献：（a）我们提出了Super-FAN：第一个同时解决这两个任务的端到端系统，即提高面部分辨率并检测面部标志。Super-FAN的新颖之处在于通过热图回归和优化新的热图损失来集成子网络以进行面部对齐，从而将结构信息并入基于GAN的超分辨率算法中。(b)我们通过报告不仅在正面图像（如先前的工作）上，而且在整个面部姿势谱上，不仅在合成低分辨率图像（如先前的工作）上，而且在真实世界图像上，都取得了良好的结果，来说明联合训练这两个网络的好处。(c)我们提出了一种新的基于残差的架构，以改善最先进的人脸超分辨率。(d)量化，我们表现出很大的改善，在国家的最先进的人脸超分辨率和对齐。(e)质量，我们第一次在真实世界的低分辨率图像上显示出良好的效果。
2018-03-27 cs.CV
U-Net with ResNet Backbone for Garment Landmarking Purpose
Saratix（Saratix公司）；Custlr（Custlr公司）
我们建立了一个基于热图的地标检测模型来定位2D RGB服装图像上的重要地标。主要目标是检测服装的边缘、角点和合适的内部区域。这使我们能够在现代3D编辑软件中通过结合地标检测模型和纹理展开来重新创建3D服装。我们使用带有ResNet主干的U-net架构来构建模型。通过适当的损失函数，我们能够训练一个适度鲁棒的模型。
2022-04-26 cs.AI cs.CV
Point detection through multi-instance deep heatmap regression for sutures in endoscopy
目的：二尖瓣修复术是一种复杂的微创心脏瓣膜手术。在这种情况下，从内窥镜图像中检测缝线是一项高度相关的任务，它提供定量信息来分析缝线模式，评估假体配置并产生增强现实可视化。面部或解剖标志检测任务通常包含固定数量的标志，并使用回归或基于固定热图的方法来定位标志。然而，在内窥镜检查中，每张图像中有不同数量的缝线，缝线可能出现在瓣环的任何位置，因为它们在语义上并不唯一。方法：在这项工作中，我们将缝线检测任务制定为多实例深度热图回归问题，以识别缝线的入口和出口点。我们扩展了我们以前的工作，并介绍了一个2D高斯层，然后是一个可微的2D空间Soft-Argmax层作为一个局部非最大值抑制的新用途。结果：我们使用多个热图分布函数和所提出的模型的两个变体进行了广泛的实验。在术中领域，变体1显示平均F1为基线的+0.0422。类似地，在模拟器域中，变体1显示出超过基线的平均F1为+0.0865。结论：所提出的模型在术中和模拟器领域显示出比基线的改进。这些数据在MICCAI AdaptOR 2021挑战赛https：//adaptor2021.github.io/的范围内公开提供，代码在https://github.com/Cardio-AI/suture-detection-pytorch/上。DOI：10.1007/s11548-021-02523-w。开放获取文章的链接可以在这里找到：https:…
2021-11-16 cs.AI cs.CV
The Blessing and the Curse of the Noise behind Facial Landmark Annotations
Purdue University（普渡大学）；HP Labs（惠普实验室）
不断发展的二维人脸标志点检测算法使人们能够识别人脸，分析面部表情等，但是，现有的方法仍然遇到的问题时，不稳定的人脸标志点应用于视频。由于以往的研究表明，人脸标志点的不稳定性是由公共数据集之间的标签质量的不一致性，我们希望有一个更好的理解注释噪声的影响。在本文中，我们做了以下贡献：1）我们提出了两个度量，定量测量检测到的面部标志的稳定性，2）我们在现有的公共数据集的注释噪声建模，3）我们调查了不同类型的噪声在训练人脸对齐神经网络的影响，并提出了相应的解决方案。我们的研究结果表明，检测到的面部标志的准确性和稳定性的改善。
2020-07-30 cs.CV cs.MM
