Improving Robustness for Pose Estimation via Stable Heatmap Regression
Tsinghua University（清华大学）；Southeast University（东南大学）；Kuaishou Technology（快手科技）
深度学习方法在姿态估计方面取得了出色的性能，但鲁棒性的缺乏导致关键点在相似图像之间发生剧烈变化。针对这一问题，提出了一种稳定的热图回归方法，以缓解网络对小扰动的脆弱性。我们利用热图中不同行和列之间的相关性来缓解多峰问题，并设计了一个高度差异化的热图回归，使关键点与周围的点区分开来。最大稳定性训练损失用于简化优化难度，当最小化两个相似图像的预测间隙时。该方法在两个基准数据集上的鲁棒性比最先进的方法有了显著的提高，并保持了较高的性能。
2021-05-08 cs.CV
Adaptive Wing Loss for Robust Face Alignment via Heatmap Regression
Oregon State University（俄勒冈州立大学）；JD Digits（京东数字科技）
深度网络热图回归已经成为定位面部标志的主流方法之一。然而，很少研究热图回归的损失函数。在本文中，我们分析了人脸对齐问题中热图回归的理想损失函数性质。然后，我们提出了一种新的损失函数，称为自适应Wing损失，它能够使其形状适应不同类型的地面实况热图像素。这种适应性惩罚损失更多的前景像素，而较少的背景像素。为了解决前景和背景像素之间的不平衡，我们还提出了加权损失图，它为前景和困难的背景像素分配高权重，以帮助训练过程更多地关注对地标定位至关重要的像素。为了进一步提高人脸对齐精度，我们引入了边界预测和边界坐标CoordConv。在COFW、300W和WFLW等不同基准测试上进行的大量实验表明，我们的方法在各种评估指标上的性能都明显优于最先进的方法。此外，自适应翼损失也有助于其他热图回归任务。代码将在https://github.com/protossw512/AdaptiveWingLoss上公开。
2020-05-19 cs.CV
Unstructured Road Vanishing Point Detection Using the Convolutional Neural Network and Heatmap Regression
Tianjin University（天津大学）
非结构化道路消失点检测是一个具有挑战性的问题，特别是在自动驾驶领域。在本文中，我们提出了一种新的解决方案，结合卷积神经网络（CNN）和热图回归检测非结构化道路VP。该算法首先采用了一个轻量级的骨干网，即，采用非结构化卷积改进的HRNet，提取非结构化道路图像的层次特征。然后，提出了三种高级策略，即，利用多尺度监督学习、热图超分辨率和坐标回归技术来实现快速和高精度的非结构化道路VP检测。在Kong数据集上的实验结果表明，与各种实时条件下的最先进方法相比，我们提出的方法具有最高的检测精度，最高速度可达33 fps。
2020-06-08 cs.CV
Human pose estimation via Convolutional Part Heatmap Regression
University of Nottingham（诺丁汉大学）
本文研究了基于卷积神经网络的人体姿态估计。我们的主要贡献是一个CNN级联架构，专门设计用于学习部分关系和空间上下文，并鲁棒地推断姿势，即使在严重的部分遮挡的情况下。为此，我们提出了一个检测后回归CNN级联。级联的第一部分输出部分检测热图，第二部分对这些热图执行回归。所提出的架构的好处是多方面的：它引导网络在图像中聚焦，并有效地编码部分约束和上下文。更重要的是，它可以有效地应对遮挡，因为遮挡部分的部分检测热图提供了较低的置信度分数，随后引导我们网络的回归部分依赖于上下文信息来预测这些部分的位置。此外，我们表明，所提出的级联是足够灵活的，可以很容易地集成各种CNN架构的检测和回归，包括最近的基于残差学习。最后，我们说明了我们的级联达到最高性能的MPII和LSP数据集。代码可从http://www.cs.nott.ac.uk/~psxab5/下载
2016-09-06 cs.CV
Joint Action Unit localisation and intensity estimation through heatmap regression
University of Nottingham（诺丁汉大学）
本文提出了一种监督学习的方法来联合执行面部动作单元（AU）定位和强度估计。与之前尝试学习动作单元区域的无监督表示的工作相反，我们建议通过热图回归直接联合估计所有AU强度，以及它们引起可见变化的面部位置。我们的方法旨在学习逐像素回归函数，返回每个AU的分数，这表明给定空间位置处的AU强度。热图回归然后生成每个AU的图像或通道，其中每个像素指示对应的AU强度。为了生成目标AU的地面实况热图，首先估计面部标志，并在已知AU引起变化的点周围绘制2D高斯。高斯的振幅和大小由AU的强度决定。我们表明，使用一个沙漏网络足以达到新的最先进的结果，证明了这种简单的方法的有效性。热图回归的使用允许学习AU之间的共享表示，而不需要依赖于潜在表示，因为这些是从数据中隐式学习的。我们在BP4D数据集上验证了所提出的方法，对最近的复杂技术以及对未对准误差的鲁棒性进行了适度的改进。测试代码和模型可从https://github.com/ESanchezLozano/Action-Units-Heatmaps下载。
2018-07-20 cs.CV
Refining CNN-based Heatmap Regression with Gradient-based Corner Points for Electrode Localization
Lin Wu（林 Wu）
本文提出一种结合角点检测与CNN热图回归的锂离子电池电极定位方法，利用角点先验优化回归结果，缓解下采样和填充导致的精度损失，显著提升定位性能。
2025-05-22 cs.CV
Rethinking the Heatmap Regression for Bottom-up Human Pose Estimation
MEGVII Research（旷视研究院）；Megvii Inc（旷视科技）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）；Center for Research on Intelligent Perception and Computing (CRIPAC)（智能感知与计算研究中心）；National Laboratory of Pattern Recognition (NLPR)（模式识别国家重点实验室）；Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）
热图回归已成为当今人体姿势估计方法中最普遍的选择。地面实况热图通常通过2D高斯核覆盖所有骨架关键点来构建。这些内核的标准偏差是固定的。然而，对于自自底向上的【形】的方法，需要处理人类尺度和标签模糊性的大变化，目前的做法似乎是不合理的。为了更好地应对这些问题，我们提出了尺度自适应热图回归（SAHR）方法，该方法可以自适应地调整每个关键点的标准差。通过这种方式，SAHR对各种人类尺度和标签模糊性更加宽容。然而，SAHR可能会加剧前背景样本之间的不平衡，这可能会损害SAHR的改善。因此，我们进一步引入权重自适应热图回归（WAHR）来帮助平衡前背景样本。大量的实验表明，SAHR与WAHR一起大大提高了自自底向上的【形】人体姿态估计的准确性。结果，我们最终以+1.5AP的优势超越了最先进的模型，并在COCO test-dev 2017上达到了72.0AP，这与大多数自顶向下方法的性能相当。源代码可在https://github.com/greatlog/SWAHR-HumanPose上获得。
2021-03-25 cs.CV
Bottom-Up Human Pose Estimation by Ranking Heatmap-Guided Adaptive Keypoint Estimates
Microsoft Research（微软研究院）
典型的自自底向上的【形】人体姿态估计框架包括两个阶段，关键点检测和分组。大多数现有的工作集中于开发分组算法，例如，关联嵌入和我们在方法中采用的像素关键点回归。我们提出了几个方案，很少或不彻底的研究之前，提高关键点检测和分组（关键点回归）的性能。首先，我们利用关键点热图进行逐像素关键点回归，而不是将它们分离以改进关键点回归。其次，我们采用逐像素空间Transformer网络来学习自适应表示，以处理尺度和方向方差，从而进一步提高关键点回归质量。最后，我们提出了一个联合形状和热值评分计划，以促进更有可能是真实的姿态估计的姿态。连同用于平衡背景和关键点像素从而提高热图估计质量的权衡热图估计损失，我们得到了最先进的自自底向上的【形】的人体姿态估计结果。代码可在https://github.com/HRNet/HRNet-Bottom-up-Pose-Estimation上获得。
2020-06-28 cs.CV
Bias-Compensated Integral Regression for Human Pose Estimation
National University of Singapore（新加坡国立大学）；Huawei International Pte Ltd.（华为国际私人有限公司）
在人体和手部姿态估计中，热图是身体或手部关键点的关键中间表示。将热图解码为最终关节坐标的两种流行方法是通过argmax，如热图检测中所做的那样，或者通过softmax和expectation，如积分回归中所做的那样。积分回归是端到端可学习的，但精度低于检测。本文揭示了一个诱导偏差的积分回归，结果结合softmax和期望操作。这种偏差通常会迫使网络学习退化的局部热图，模糊关键点的真实底层分布，并导致准确度较低。在训练方面，通过研究积分回归的梯度，我们表明积分回归更新热图的隐式指导使其收敛速度比检测慢。为了克服上述两个限制，我们提出了偏差补偿积分回归（BCIR），一个基于积分回归的框架，可以补偿偏差。BCIR还结合了高斯先验损失，以加快训练速度并提高预测精度。人体和手部基准的实验结果表明，BCIR是更快的训练和更准确的比原来的积分回归，使其具有竞争力的国家的最先进的检测方法。
2023-01-25 cs.CV
HIH: Towards More Accurate Face Alignment via Heatmap in Heatmap
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Baidu Inc.（百度公司）
基于热图的回归克服了直接坐标回归缺乏空间和上下文信息的问题，并彻底改变了人脸对齐的任务。然而，它遭受的量化误差所造成的忽略亚像素坐标在图像去噪和网络降采样。在本文中，我们首先定量分析了量化误差的基准，占1/3以上的整体预测误差的最先进的方法。为了解决这个问题，我们提出了一种新的Heatmap In Heatmap（HIH）表示和一种坐标软分类（CSC）方法，它们无缝集成到经典的沙漏网络中。HIH表示使用嵌套的热图来共同表示坐标标签：一个称为整数热图的热图表示整数坐标，另一个称为十进制热图的热图表示子像素坐标。十进制热图的范围构成相应整数热图中的一个像素。此外，我们将偏移回归问题转化为一个区间分类问题，CSC将像素点的置信度视为区间的概率。同时，应用分布损失的CSC利用从高斯分布函数生成的软标签来指导偏移热图训练，这使得更容易学习坐标偏移的分布。在具有挑战性的基准数据集上进行的大量实验表明，我们的HIH可以实现最先进的结果。特别是，我们的HIH在WFLW上达到4.08 NME（归一化平均误差），在COFW上达到3.21，这大大超过了以前的方法。
2022-04-18 cs.CV
Think about boundary: Fusing multi-level boundary information for landmark heatmap regression
虽然目前的人脸对齐算法在预测人脸标志点位置方面取得了很好的成绩，但对于具有严重遮挡和大姿态变化等情况的人脸，仍然存在巨大的挑战。相反，在这些场景中，人脸边界的语义位置更有可能被保留和估计。因此，我们研究了两个阶段，但端到端的方法来探索面部边界和地标之间的关系，以获得边界感知的地标预测，它包括两个模块：自校准边界估计（SCBE）模块和边界感知的地标变换（BALT）模块。在SCBE模块中，我们修改了茎层并采用中间监督来帮助生成高质量的面部边界热图。从SCBE模块继承的边界感知功能被集成到多尺度融合框架中的BALT模块中，以更好地对从边界到地标热图的转换进行建模。在具有挑战性的基准数据集上进行的实验结果表明，我们的方法优于文献中最先进的方法。
2020-08-25 cs.CV
Numerical Coordinate Regression with Convolutional Neural Networks
La Trobe University（拉筹伯大学）
我们研究了深度学习方法来推断输入图像中感兴趣点的数值坐标。现有的基于卷积神经网络的解决方案要么采用热图匹配方法，要么回归到具有完全连接的输出层的坐标。这两种方法都不是理想的，因为前者不是完全可微的，而后者缺乏内在的空间概括。我们提出了我们的可微空间数值变换（DSNT），以填补这一空白。DSNT层不添加任何可训练参数，完全可微，并具有良好的空间泛化能力。与热图匹配不同，DSNT在低热图分辨率下工作良好，因此它可以作为各种现有全卷积架构的输出层。因此，DSNT提供了一个更好的权衡推理速度和预测精度相比，现有的技术。当DSNT用于取代几乎所有最先进的姿态估计方法中使用的流行热图匹配方法时，DSNT为所有测试的模型架构提供了更好的预测精度。
2018-05-03 cs.CV
Improving Object Counting with Heatmap Regulation
Department of Computer Science, University of Saskatchewan（萨斯喀彻温大学计算机科学系）；University of Saskatchewan（萨斯喀彻温大学）
在本文中，我们提出了一个简单而有效的方法来改善单视回归模型从图像中的对象计数。我们使用类激活图可视化来说明学习计数任务的纯单次回归模型的缺点。基于这些见解，我们通过使用从简单点注释生成的粗糙地面实况激活图来调节网络最终卷积层的激活图，从而增强了单视回归计数模型。我们称这种策略为热图调节（HR）。我们表明，这种简单的增强有效地抑制了由相应的一个看基线模型产生的错误检测，也提高了性能方面的假阴性。在四个不同的计数数据集上进行评估-两个用于汽车计数（CARPK，PUCPR+），一个用于人群计数（WorldExpo），另一个用于生物细胞计数（VGG-Cells）。将HR添加到简单的VGG前端，与简单的单外观基线模型相比，可以提高所有这些基准测试的性能，并获得最先进的车辆计数性能。
2018-05-23 cs.CV
Poseur: Direct Human Pose Regression with Transformers
The University of Adelaide（阿德莱德大学）；Alibaba Damo Academy（阿里巴巴达摩院）；Zhejiang University（浙江大学）；Meituan Inc.（美团公司）
我们提出了一个直接的，基于回归的方法来从单个图像的2D人体姿态估计。我们将问题表述为序列预测任务，我们使用Transformer网络来解决。该网络直接学习从图像到关键点坐标的回归映射，而无需求助于诸如热图之类的中间表示。这种方法避免了与基于热图的方法相关的许多复杂性。为了克服以前基于回归的方法的特征不对齐问题，我们提出了一种注意力机制，该机制自适应地关注与目标关键点最相关的特征，大大提高了准确性。重要的是，我们的框架是端到端可区分的，并且自然地学会利用关键点之间的依赖关系。在MS-COCO和MPII这两个主要的姿态估计数据集上的实验表明，我们的方法在基于回归的姿态估计中显着改善了现有技术。更值得注意的是，与最好的基于热图的姿势估计方法相比，我们是第一个基于回归的方法。
2022-07-20 cs.CV
Towards Highly Accurate and Stable Face Alignment for High-Resolution Videos
Youtu Lab, Tencent（腾讯优图实验室）；Michigan State University（密歇根州立大学）；Fudan University（复旦大学）
近年来，基于热图回归的模型在人脸对齐和姿态估计中显示出其有效性。然而，传统的热图回归（Heatmap Regression）在处理高分辨率面部视频时既不准确也不稳定，因为它在从舍入坐标生成的热图中找到最大激活位置，从而在缩放回原始高分辨率空间时导致量化误差。在本文中，我们提出了一个分数热图回归（FHR）的高分辨率视频为基础的人脸对齐。所提出的FHR可以根据二维高斯函数通过对热图中的三个点进行采样来准确地估计分数部分。为了进一步稳定连续视频帧之间的地标，同时保持精度，我们提出了一种新的稳定损失，包含两个术语，分别解决时间延迟和非平滑问题。在300 W、300-VW和Talking Face数据集上的实验表明，该方法比现有的模型更准确、更稳定。
2018-11-22 cs.CV
Skeleton-aware multi-scale heatmap regression for 2D hand pose estimation
Gebze Technical University（盖布泽技术大学）
现有的基于RGB的2D手部姿态估计方法从单一分辨率学习关节位置，这不适合于不同尺寸的手部。为了解决这个问题，我们提出了一个新的基于深度学习的框架，该框架由两个主要模块组成。前者提出了一种基于分割的方法来检测手部骨架和定位手部限界框。第二个模块通过多尺度热图回归方法来回归2D关节位置，该方法利用预测的手部骨骼作为约束来指导模型。此外，我们构建了一个新的数据集，这是适合于手检测和姿态估计。我们在两个数据集上定性和定量地验证了我们的方法。实验结果表明，该方法的性能优于现有技术，即使在杂乱图像和复杂姿态下也能恢复姿态。
2021-05-23 cs.AI cs.CV
6D Pose Estimation via Keypoint Heatmap Regression with RGB-D Residual Neural Networks
Politecnico di Torino（托里诺理工学院）
本文提出基于关键点热图回归的模块化框架，结合YOLOv10m进行目标检测与ResNet18预测RGB图像的2D热图，利用PnP RANSAC算法估计6D位姿，并通过RGB-D交叉融合架构提升性能，最终在LINEMOD数据集上达到92.41%的准确率。
2026-05-08 cs.CV cs.RO
Heatmap Regression without Soft-Argmax for Facial Landmark Detection
Department of Computer Science, Purdue University（计算机科学系，普渡大学）
本文提出基于经典结构化预测框架的替代训练目标，证明人脸关键点检测无需依赖Soft-argmax，在WFLW、COFW和300W上取得最先进性能且训练收敛速度提升2.2倍。
2025-08-19 cs.AI cs.CV
CHaRM: Conditioned Heatmap Regression Methodology for Accurate and Fast Dental Landmark Localization
Nemotec Madrid, Spain（Nemotec马德里西班牙）；Dept. of Computer Science and Artificial Intelligence University of Granada（计算机科学与人工智能系格拉纳达大学）
本文提出首个完全端到端的三维 IOS 牙齿标志点检测框架 CHaRM，利用牙齿存在性条件模块避免牙齿分割，并在新数据集上以 CHaRNet 取得更高精度和最高 14.8 倍加速。
2025-08-29 cs.CV
Hand Pose Estimation via Latent 2.5D Heatmap Regression
NVIDIA Research（英伟达研究院）；University of Bonn（波恩大学）
手的三维姿态估计是人机交互的重要组成部分。随着计算机视觉的最新进展，使用深度或多视图传感器估计3D姿态已经变得更容易，然而，从单个RGB图像回归姿态要不那么简单。主要的困难来自于3D姿态需要某种形式的深度估计的事实，这在仅给出RGB图像的情况下是模糊的。在本文中，我们提出了一种新的方法，通过一个新的2.5D姿态表示从单目图像的3D手姿态估计。我们的新表示估计构成了一个缩放因子，如果给出了手的大小的先验，则可以额外估计。我们隐式地学习深度图和热图分布与一个新的CNN架构。我们的系统在存在严重遮挡的情况下，在几个具有挑战性的数据集上实现了2D和3D手部姿势的最新估计。
2018-04-25 cs.CV cs.LG
Integrating Spatial Configuration into Heatmap Regression Based CNNs for Landmark Localization
Graz University of Technology（格拉茨工业大学）；Ludwig Boltzmann Institute for Clinical Forensic Imaging（路德维希·玻尔兹曼临床法医成像研究所）
在许多医学图像分析应用中，通常只有有限的训练数据可用，这使得卷积神经网络（CNN）的训练具有挑战性。在这项关于解剖标志定位的工作中，我们提出了一种CNN架构，该架构可以学习将定位任务分为两个更简单的子问题，从而减少对大型训练数据集的需求。我们的全卷积空间预测网络（SCN）将一个组件专用于局部准确但模糊的候选预测，而另一个组件通过结合地标的空间配置来提高对模糊性的鲁棒性。在我们的实验评估中，我们表明，所提出的SCN优于相关方法的地标定位误差的大小有限的数据集。
2019-08-02 cs.CV eess.IV
Heatmap Regression for Lesion Detection using Pointwise Annotations
McGill University（麦吉尔大学）；Montreal Neurological Institute（蒙特利尔神经学研究所）
在许多临床背景下，检测所有病变对于评估疾病活动性至关重要。标准方法将病变检测作为分割问题，尽管获取分割标签的耗时性质。在本文中，我们提出了一种病变检测方法，它只依赖于点标签。我们的模型通过热图回归进行训练，可以以概率的方式检测到可变数量的病变。事实上，我们提出的后处理方法提供了一种可靠的方式，直接估计病变存在的不确定性。GAD病变检测的实验结果表明，我们的基于点的方法相比，昂贵的分割标签的训练具有竞争力。最后，我们的检测模型为分割提供了合适的预训练。当仅对17个分割样本进行微调时，我们实现了与完整数据集训练相当的性能。
2022-08-11 cs.CV cs.LG eess.IV
Graph-PCNN: Two Stage Human Pose Estimation with Graph Pose Refinement
Baidu Inc.（百度公司）
目前，大多数最先进的人体姿态估计方法都是基于热图回归的。关键点的最终坐标直接通过热图解码获得。在本文中，我们的目标是找到一个更好的方法，以获得更准确的定位结果。主要提出了两点改进建议：1）粗定位和精定位应采用不同的特征和方法; 2）关键点之间的关系应考虑。具体来说，我们提出了一个两阶段的基于图和模型不可知的框架，称为Graph-PCNN，在原始热图回归网络上添加了一个本地化子网和一个图姿势细化模块。在第一阶段中，应用热图回归网络来获得粗略的定位结果，并对一组被称为引导点的建议关键点进行采样。在第二阶段，对于每个引导点，不同的视觉特征提取的定位子网。通过图形姿态细化模块探索引导点之间的关系，以获得更准确的定位结果。实验表明，Graph-PCNN可以用于各种骨干网络中，以大幅提高性能。没有花里胡哨的东西，我们最好的模型可以在COCO测试开发分割上实现最先进的76.8% AP。
2020-07-21 cs.CV
Point detection through multi-instance deep heatmap regression for sutures in endoscopy
目的：二尖瓣修复术是一种复杂的微创心脏瓣膜手术。在这种情况下，从内窥镜图像中检测缝线是一项高度相关的任务，它提供定量信息来分析缝线模式，评估假体配置并产生增强现实可视化。面部或解剖标志检测任务通常包含固定数量的标志，并使用回归或基于固定热图的方法来定位标志。然而，在内窥镜检查中，每张图像中有不同数量的缝线，缝线可能出现在瓣环的任何位置，因为它们在语义上并不唯一。方法：在这项工作中，我们将缝线检测任务制定为多实例深度热图回归问题，以识别缝线的入口和出口点。我们扩展了我们以前的工作，并介绍了一个2D高斯层，然后是一个可微的2D空间Soft-Argmax层作为一个局部非最大值抑制的新用途。结果：我们使用多个热图分布函数和所提出的模型的两个变体进行了广泛的实验。在术中领域，变体1显示平均F1为基线的+0.0422。类似地，在模拟器域中，变体1显示出超过基线的平均F1为+0.0865。结论：所提出的模型在术中和模拟器领域显示出比基线的改进。这些数据在MICCAI AdaptOR 2021挑战赛https：//adaptor2021.github.io/的范围内公开提供，代码在https://github.com/Cardio-AI/suture-detection-pytorch/上。DOI：10.1007/s11548-021-02523-w。开放获取文章的链接可以在这里找到：https:…
2021-11-16 cs.AI cs.CV
Deep Single Image Camera Calibration by Heatmap Regression to Recover Fisheye Images Under Manhattan World Assumption
Panasonic Holdings Corporation（松下控股公司）；Chubu University（中部大学）
针对曼哈顿世界下鱼眼图像相机角度估计的挑战，提出基于热图回归的学习标定方法，通过辅助对角点弥补消失点缺失，在大型数据集和现成相机上优于传统方法。
2024-09-20 cs.CV stat.ML
Aortic root landmark localization with optimal transport loss for heatmap regression
Meiji Institute for Advanced Study of Mathematical Sciences, Meiji University（明治大学先端数学研究所）；The Jikei University School of Medicine（慈惠医科大学）；Sendai Kousei Hospital（仙台厚生病院）；School of Interdisciplinary Mathematical Sciences, Meiji University（明治大学跨学科数学学部）
本文提出一种基于最优传输损失的一步式主动脉根部关键点定位方法，在3D CT图像上显著降低估计误差并兼顾精度与训练稳定性。
2024-07-06 cs.AI cs.CV stat.AP
Robust Face Alignment by Multi-order High-precision Hourglass Network
Singapore University of Technology and Design（新加坡科技设计大学）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）
热图回归（HR）已成为人脸对齐的主流方法之一，并在约束环境下取得了良好的效果。然而，当人脸图像遭受大的姿态变化、严重的遮挡和复杂的光照时，由于生成的地标热图的低分辨率和排除可用于学习更多区分特征的重要高阶信息，HR方法的性能大大降低。为了解决具有极大姿态和严重遮挡的人脸的对齐问题，本文提出了一种热图子像素回归（HSR）方法和一种多阶交叉几何感知（MCG）模型，它们无缝集成到一种新的多阶高精度沙漏网络（MHHN）中。HSR方法通过设计良好的亚像素检测损失（SDL）和亚像素检测技术（SDT）来实现高精度的地标检测。同时，MCG模型能够使用所提出的多阶交叉信息来学习更多的判别表示，以增强面部几何约束和上下文信息。据我们所知，这是第一项探索热图子像素回归的研究，用于鲁棒和高精度的面部对齐。具有挑战性的基准数据集的实验结果表明，我们的方法优于最先进的方法在文献中。
2020-10-17 cs.CV
Pose Recognition with Cascade Transformers
University of Chinese Academy of Sciences（中国科学院大学）；Tsinghua University（清华大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）
本文提出了一种基于回归的级联Transformers姿态识别方法。对该领域现有方法进行分类的一种方法是将它们分为1）。基于热图和2）。回归为基础。一般来说，基于热图的方法实现了更高的准确性，但受到各种启发式设计（大多不是端到端）的影响，而基于回归的方法实现了相对较低的准确性，但它们具有较少的中间不可微步骤。在这里，我们利用Transformers中的编码器-解码器结构来执行基于回归的人和关键点检测，该检测是通用的，并且与现有方法相比需要较少的启发式设计。我们展示了关键点假设（查询）在不同自我注意层上的细化过程，以揭示Transformers中的递归自我注意力机制。在实验中，我们报告的姿态识别与竞争的回归为基础的方法相比，具有竞争力的结果。
2021-04-14 cs.CV
HEMlets Pose: Learning Part-Centric Heatmap Triplets for Accurate 3D Human Pose Estimation
Shenzhen Cloudream Technology Co., Ltd.（深圳云创科技有限公司）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；South China University of Technology（华南理工大学）
从单幅图像中估计三维人体姿态是一项具有挑战性的任务。这项工作试图通过引入中间状态-部分中心热图三元组（HEMlets）来解决将检测到的2D关节提升到3D空间的不确定性，这缩短了2D观察和3D解释之间的差距。HEMlets利用三个关节热图来表示每个骨骼身体部位的末端关节的相对深度信息。在我们的方法中，首先训练卷积网络（ConvNet）以从输入图像预测HEMlests，然后进行体积联合热图回归。我们利用积分运算从体积热图中提取关节位置，保证端到端学习。尽管网络设计很简单，但定量比较显示，与最佳方法相比，性能有了显着提高（在Human3.6M上提高了20%）。所提出的方法自然地支持训练与“在野外”的图像，其中只有弱注释的相对深度信息的骨骼关节是可用的。这进一步提高了我们的模型的泛化能力，通过室外图像的定性比较进行了验证。
2019-10-26 cs.CV
Human Pose Regression with Residual Log-likelihood Estimation
Shanghai Jiao Tong University（上海交通大学）；The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
基于热图的方法通过似然热图对输出分布进行建模，在人体姿态估计领域占主导地位。相比之下，基于回归的方法更有效，但性能较差。在这项工作中，我们探索最大似然估计（MLE）开发一个高效和有效的基于回归的方法。从极大似然估计的角度来看，采用不同的回归损失是对输出密度函数做出不同的假设。更接近真实分布的密度函数导致更好的回归性能。有鉴于此，我们提出了一种新的回归范式与残差对数似然估计（RLE），以捕捉潜在的输出分布。具体地说，RLE学习分布的变化，而不是未引用的底层分布，以促进训练过程。与建议的重新参数化设计，我们的方法是与现成的流动模型兼容。该方法是有效的，高效的和灵活的。我们展示了它的潜力，在各种人体姿态估计任务与全面的实验。与传统的回归范式相比，回归与RLE带来12.4 mAP的改进MSCOCO没有任何测试时间开销。此外，特别是在多人姿态估计方面，我们的回归方法第一次优于基于热图的方法。我们的代码可在https://github.com/Jeff-sjtu/res-loglikelihood-regression上获得
2021-07-31 cs.CV cs.LG
TFPose: Direct Human Pose Estimation with Transformers
The University of Adelaide（阿德莱德大学）；Alibaba Group（阿里巴巴集团）
我们提出了一个人的姿态估计框架，解决了基于回归的时尚的任务。与以前的基于回归的方法，这往往落后于那些国家的最先进的方法，我们制定的姿势估计任务到一个序列预测问题，可以有效地解决Transformers。我们的框架是简单和直接的，绕过了基于热图的姿势估计的缺点。此外，与Transformers中的注意力机制，我们提出的框架是能够自适应地注意到最相关的目标关键点的功能，这在很大程度上克服了以前的基于回归的方法的特征不对齐的问题，并大大提高了性能。重要的是，我们的框架可以从本质上利用关键点之间的结构化关系。在MS-COCO和MPII数据集上的实验表明，我们的方法可以显着提高基于回归的姿态估计的最新技术水平，并与最好的基于热图的姿态估计方法进行比较。
2021-03-29 cs.CV
Hybrid model for Single-Stage Multi-Person Pose Estimation
LG Electronics（LG电子）
提出HybridPose混合模型，结合回归与热图方法，利用自相关损失注入空间依赖，实现单阶段多人姿态估计，兼顾密集关键点检测与不存在关键点过滤，且精度无下降。
2023-06-19 cs.CV
Disentangling 3D Pose in A Dendritic CNN for Unconstrained 2D Face Alignment
University of Maryland-College Park（马里兰大学帕克分校）
热图回归已经被用于地标定位有一段时间了。大多数方法使用非常深的瓶颈模块堆栈进行热图分类阶段，然后使用热图回归来提取关键点。在本文中，我们提出了一个单一的树突状CNN，被称为姿势条件树突状卷积神经网络（PCD-CNN），其中一个分类网络是由第二个和模块化的分类网络，在端到端的方式训练，以获得准确的标志点。在贝叶斯公式之后，我们通过对姿势的地标估计进行条件化来明确地解开面部图像的3D姿势，使其不同于多任务处理方法。大量的实验表明，姿态调节通过使其与面部姿态无关来减少定位误差。所提出的模型可以扩展到产生可变数量的标志点，从而扩大其适用于其他数据集。我们没有增加网络的深度或宽度，而是使用Mask-Softmax Loss和硬样本挖掘有效地训练CNN，以实现与最先进的方法相比，最多$15\%$减少错误，用于来自具有挑战性的数据集（包括AFLW，AFW，COFW和IBUG）的极端和中等姿态人脸图像。
2018-03-28 cs.CV
ActionMap: Robot Policy Learning via Voxel Action Heatmap
Show Lab, National University of Singapore（新加坡国立大学Show实验室）；NVIDIA（英伟达）
提出ActionMap，一种将动作空间建模为体素热图的动作解码器，替代现有VLA模型中的单点预测器，在LIBERO仿真和真实Franka操作中提升性能和数据效率。
2026-06-11 cs.CV cs.RO
HEMlets PoSh: Learning Part-Centric Heatmap Triplets for 3D Human Pose and Shape Estimation
SmartMore Co., Ltd.（思谋科技有限公司）；Shenzhen Institute of Big Data, The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）深圳大数据研究院）；South China University of Technology（华南理工大学）
从单幅图像中估计三维人体姿态是一项具有挑战性的任务。这项工作试图解决的不确定性，解除检测到的2D关节的3D空间，通过引入一个中间状态部分为中心的热图三元组（HEMlets），这缩短了2D观察和3D解释之间的差距。HEMlets利用三个关节热图来表示每个骨骼身体部位的末端关节的相对深度信息。在我们的方法中，首先训练卷积网络（ConvNet）来从输入图像预测HEMlets，然后进行体积联合热图回归。我们利用积分运算从体积热图中提取关节位置，保证端到端学习。尽管网络设计简单，但定量比较显示，与最佳方法（例如，Human3.6M上的$20\%$）相比，性能有显著提高。所提出的方法自然地支持训练与“在野外”的图像，其中只有弱注释的相对深度信息的骨骼关节是可用的。这进一步提高了我们的模型的泛化能力，通过室外图像的定性比较进行了验证。利用HEMlets的姿态估计能力，我们进一步设计并附加了一个浅而有效的网络模块来回归人体姿态和形状的SMPL参数。我们将整个基于HEMlet的人体姿势和形状恢复管道称为HEMlet PoSh。对现有人体恢复基准进行的大量定量和定性实验证明了我们的HEMlets PoSh方法获得的最新结果。
2021-01-12 cs.CV
QAFE-Net: Quality Assessment of Facial Expressions with Landmark Heatmaps
School of Computer Science（计算机学院）
针对健康应用中面部表情质量评估需求，提出结合时序特征点热图与RGB数据的QAFE-Net方法，在帕金森病表情数据集和疼痛基准上均优于现有最优方法。
2023-12-12 cs.CV
An Attention-Guided Deep Regression Model for Landmark Detection in Cephalograms
School of Electronic Engineering, Xidian University（西安电子科技大学电子工程学院）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
头影测量描记法是正畸诊断和治疗计划中常用的方法。在本文中，我们提出了一个基于深度学习的框架来自动检测头影测量X射线图像中的解剖标志。我们训练深度编码器-解码器进行地标检测，并将全局地标配置与局部高分辨率特征响应相结合。提出的框架是基于2阶段的u-网络，回归的多通道热图的地标检测。在该框架中，我们将注意力机制嵌入到全局阶段热图中，引导局部阶段推断，以高分辨率回归局部热图块。此外，扩展探索策略提高了推理的鲁棒性，在不增加模型复杂度的情况下扩大了搜索范围。我们已经评估了我们的框架中使用最广泛的公共数据集的标志性检测头影测量X射线图像。通过更少的计算和手动调整，我们的框架获得了最先进的结果。
2020-09-27 cs.CV cs.LG eess.IV
Markov Localisation using Heatmap Regression and Deep Convolutional Odometry
University of Surrey（萨里大学）
在自动驾驶汽车的背景下，基于视觉定位和激光雷达的方法之间存在着激烈的竞争。虽然LiDAR提供了重要的深度信息，但它的分辨率很低，而且价格昂贵。另一方面，相机成本低，深度学习的最新发展意味着它们可以提供高定位性能。然而，仍然存在几个基本问题，特别是在不确定性领域，其中基于学习的方法可能是出了名的过度自信。马尔可夫或基于网格的本地化是本地化问题的早期解决方案，但由于其计算复杂性而失宠。将似然场表示为网格（或体积）意味着在准确性和内存大小之间存在权衡。此外，有必要在整个似然体积上执行昂贵的卷积。尽管可以同时保持所有可能位置的可能性，但基于网格的方法被更有效的粒子滤波器和蒙特卡罗定位（MCL）所取代。然而，MCL引入了其自身的问题，例如粒子剥夺。深度学习硬件的最新进展允许将大的似然量直接存储在GPU上，以及有效执行GPU绑定3D卷积所需的硬件，这消除了基于网格的方法的许多缺点。在这项工作中，我们提出了一种新的基于CNN的本地化方法，可以利用现代深度学习硬件。通过直接在GPU上实现基于网格的马尔可夫定位方法，我们创建了一个混合CNN，可以在单个神经网络内执行基于图像的定位和基于里程计的似然传播。由此产生的方法能够优于直接姿态回归方法以及最先进的定位系统。
2021-06-01 cs.CV cs.LG cs.RO
Facial Landmarks Localization using Cascaded Neural Networks
Bar-Ilan University（巴伊兰大学）；Roma Tre University（罗马第三大学）
面部标志的准确定位是面部分析任务的核心，例如面部识别和面部表情分析等。在这项工作中，我们提出了一种基于深度学习架构的新型定位方法，该架构利用具有卷积神经网络单元的级联子网络。第一子网络的级联单元估计地标位置的基于热图的编码，而第二子网络的级联单元接收对应热图估计单元的输出作为输入，并且通过回归来细化它们。实验结果表明，该方案与当代最先进的方案相比，尤其是当应用于描绘具有挑战性的定位条件的图像时。
2021-07-19 cs.CV
Attaining human-level performance with atlas location autocontext for anatomical landmark detection in 3D CT data
Canon Medical Research Europe（佳能医疗欧洲研究中心）；Queen Elizabeth University Hospital（伊丽莎白女王大学医院）；University of Glasgow（格拉斯哥大学）
我们提出了一个有效的神经网络方法定位解剖标志在三维医学CT扫描，使用地图集位置自动上下文，以学习远程空间上下文。位置预测是通过回归到高斯热图来进行的，每个地标一个热图。该系统允许对浅层网络进行分片应用，从而能够同时预测多个体积热图，而无需过高的GPU内存要求。此外，该系统允许使用简单的超定仿射映射来利用界标间空间关系，该超定仿射映射对于检测失败和遮挡或部分视图是鲁棒的。对头部CT扫描中一系列结构上定义的22个标志进行评价。模型在201次扫描上进行了训练和验证。在由2个人类注释者独立注释的20个扫描的最终测试集上，神经网络达到了与注释者可变性匹配的准确度，具有跨地标类的相似的人类和机器可变性模式。
2018-09-30 cs.CV
Deep Convolutional Neural Network-based Bernoulli Heatmap for Head Pose Estimation
头部姿态估计是许多任务的关键问题，例如驾驶员注意力、疲劳检测和人类行为分析。众所周知，神经网络在处理分类问题时比回归问题更好。让网络直接输出角度值进行优化学习是一个极其非线性的过程，对损失函数的权值约束会相对较弱。本文提出了一种新的Bernoulli热图，用于从单个RGB图像中估计头部姿态。我们的方法可以实现头部区域的定位，同时估计的角度的头部。Bernoulli热图使得在没有完全连接层的情况下构造完全卷积神经网络成为可能，并为头部姿态估计的输出形式提供了新的思路。采用具有多尺度表示的深度卷积神经网络（CNN）结构来并行地维护高分辨率信息和低分辨率信息。这种结构可以保持丰富的高分辨率表示。此外，采用通道级融合，使融合权值可学习，而不是简单的等权相加。因此，估计在空间上更精确并且可能更准确。通过在公共数据集上与其他最先进的方法进行比较，实证证明了该方法的有效性。
2020-05-24 cs.CV cs.MM
Recurrent Convolutional Neural Network Regression for Continuous Pain Intensity Estimation in Video
University of Oulu（奥卢大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
疼痛强度的自动估计在医疗保健领域具有重要的地位。传统的静态方法倾向于从视频中的帧中单独提取特征，这会导致相邻帧之间的不稳定变化和峰值。为了克服这个问题，我们提出了一个实时回归框架的基础上，经常性的卷积神经网络自动帧级疼痛强度估计。给定AAM扭曲的面部图像的向量序列，我们使用滑动窗口策略来获得递归网络的固定长度的输入样本。然后，我们仔细设计了递归网络的架构，以输出连续值的疼痛强度。所提出的端到端疼痛强度回归框架可以通过考虑足够大的历史帧来预测每个帧的疼痛强度，同时限制模型内参数的规模。我们的方法在已发表的UNBC-McMaster肩关节疼痛表达档案数据库上的准确性和运行速度方面都取得了令人满意的结果。
2016-05-03 cs.CV
Facial Action Unit Intensity Estimation via Semantic Correspondence Learning with Dynamic Graph Convolution
The University of Hong Kong（香港大学）
由于人的面部外观的细微变化，面部动作单元（AU）的强度估计是具有挑战性的。以前的方法主要依赖于概率模型或预定义的规则来建模AU之间的共现关系，导致有限的泛化。相比之下，我们提出了一个新的学习框架，自动学习的潜在关系的AU通过建立语义特征图之间的对应关系。在基于热图回归的网络中，特征图保留了与AU强度和位置相关联的丰富语义信息。此外，AU共现模式可以通过激活一组特征通道来反映，其中每个通道编码AU的特定视觉模式。这促使我们对特征通道之间的相关性进行建模，这隐含地表示AU强度水平的同现关系。具体来说，我们引入了一个语义对应卷积（SCC）模块，动态计算深和低分辨率特征映射的对应关系，从而提高了特征的可分辨性。在两个基准数据集上的实验结果表明了该方法的有效性和优越性能。
2020-04-20 cs.CV
PropagationNet: Propagate Points to Curve to Learn Structure Information
Beijing University of Posts and Telecommunications（北京邮电大学）；DiDi Chuxing（滴滴出行）
深度学习技术极大地提高了人脸对齐算法的性能。然而，由于大的可变性和缺乏样本，在无约束的情况下，\emph{e.g} \onedot大的头部姿势，夸张的表情，和不均匀的照明，对准问题仍然在很大程度上没有解决。在本文中，我们探讨了我们的两个建议，\emph{i.e} \onedot传播模块和焦点机翼损失，以解决这个问题背后的本能和原因。具体地说，我们提出了一种新的结构注入的人脸对齐算法的基础上热图回归通过传播地标热图边界热图，提供进一步的注意力地图生成的结构信息。此外，我们提出了一个焦点翼损失的挖掘和强调困难的样品在野外条件下。此外，我们采用了其他领域的CoordConv和Anti-aliased CNN等方法，解决了CNN在人脸对齐中的偏移方差问题。当在不同的基准测试，\emph{i.e} \onedot WFLW，300 W和COFW上进行广泛的实验时，我们的方法明显优于最先进的方法。我们提出的方法在WFLW上的平均误差为4.05%，在300 W的全集上的平均误差为2.93%，在COFW上的平均误差为3.71%.
2020-06-25 cs.CV
YOLOPose: Transformer-based Multi-Object 6D Pose Estimation using Keypoint Regression
University of Bonn（波恩大学）
6D物体位姿估计是自主机器人操作应用的重要前提。用于姿态估计的现有技术模型是基于卷积神经网络（CNN）的。最近，最初为自然语言处理提出的架构Transformers也在许多计算机视觉任务中取得了最先进的成果。配备有多头自注意力机制，Transformers实现简单的单级端到端架构，用于联合学习目标检测和6D对象姿态估计。在这项工作中，我们提出了YOLOPose（You Only Look Once Pose Estimation的缩写），这是一种基于关键点回归的基于变换器的多对象6D姿态估计方法。与用于预测图像中关键点的标准热图相比，我们直接回归关键点。此外，我们采用了一个可学习的方向估计模块来预测的关键点的方向。与单独的翻译估计模块一起，我们的模型是端到端可微的。我们的方法适用于实时应用，并取得了与最先进的方法相当的结果。
2022-05-05 cs.CV
Digital Typhoon Dataset V3: Benchmarking for Multi-spectral Extension and Analyzing Systematic Bias in Intensity Regression
National Institute of Informatics（信息学国立研究院）；Typhoon Science and Technology Research Center, Yokohama National University（横滨国立大学台风科学技术研究中心）；University of Artois（阿图瓦大学）；University of Buenos Aires（布宜诺斯艾利斯大学）；Hanoi University of Science and Technology（河内理工大学）；RWTH Aachen University（亚琛工业大学）
本文发布了跨度近50年的数字台风数据集V3，测试发现多通道输入在气压回归中未明显优于单通道输入，ResNet-18等表现最佳，还分析出强度回归存在强台风低估的系统偏差，相关去偏差方法效果不足。
2026-10-16 cs.CV
EvCenterNet: Uncertainty Estimation for Object Detection using Evidential Learning
Fraunhofer IKS（弗劳恩霍夫智能认知系统研究所）；University of Freiburg（弗赖堡大学）；Federal University of Rio Grande（里奥格兰德联邦大学）；University of Tech. Nuremberg（纽伦堡工业大学）；TU München（慕尼黑工业大学）
本文提出 EvCenterNet 证据学习二维目标检测框架，联合估计分类与回归不确定性，并通过组合损失、类别平衡加权和不确定性聚焦训练提升分布外检测精度。
2023-09-28 cs.AI cs.CV
Gaussian Vector: An Efficient Solution for Facial Landmark Detection
Central South University（中南大学）；Horizon Robotics（地平线机器人）
随着卷积神经网络的发展，人脸标志点检测取得了重大进展。广泛使用的算法可以分为坐标回归方法和基于热图的方法。然而，前者丢失了空间信息，导致性能不佳，而后者则具有较大的输出大小或较高的后处理复杂度。本文提出了一种新的解决方案，高斯矢量，以保持空间信息，以及减少输出大小和简化后处理。我们的方法提供了新的矢量监督，并引入了波段池模块，将热图转换为每个地标的一对矢量。这是一个简单有效的即插即用组件。此外，提出了超越框策略来处理人脸限界框之外的特征点。我们在300 W、COFW、WFLW和JD-landmark上对我们的方法进行了评估。结果显着超过以前的作品证明了我们的方法的有效性。
2020-10-03 cs.CV
Bootstrap Model Ensemble and Rank Loss for Engagement Intensity Regression
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Nanyang Technological University（南洋理工大学）；The University of Tokyo（东京大学）
本文介绍了我们对2019年世界杯的参与强度回归任务的方法。该任务是预测学生在各种条件下观看在线MOOC视频时的参与强度值。在去年的Winner解决方案的基础上，本文主要采用自举策略和两个新的损失函数来研究头部特征和身体特征。我们保持了长短期记忆（LSTM）网络的多示例学习框架，并做出了三个贡献。首先，除了凝视和头部姿势特征，我们在我们的框架中探索面部标志特征。其次，受参与强度可以按值进行排名的事实的启发，我们设计了一个秩损失作为正则化，它强制执行远距离类别对和相邻类别对的特征之间的距离余量。第三，我们使用经典的bootstrap聚合方法进行模型集成，该方法对特定的训练数据进行多次随机采样，然后对模型预测值进行平均。我们评估了我们的方法的性能，并讨论了每个部分对验证数据集的影响。我们的方法最终在测试集上以0.0626的MSE获得第三名。
2019-07-08 cs.CV
Pixel-in-Pixel Net: Towards Efficient Facial Landmark Detection in the Wild
Inception Institute of Artificial Intelligence (IIAI)（起源人工智能研究院）；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）
最近，热图回归模型由于其在定位面部标志方面的优越性能而变得流行。然而，这些模型仍然存在三个主要问题：（1）它们是计算昂贵的;（2）他们通常缺乏明确的约束的全球形状;（3）域间隙普遍存在。为了解决这些问题，我们提出了像素中像素网络（PIPNet）的面部标志检测。该模型配备了一个基于热图回归的新型检测头，它在低分辨率特征图上同时进行分数和偏移预测。通过这样做，不再需要重复的上采样层，从而在不牺牲模型精度的情况下大大减少了推理时间。此外，提出了一个简单但有效的邻居回归模块，通过融合来自相邻地标的预测来加强局部约束，从而增强了新检测头的鲁棒性。为了进一步提高PIPNet的跨领域泛化能力，我们提出了课程自训练。这种训练策略能够从跨域的未标记数据中挖掘出更可靠的伪标签，方法是从一个更容易的任务开始，然后逐渐增加难度以提供更精确的标签。大量的实验证明了PIPNet的优越性，在监督设置下，它在六个流行的基准测试中的三个上获得了最先进的结果。与基线相比，两个跨域测试集的结果也得到了一致的改善。值得注意的是，我们轻量级版本的PIPNet在CPU和GPU上的运行速度分别为35.7 FPS和200 FPS，同时仍然保持了与最先进方法相比具有竞争力的准确性。PIPNet的代码可在https://github.com/jhb86253817/PIPNet上获得。
2021-09-11 cs.CV
Virtual airways heatmaps to optimize point of entry location in lung biopsy planning systems
Universitat Autònoma Barcelona（巴塞罗那自治大学）；Computer Vision Center（计算机视觉中心）；Hospital Universitari de Bellvitge（贝尔维奇大学医院）
提出基于虚拟气道热力图的肺活检规划模型，通过三维场景模拟评估进针点质量与误差范围，发现病灶形状和距离对活检成功率有显著影响，辅助确定最佳进针点及最大允许误差。
2025-01-31 cs.AI cs.CV
Deep Domain Adaptation for Ordinal Regression of Pain Intensity Estimation Using Weakly-Labelled Videos
École de technologie supérieure, Université du Québec（魁北克大学特克学院）
本文提出WSDA-OR模型，通过序数回归、多实例学习和深度对抗域自适应，利用弱标注目标域视频实现疼痛强度估计，并在多个数据集上验证了其有效性。
2024-07-06 cs.CV
Deep DA for Ordinal Regression of Pain Intensity Estimation Using Weakly-Labeled Videos
提出WSDA-OR模型，通过结合序数回归、多实例学习与深度对抗域适应，利用弱标签视频的序列级信息学习域不变特征，显著提升了疼痛强度估计和定位精度。
2023-09-11 cs.CV
ACR Loss: Adaptive Coordinate-based Regression Loss for Face Alignment
University of Denver（丹佛大学）
尽管深度神经网络在解决面部对齐问题上已经达到了合理的精度，但这仍然是一项具有挑战性的任务，特别是当我们处理面部图像、遮挡或极端头部姿势时。基于热图的回归（Heatmap-based Regression，HBR）和基于坐标的回归（Coordinate-based Regression，CBR）是人脸对齐的两种主要方法。CBR方法需要较少的计算机内存，但其性能低于HBR方法。在本文中，我们提出了一个自适应的基于坐标的回归（ACR）损失，以提高人脸对齐的CBR的准确性。受主动形状模型（ASM）的启发，我们生成平滑面部对象，这是一组与地面真实地标点相比变化较少的面部地标点。然后，我们介绍了一种方法，通过比较地面实况标志点和相应的Smooth-Face对象的分布来估计预测网络每个标志点的难度。我们提出的ACR损失可以自适应地修改其曲率和损失的影响的基础上预测的每个特征点在一个脸上的难度水平。因此，ACR损失引导网络朝向挑战点而不是更容易的点，这提高了面部对准任务的准确性。我们的广泛的评估表明，建议的ACR损失在预测各种面部图像中的面部标志点的能力。
2022-09-14 cs.CV
