Semantic Alignment: Finding Semantically Consistent Ground-truth for Facial Landmark Detection
National Lab of Pattern Recognition, Institute of Automation, CAS（中国科学院自动化研究所模式识别国家重点实验室）；Visionfinity Inc.（Visionfinity公司）；ObjectEye Inc.（ObjectEye公司）；Universal AI Inc.（通用人工智能公司）；AnyVision；Queen’s University Belfast（贝尔法斯特女王大学）
近年来，基于深度学习的人脸标志点检测取得了巨大的成功。尽管如此，我们注意到，语义模糊性大大降低了检测性能。具体地，语义模糊性意味着一些界标（例如，沿着面部轮廓均匀分布的那些界标）不具有清晰和准确的定义，从而导致注释者的注释不一致。因此，这些通常由公共数据库提供的不一致的注释通常用作监督网络训练的真值，导致准确性降低。据我们所知，很少有研究调查这个问题。在本文中，我们提出了一种新的概率模型，它引入了一个潜在的变量，即“真正的”真值，这是语义上一致的，以优化。该框架耦合了两个部分：（1）训练地标检测CNN和（2）搜索“真实”真值。这两个部分被交替优化：搜索到的“真实”地面实况监督CNN训练;并且训练后的CNN辅助搜索“真实"真值。此外，为了恢复由于遮挡和低质量而导致的不自信的预测地标，我们提出了一个全局热图校正单元（GHCU），通过考虑全局人脸形状作为约束来校正离群值。在基于图像（300 W和AFLW）和基于视频（300-VW）的数据库上进行的大量实验表明，该方法有效地提高了地标检测的准确性，并达到了最先进的性能。
2019-03-26 cs.CV
Spine Landmark Localization with combining of Heatmap Regression and Direct Coordinate Regression
DLUT（大连理工大学）
界标定位在医学图像处理和疾病识别中起着非常重要的作用。然而，在医学领域，由于医学图像的复杂性以及疾病识别和治疗对准确性的高要求，这是一项具有挑战性的任务，主要有两种方法来回归标志点协调，一种是使用全卷积网络来回归标志点的热图，这是一种复杂的方法，需要热图后处理策略，另一种方法是直接使用CNN +全连接网络来回归协调，这是非常简单和快速的训练，但需要更大的数据集和更深的模型来达到更高的精度。虽然通过数据增强和更深层次的网络可以达到合理的精度，但精度仍然不能达到医学领域的要求。此外，更深的网络也意味着更大的空间消耗。为了达到更高的精度，我们设计了一种新的地标回归方法，结合热图回归和直接坐标回归的基础上概率方法和系统控制理论。
2020-07-10 cs.CV
A CNN Cascade for Landmark Guided Semantic Part Segmentation
The University of Nottingham（诺丁汉大学）
本文提出了一种CNN级联语义部分分割的指导下的姿势特定的信息编码的一组地标（或关键点）。这些任务中的每一个都有大量的先前工作，然而，据我们所知，这是文献中第一次研究姿态估计和语义部分分割之间的相互作用。为了解决现有工作的这一局限性，在本文中，我们提出了一个CNN级联任务，首先执行地标定位，然后使用此信息作为输入指导语义部分分割。我们将我们的架构应用于面部部分分割的问题，并报告在最具挑战性的面部数据集上，与标准无引导网络相比，性能有了很大的提高。测试代码和模型将在http://cs.nott.ac.uk/~psxasj/在线发布。
2016-09-30 cs.CV
Combining Data-driven and Model-driven Methods for Robust Facial Landmark Detection
University of Chinese Academy of Sciences（中国科学院大学）
人脸标志点检测是计算机视觉应用中一项重要而又具有挑战性的任务。本文提出了一种有效的和强大的方法相结合的数据和模型驱动的方法来检测人脸标志。首先，训练全卷积网络（FCN）来计算所有面部标志点的响应图。这种数据驱动的方法可以充分利用人脸图像中的整体信息进行人脸特征点的全局估计。然后，用预先训练的点分布模型（PDM）拟合响应图中的最大点，以生成初始面部形状。该模型驱动的方法能够通过考虑形状先验信息来校正离群点的不准确位置。最后，一个加权版本的正则化地标均值漂移（RLMS）迭代微调的面部形状。该估计-校正-调整过程完美地结合了数据驱动方法（FCN）的全局鲁棒性、模型驱动方法（PDM）的异常值校正能力和RLMS的非参数优化的优点。大量的实验结果表明，我们的方法在具有挑战性的数据集，包括300 W，AFLW，AFW和COFW上实现了最先进的性能。所提出的方法是能够产生令人满意的检测结果的面部图像与夸张的表情，大的头部姿态，和部分遮挡。
2018-02-12 cs.CV
DenseSeg: Joint Learning for Semantic Segmentation and Landmark Detection Using Dense Image-to-Shape Representation
University of Lübeck（吕贝克大学）；EchoScout GmbH（EchoScout有限公司）；University Hospital Schleswig-Holstein（石勒苏益格-荷尔斯泰因大学医院）
提出DenseSeg，利用密集图像到形状表示和全卷积架构联合学习语义分割与地标检测，在胸部X光和儿科腕部数据集上达到或超越最先进水平，且无需对地标显式训练即可添加新地标。
2024-12-16 cs.CV
Semantic Style Transfer for Enhancing Animal Facial Landmark Detection
University of Haifa（海法大学）
本文提出将语义风格迁移用于动物面部关键点检测训练，通过在裁剪面部图像上应用监督式风格迁移和数据增强，在猫面部关键点检测任务中保留98%基线精度并提升鲁棒性，且方法可推广至其他物种。
2025-05-08 cs.CV
SimFLE: Simple Facial Landmark Encoding for Self-Supervised Facial Expression Recognition in the Wild
Dongguk University（东国大学）
野外面部表情识别（FER-W）的关键问题之一是，由于面部图像固有的复杂性和模糊性，策划大规模标记的面部图像是具有挑战性的。因此，在本文中，我们提出了一种自监督的简单面部标志编码（SimFLE）方法，可以学习有效的面部标志编码，这是提高FER-W性能的重要特征，而无需昂贵的标签。具体来说，我们为此目的引入新的FaceMAE模块。FaceMAE通过精心设计的语义掩蔽来重建掩蔽的面部图像。与以往的随机掩蔽不同，语义掩蔽是基于在主干中处理的信道信息进行的，因此可以探索信道的丰富语义。此外，语义掩蔽过程是完全可训练的，使FaceMAE能够引导骨干学习细粒度面部标志的空间细节和上下文属性。在多个FER-W基准测试上的实验结果表明，与监督基线和其他自监督方法相比，该方法在人脸标志点定位方面具有明显的优势，并且性能有明显的提高。
2023-03-14 cs.CV
Joint Learning of Semantic Alignment and Object Landmark Detection
Yonsei University（延世大学）；Ewha Womans University（梨花女子大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
基于卷积神经网络（CNN）的语义对齐和目标地标检测方法显着提高了它们的性能。目前这两项任务的努力集中在通过弱或无监督学习框架来解决缺乏大量训练数据的问题。在本文中，我们提出了一种联合学习方法，用于从语义相似的图像中获得密集的对应关系和发现对象地标。基于这两个任务可以相互提供监督的关键见解，我们的网络通过联合损失函数来实现这一点，该函数在两个任务之间交替施加一致性约束，从而提高性能并以原则性的方式解决缺乏训练数据的问题。据我们所知，这是首次尝试通过联合学习解决这两项任务缺乏训练数据的问题。为了进一步提高我们的框架的鲁棒性，我们引入了一个概率学习公式，只允许在联合学习过程中使用可靠的匹配。与所提出的方法，国家的最先进的性能达到几个标准的基准语义匹配和地标检测，包括新引入的数据集，JLAD，其中包含更多的挑战性的图像对比现有的数据集。
2019-10-02 cs.CV
Visual Semantic SLAM with Landmarks for Large-Scale Outdoor Environment
Faculty of Electronic and Information Engineering, Xi’an Jiaotong University（西安交通大学电子与信息工程学院）；College of Artificial Intelligence, Xi’an Jiaotong University（西安交通大学人工智能学院）
语义SLAM是自动驾驶和智能代理的一个重要领域，它可以使机器人完成高级导航任务，获得简单的认知或推理能力，实现基于语言的人机交互。在本文中，我们建立了一个系统，以创建一个语义三维地图相结合的三维点云从ORB SLAM与语义分割信息从卷积神经网络模型PSPNet-101的大规模环境。此外，还建立了一个新的KITTI序列数据集，其中包含了序列相关街道的GPS信息和Google地图上的地标标签。此外，我们找到了一种方法来关联的现实世界中的地标点云地图，并建立了一个基于语义地图的拓扑地图。
2020-01-04 cs.CV cs.RO
Semantic Semi-Incremental Data-Association-Free Object SLAM
Computer Science and Artificial Intelligence Laboratory, Massachusetts Institute of Technology（计算机科学与人工智能实验室，麻省理工学院）
研究针对 SLAM 中数据关联难题，提出广义无数据关联 SLAM 框架，利用深度学习语义信息，通过半增量估计方案联合估计多要素，经合成与真实数据集评估，相比基线展现出卓越性能，提升框架实用性与可解释性。
2026-07-28 cs.AI cs.CV cs.RO
Content-Based Landmark Retrieval Combining Global and Local Features using Siamese Neural Networks
Technische Universität Berlin（柏林工业大学）
在这项工作中，我们提出了一个地标检索，利用全球和本地功能的方法。一个连体网络用于全局特征提取和度量学习，这给出了一个初始排名的地标搜索。我们利用从暹罗体系结构中提取的特征图作为局部描述符，然后使用局部描述符之间的余弦相似度进一步细化搜索结果。我们对用于评估的Google Landmark数据集进行了更深入的分析，并增加了数据集以处理各种类内方差。此外，我们进行了几个实验来比较迁移学习和度量学习的效果，以及使用其他局部描述符的实验。我们表明，使用本地功能的重新排名可以改善搜索结果。我们相信，建议使用余弦相似性的本地特征提取是一个简单的方法，可以扩展到许多其他检索任务。
2022-08-03 cs.CV cs.IR cs.LG
Landmark Detection using Transformer Toward Robot-assisted Nasal Airway Intubation
The Chinese University of Hong Kong（香港中文大学）；Northeastern University（东北大学）；University College London（伦敦大学学院）；National University of Singapore（新加坡国立大学）
本文提出一种基于可变形DeTR和语义对齐匹配模块的Transformer标志点检测方法，用于机器人辅助经鼻插管中鼻孔和声门的准确定位，实验证明其在检测精度上具有竞争力。
2023-08-05 cs.CV cs.RO eess.IV
Parsing Semantic Parts of Cars Using Graphical Models and Segment Appearance Consistency
Tsinghua Univesity（清华大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文解决了汽车语义部分解析（分割）的问题，即分配汽车内的每个像素的一个部分（如车身，窗户，灯，车牌和车轮）。我们制定这作为一个地标识别问题，其中一组地标指定的部分的边界。提出了一种新的混合图形模型，它动态地耦合到一个层次的段的地标。当对地标之间的成对关系进行建模时，这种耦合使我们的模型能够利用除了空间变形之外的局部图像内容，这是大多数现有图形模型忽略的方面。特别是，我们的模型强制相同部件内的段之间的外观一致性。通过动态规划来解析汽车，包括找到层次结构中的地标和段之间的最佳耦合。我们评估我们的方法上的一个子集的PASCAL VOC 2010汽车图像和汽车子集的3D对象类别数据集（CAR3D）。我们表现出良好的效果，特别是，量化的有效性，使用部分定位和分割的准确性方面的段外观一致性。
2014-06-11 cs.CV
STAR Loss: Reducing Semantic Ambiguity in Facial Landmark Detection
Tencent PCG（腾讯平台与内容事业群）；Xiamen University（厦门大学）；National Institute of Informatics（国立信息学研究所）
本文针对人脸关键点检测中的语义歧义问题，提出通过衡量预测分布各向异性来自适应降低其影响的 STAR 损失，并在 COFW、300W 和 WFLW 上取得优于现有方法的性能。
2023-06-05 cs.CV
Real-Time Shape Tracking of Facial Landmarks
本文提出结合SegNet语义分割与KLT点跟踪器的方法，通过定期执行SegNet解决点丢失问题并降低计算开销，实现面部标志点精确形状的实时跟踪。
2018-07-14 cs.CV
Deep Structured Prediction for Facial Landmark Detection
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
现有的基于深度学习的人脸特征点检测方法已经取得了优异的性能。然而，这些方法没有明确地嵌入界标点之间的结构依赖性。因此，它们不能保持界标点之间的几何关系，也不能很好地推广到具有挑战性的条件或看不见的数据。提出了一种基于深度卷积网络和条件随机场相结合的深度结构化人脸特征点检测方法。我们证明了其优越的性能，现有的国家的最先进的技术在面部标志检测，特别是更好的泛化能力，具有挑战性的数据集，包括大的姿态和遮挡。
2020-10-18 cs.CV cs.LG
Cephalometric Landmark Detection by AttentiveFeature Pyramid Fusion and Regression-Voting
The University of Hong Kong（香港大学）；Modontics (Hong Kong) Limited（Modontics（香港）有限公司）
头影测量中解剖标志点的标记是头影测量分析中的关键操作。自动和准确地定位这些地标是一个具有挑战性的问题，因为不同的地标需要不同级别的分辨率和语义。基于这一观察，我们提出了一种新的关注特征金字塔融合模块（AFPF），以显式地形成高分辨率和语义增强的融合特征，从而实现比现有的基于深度学习的方法更高的准确性。我们还结合热图和偏移图来执行逐像素回归投票，以提高检测精度。通过结合AFPF和回归投票，我们开发了一个端到端的深度学习框架，与最先进的方法相比，所有评估指标的检测准确率提高了7%~11%。我们提出了消融研究，以更深入地了解我们的方法的不同组成部分，并证明其泛化能力和稳定性，从不同的设备看不见的数据。
2019-08-23 cs.CV
Effective Multi-Query Expansions: Collaborative Deep Networks for Robust Landmark Retrieval
给定一个用户（q-user）发出的查询照片，地标检索是返回一组与查询照片具有相似地标的照片，而现有的地标检索研究主要集中在利用地标的几何形状进行候选照片与查询照片之间的相似性匹配.我们观察到，由不同用户通过社交媒体社区提供的相同地标可以根据视点和/或角度传达不同的几何信息，并且随后可以产生非常不同的结果。事实上，用\illshapes处理由q用户的摄影引起的地标通常是不平凡的，并且很少被研究。在本文中，我们提出了一种新的框架，即多查询扩展，检索语义鲁棒地标两个步骤。首先，我们针对一个查询地标的潜在主题，找出最佳的$k$照片来建构多查询集，以补救其可能的\illshape。为此，我们显着扩展的技术的潜在狄利克雷分配。然后，受典型的\emph{collaborative filtering}方法的启发，我们提出在地标照片的潜在因子上学习基于语义、非线性和高级特征的\emph{collaborative}深度网络作为训练集，该训练集是通过关于多查询集的\emph{collaborative}用户照片矩阵的矩阵分解形成的。学习的深度网络进一步用于生成所有其他照片的特征，同时在这样的空间内产生紧凑的多查询集。在现实世界的社交媒体数据上进行了大量的实验，其中包括地标照片及其用户信息，以显示优于现有方法的性能。
2017-01-18 cs.CV
TEyeD: Over 20 million real-world eye images with Pupil, Eyelid, and Iris 2D and 3D Segmentations, 2D and 3D Landmarks, 3D Eyeball, Gaze Vector, and Eye Movement Types
Wolfgang Fuhl University Tübingen（图宾根大学）
TEyeD是一个包含超过2000万张真实世界眼图像的大型数据集，提供瞳孔、虹膜和眼睑的2D和3D分割，以及注视向量和眼动类型，用于推动计算机视觉和VR/AR应用中的眼追踪研究。
2026-01-06 cs.CV eess.IV
LaTo: Landmark-tokenized Diffusion Transformer for Fine-grained Human Face Editing
Alibaba Cloud Computing（阿里云计算）；Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）
LaTo通过地标token化扩散变换器实现精细的人脸编辑，提升身份保持与语义一致性。
2026-01-29 cs.CV
Deep Learning-Based Regression and Classification for Automatic Landmark Localization in Medical Images
University Medical Center Utrecht（乌得勒支大学医学中心）；Amsterdam UMC, University of Amsterdam（阿姆斯特丹大学阿姆斯特丹医学中心）；University of Twente（特文特大学）；Wageningen University（瓦赫宁根大学）
在这项研究中，我们提出了一种快速，准确的方法来自动定位医学图像中的解剖标志。我们使用全卷积神经网络（FCNN）采用全局到局部定位方法。首先，全局FCNN通过分析图像块来定位多个地标，同时执行回归和分类。在回归中，确定从图像块的中心指向界标位置的位移向量。在分类中，建立了贴片中感兴趣的界标的存在。通过对预测的位移向量进行平均来获得全局地标位置，其中每个位移向量的贡献由其所指向的补丁的后验分类概率来加权。随后，对于用全局定位定位的每个界标，执行局部分析。专用FCNN通过以类似的方式分析局部子图像来细化全局地标位置，即通过同时执行回归和分类并组合结果。通过定位CCTA扫描中的8个解剖标志、嗅觉MR扫描中的2个标志和头影测量X线片中的19个标志进行评价。我们证明，该方法执行类似于第二个观察员，并能够本地化的标志，在一组不同的医学图像，不同的图像模态，图像维度，和解剖覆盖范围。
2020-07-10 cs.CV eess.IV physics.med-ph
Salt & Pepper Heatmaps: Diffusion-informed Landmark Detection Strategy
University of Oxford（牛津大学）
该研究将自动解剖关键点检测重构为生成式建模任务，利用扩散模型的随机性生成少数像素激活的热图，在MRE指标上达SOTA，SDR性能与现有工作相当。
2024-07-12 cs.CV
Precise Facial Landmark Detection by Dynamic Semantic Aggregation Transformer
School of Information Engineering, Zhongnan University of Economics and Law（中南财经政法大学信息工程学院）；College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机与软件学院）；School of Information Science and Technology, Sanda University（上海杉达学院信息科学与技术学院）；School of Information Science and Engineering, Yunnan University（云南大学信息科学与工程学院）；Singapore University of Technology and Design（新加坡科技设计大学）
针对预定义网络难以处理大姿态、遮挡及多尺度语义差异的问题，本文提出 DSAT，通过 DSA 动态分流与 DSS 跨尺度语义特化学习专用特征，提升人脸对齐精度并超越现有最先进方法。
2024-12-01 cs.CV
Unsupervised Discovery of Object Landmarks as Structural Representations
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Google Brain（谷歌大脑）
深度神经网络可以用丰富的潜在表征对图像进行建模，但它们不能以人类可感知的方式自然地概念化对象类别的结构。本文讨论了在没有监督的图像建模过程中学习对象结构的问题。我们提出了一个自动编码公式来发现地标作为显式的结构表示。编码模块输出地标坐标，其有效性由反映地标的必要属性的约束来确保。解码模块将地标作为端到端可微分框架中的可学习输入表示的一部分。我们发现的地标是语义上有意义的，更预测手动注释的地标比以前的方法发现的。地标的坐标也是预训练的深度神经网络表示在识别视觉属性时的补充特征。此外，所提出的方法自然地创建了一个无监督的，可感知的界面，以操纵对象的形状和解码具有可控结构的图像。该项目的网页是http://ytzhang.net/projects/lmdis-rep
2018-04-12 cs.CV
On Equivariant and Invariant Learning of Object Landmark Representations
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
给定一组图像，人类能够通过对实例之间共享的几何结构进行建模来发现地标。这种几何等变性的思想已被广泛用于对象地标表示的无监督发现。在本文中，我们开发了一个简单而有效的方法，结合实例判别和空间判别对比学习。我们表明，当深度网络被训练为对几何和光度变换不变性时，其中间层中会出现对对象地标具有高度预测性的表示。将这些跨层堆叠在“超列”中并使用空间对比学习来投影它们，进一步提高了它们在匹配和Few-Shot地标回归任务上的性能。我们还提出了一个统一的观点，现有的等变和不变的表示学习方法，通过对比学习的镜头，阐明了学习的不变性的性质。在地标学习的标准基准上进行的实验，以及我们提出的一个新的具有挑战性的实验，表明所提出的方法超越了现有的最先进的方法。
2021-04-02 cs.CV
Visual Landmark Recognition from Internet Photo Collections: A Large-Scale Evaluation
RWTH Aachen University（亚琛工业大学）
视觉地标识别系统的任务是识别查询照片中拍摄的建筑物或物体，并向用户提供有关它们的相关信息。随着因特网照片集越来越多地覆盖世界上的标志性建筑物和物体，因特网照片集现在正被用作以全自动方式建立这种系统的来源。这个过程通常由三个步骤组成：通过它们所描绘的对象对大量图像进行聚类;从用户提供的标签中确定对象名称;以及构建一个强大，紧凑和高效的识别索引。然而，到目前为止，关于这些步骤的当前方法在大规模开集挖掘和识别任务中的表现如何的经验信息很少。此外，很少有经验的信息，识别性能如何不同类型的地标对象，仍然有改进的潜力。我们打算通过这份文件来填补这些空白。使用来自巴黎的50万张图像的数据集，我们分析了地标识别管道的每个组成部分，以回答以下问题：可以自动发现多少和什么类型的对象？我们如何才能最好地使用产生的图像聚类来识别查询中的对象？如何在记忆中有效地表示对象以便识别？语义信息提取的可靠性如何？最后：从查询到语义的最终管道中的限制因素是什么？我们评估如何不同的选择的方法和参数的个别管道步骤影响整体系统的性能，并检查其对不同的查询类别，如建筑物，绘画或雕塑的影响。
2014-09-18 cs.CV
Landmarks Are Alike Yet Distinct: Harnessing Similarity and Individuality for One-Shot Medical Landmark Detection
University of Science and Technology of China（中国科学技术大学）；Suzhou Institute for Advanced Research, University of Science and Technology of China（中国科学技术大学苏州高等研究院）；School of Information Science and Technology, Eastern Institute of Technology (EIT)（东方理工大学信息科学与技术学院）；Stanford University（斯坦福大学）
针对医学多地标检测的跷跷板现象与单模型训练的高资源开销问题，提出结合单地标高精度训练与适配器融合的方法，兼顾检测性能与资源效率。
2025-03-20 cs.CV
Leveraging Semantic Maps for City-Scale Cross-View Localization
CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）；DEVCOM Army Research Laboratory (ARL)（陆军研究实验室）
研究如何让机器人在未遍历环境中利用先验数据定位，提出克服提取语义信息和关联观测与先验地图两挑战的方法，即从视觉语言模型提炼轻量级匹配器，结合贝叶斯滤波器创建姿态估计，发布数据集并证明方法可泛化。
2026-07-29 cs.CV cs.RO
OccFace: Unified Occlusion-Aware Facial Landmark Detection with Per-Point Visibility
University of California, Davis（加州大学戴维斯分校）；Genies inc.（Genies公司）；University of Arizona（亚利桑那大学）
OccFace 提出了一种统一的遮挡感知面部 landmark 检测框架，通过联合预测 landmark 坐标和每个点的可见性，提升在遮挡和旋转条件下的鲁棒性。
2026-02-11 cs.CV
Unsupervised Learning of Landmarks by Descriptor Vector Exchange
Unitary；VGG, University of Oxford（牛津大学VGG）；University of Edinburgh（爱丁堡大学）
随机图像变换的等方差是一种有效的方法来学习对象类别的地标，例如面部中的眼睛和鼻子，而无需人工监督。然而，这种方法并不能明确地保证所学习的地标与同一对象的不同实例之间的变化（例如不同的面部身份）一致。在本文中，我们开发了一个新的视角的等方差的方法，注意到密集的地标检测器可以被解释为本地图像描述符配备了不变性的类别内的变化。然后，我们提出了一个直接的方法来执行这样的标准等变损失的不变性。我们这样做，交换描述符向量之间的图像不同的对象实例之前，匹配它们的几何。以这种方式，相同的向量必须工作，而不管所考虑的特定对象标识。我们使用这种方法来学习可以同时被解释为局部描述符和密集地标的向量，结合两者的优点。在标准基准上的实验表明，这种方法可以匹配，在某些情况下，超过了现有的方法，学习地标没有监督的最先进的性能。代码可在www.robots.ox.ac.uk/~vgg/research/DVE/上获得。
2019-08-18 cs.CV
Deep Deformation Network for Object Landmark Localization
NEC Laboratories America（NEC美国实验室）
我们提出了一种新的级联框架，即深度变形网络（DDN），用于定位非刚性物体中的地标。DDN的特点是它在卷积神经网络（CNN）框架内结合了几何约束，训练的简便性和效率，以及应用的通用性。一种新的形状基础网络（SBN）形成级联的第一级，从而通过结合CNN特征和学习的形状基础的优点来初始化地标，以降低高度非线性姿态流形的复杂性。在第二阶段，点Transformer网络（PTN）估计局部变形参数化为薄板样条变换的更精细的细化。我们的框架既不包含手工制作的功能，也不包含部件连接，这使得在训练和测试期间都可以实现端到端的形状预测管道。与之前的级联网络的地标定位，学习从特征空间到地标位置的映射，我们证明了通过几何先验在DDN诱导的正则化，使它更容易训练，但产生优越的结果。该架构的有效性和通用性是通过对多个任务（如面部标志定位，人体姿态估计和鸟类部分定位）的几个基准测试的最新性能来证明的。
2016-07-24 cs.CV
UAE: Universal Anatomical Embedding on Multi-modality Medical Images
National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology, School of Computer Science and Engineering, Northwestern Polytechnical University（西北工业大学计算机科学与工程学院，空天地海一体化大数据应用技术国家工程实验室）；Department of Electronic Engineering, The Chinese University of Hong Kong（香港中文大学电子工程系）；Beijing United Family Hospital（北京和睦家医院）；The First Affiliated Hospital, Zhejiang University（浙江大学医学院附属第一医院）；Peking Union Medical College Hospital（北京协和医院）
本文提出统一框架 UAE，通过原型对比学习、定点匹配和迭代跨模态学习获得通用解剖嵌入，在标志点检测、病灶跟踪及 CT-MRI 配准中优于现有方法。
2024-01-18 cs.CV
Deep Multi-Center Learning for Face Alignment
Shanghai Jiao Tong University（上海交通大学）；East China Normal University（华东师范大学）
面部地标彼此高度相关，因为某个地标可以通过其邻近地标来估计。现有的大多数深度学习方法只使用一个称为形状预测层的全连接层来估计面部特征点的位置。在本文中，我们提出了一种新的深度学习框架，称为多中心学习，具有多个形状预测层用于人脸对齐。特别地，每个形状预测层分别强调对语义相关地标的某个聚类的检测。首先对标记点进行聚焦，然后对每类标记点分别进行优化。此外，为了降低模型的复杂度，我们提出了一种模型组装方法，将多个形状预测层集成到一个形状预测层。大量的实验表明，我们的方法是有效的处理复杂的遮挡和外观变化的实时性能。我们方法的代码可以在https://github.com/ZhiwenShao/MCNet-Extension上找到。
2018-11-18 cs.CV
Pretrained equivariant features improve unsupervised landmark discovery
National University of Singapore（新加坡国立大学）
定位语义上有意义的标志点是大量计算机视觉管道的关键组成部分。由于具有真实地标注释的可用数据集数量很少，因此设计鲁棒的无监督和半监督地标检测方法非常重要。最近的许多无监督学习方法依赖于地标的等方差特性来合成图像变形。我们的工作集中在这些广泛使用的方法上，并揭示了其核心问题，即无法产生等变中间卷积特征。这一发现使我们制定了一个两步的无监督方法，通过首先学习强大的基于像素的特征，然后使用预先训练的特征通过传统的等方差方法学习地标检测器来克服这一挑战。我们的方法在几个具有挑战性的地标检测数据集（如BBC Pose数据集和Cat-Head数据集）中产生了最先进的结果。它在一系列其他基准测试中进行了测试。
2021-04-07 cs.AI cs.CV cs.LG
Facial Landmark Detection Evaluation on MOBIO Database
West Virginia University（西弗吉尼亚大学）
本文首次在MOBIO移动人脸数据库上评估人脸关键点检测，标注约20,600张图像的22个关键点，验证该数据库具有较高挑战性。
2023-07-06 cs.CV
Object Structural Points Representation for Graph-based Semantic Monocular Localization and Mapping
Politecnico di Milano（米兰理工大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
用于单目语义同时定位与地图构建（SLAM）的有效对象级表示仍然缺乏被广泛接受的解决方案。在本文中，我们提出了使用一个有效的表示，结构点的基础上，作为地标的单目语义SLAM系统的基础上的姿势图制定的对象的几何形状。特别地，针对姿态图中的地标节点提出了逆深度参数化，以存储对象位置、方向和大小/尺度。所提出的公式是通用的，它可以应用于不同的几何形状;在本文中，我们专注于室内环境中，人造文物通常共享一个平面矩形形状，例如，该方法可以很容易地扩展到城市场景，其中也存在类似的形状。仿真实验表明，该算法具有良好的性能，尤其是在物体几何重构方面。
2022-06-21 cs.CV
Human and Sheep Facial Landmarks Localisation by Triplet Interpolated Features
University of Cambridge（剑桥大学）
在本文中，我们提出了一种方法定位人脸和绵羊的面部标志。我们引入了一种新的特征提取方案，称为三重插值特征，用于级联形状回归框架的每次迭代。它是能够提取特征，从相似的语义位置给定的估计形状，即使当头部姿势变化很大，面部地标分布非常稀疏。此外，我们研究了训练数据不平衡对模型性能的影响，并提出了一个训练样本增强方案，产生更多的初始化训练样本的少数。更具体地，使训练样本的扩增数与样本位置处的拟合概率密度函数的值负相关。我们评估所提出的计划对人类和绵羊的面部标志定位。在基准的300w人脸数据集上，我们证明了我们提出的方法的好处，并显示出非常有竞争力的性能时，与其他方法相比。在一个新创建的绵羊人脸数据集上，我们得到了非常好的性能，尽管我们只有有限数量的训练样本和一组稀疏的地标被注释。
2015-09-16 cs.CV
Accurate Object Association and Pose Updating for Semantic SLAM
Zhejiang University of Technology（浙江工业大学）；Tianjin University of Technology（天津理工大学）
目前的疫情导致医疗系统在高负荷下运行。为了缓解这一问题，可以使用高度自主的机器人在医院中有效地执行无接触操作，减少医护人员和患者之间的交叉感染。虽然语义同时定位与地图构建（SLAM）技术可以提高机器人的自主性，但语义对象关联仍然是一个值得研究的问题。解决这一问题的关键是利用语义信息正确关联一个目标地标的多个目标测量值，并实时的细化目标地标的位姿。为此，我们提出了一个层次化的对象关联策略和姿态细化方法。前者包括两个层次，即，短期对象关联和全局对象关联。在第一层，我们采用多目标跟踪的短期对象关联，通过它可以避免不正确的关联对象之间的位置接近，外观相似。此外，短期对象关联可以为第二级中的全局对象关联提供更丰富的对象外观和更鲁棒的对象姿态估计。为了改进地图中的对象姿态，我们开发了一种方法来从与对象地标相关联的所有对象测量中选择最佳对象姿态。所提出的方法进行了全面评估7模拟医院sequences1，一个真正的医院环境和KITTI数据集。实验结果表明，该方法在语义SLAM中的对象关联和轨迹估计的鲁棒性和准确性方面都有明显的提高。
2021-12-20 cs.CV
Robust Facial Landmark Detection by Multi-order Multi-constraint Deep Networks
Hanshan Normal University（韩山师范学院）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）；Wuhan University（武汉大学）
最近，热图回归在人脸标志点检测中得到了广泛的研究，并取得了显著的效果。然而，现有的基于热图回归的人脸标志点检测方法大多忽略了对高阶特征相关性的探索，而高阶特征相关性对于学习更多代表性特征和增强形状约束非常重要。此外，没有明确的全局形状约束已被添加到最终预测的地标，这导致准确性降低。为了解决这些问题，在本文中，我们提出了一种多阶多约束深度网络（MMDN），用于更强大的特征相关性和形状约束学习。具体而言，隐式多阶相关几何感知（IMCG）模型，提出了引入多阶空间相关性和多阶信道相关性的更具鉴别力的表示。此外，显式概率为基础的边界自适应回归（EPBR）方法的发展，以加强全球的形状约束，并进一步搜索语义一致的地标预测边界鲁棒的面部标志检测。有趣的是，所提出的MMDN可以生成更准确的边界自适应地标热图，并有效地增强对具有大姿态变化和严重遮挡的面部的预测地标的形状约束。具有挑战性的基准数据集上的实验结果表明，我们的MMDN国家的最先进的面部标志检测方法的优越性。该准则已在https://github.com/junwan2014/MMDN-master上公开发布。
2020-12-10 cs.CV
Depth-Driven Geometric Prompt Learning for Laparoscopic Liver Landmark Detection
The Chinese University of Hong Kong（香港中文大学）；The Hong Kong Polytechnic University（香港理工大学）；Shenzhen Institute of Advanced Technology, CAS（中国科学院深圳先进技术研究院）
针对腹腔镜肝脏手术标志点检测难题，构建了L3D数据集并提出深度驱动几何提示学习网络D2GPLand，通过深度感知提示嵌入和语义特定几何增强模块融合RGB-D信息，实现了63.52% DICE和48.68% IoU的最先进性能。
2024-06-27 cs.CV
Layout-Graph Reasoning for Fashion Landmark Detection
Sun Yat-sen University（中山大学）；DarkMatter AI Research（暗物质人工智能研究）
服装特征点检测作为服装分析的基础技术，因其巨大的应用潜力而受到越来越多的研究关注。然而，由于缺乏对地标之间的底层语义布局约束的建模，先前的作品经常检测到一个人身上的多件重叠衣服的模糊和结构不一致的地标。在本文中，我们建议通过多个堆叠的布局图推理层无缝地执行中间表示的地标之间的结构布局关系。我们将布局图定义为包括根结点、身体部分节点（例如，上半身、下半身）、粗衣服部分节点（例如，衣领、袖子）和叶界标节点（例如，左衣领、右衣领）的分层结构。每个布局图推理（LGR）层旨在通过映射到节点模块将特征表示映射到结构图节点，通过布局图推理模块对结构图节点执行推理以实现全局布局一致性，然后通过节点到映射模块将图节点映射回以增强特征表示。布局图推理模块集成图聚类操作以生成中间结点的表示（自下而上推理），然后在整个图上集成图去卷积操作（自上而下推理）。在两个公共时尚地标数据集上的实验证明了该模型的优越性。此外，为了推进细粒度的时尚地标研究，以支持更全面的服装生成和属性识别，我们贡献了第一个细粒度的时尚地标数据集（FFLD）包含20万张图像，最多有32个关键点注释的13种服装类型。
2019-10-04 cs.CV
Faster Than Real-time Facial Alignment: A 3D Spatial Transformer Network Approach in Unconstrained Poses
Carnegie Mellon University（卡内基梅隆大学）
面部对齐涉及在图像上找到一组具有已知语义含义的标志点。然而，在2D方法中，地标点的这种语义含义常常丢失，在2D方法中，地标要么被移动到可见边界，要么随着面部的姿态改变而被忽略。为了在大姿态上提取一致的对准点，在对准步骤中必须考虑面部的3D结构。然而，从单个2D图像中提取3D结构通常首先需要对准。我们提出了一种新的方法，同时提取三维形状的脸和语义一致的二维对齐通过三维空间Transformer网络（3DSTOM）建模的相机投影矩阵和扭曲参数的三维模型。通过利用通用3D模型和薄板样条（TPS）翘曲函数，我们能够生成受试者特定的3D形状，而不需要大的3D形状基础。此外，我们提出的网络可以在端到端框架中对来自300 W-LP数据集的完全合成数据进行训练。与其他3D方法不同，我们的方法只需要一次通过网络，从而比实时的【形】对齐更快。我们的模型在野外注释面部标志（AFLW）和AFLW 2000 -3D数据集上的评估表明，我们的方法比其他3D对齐方法具有最先进的性能。
2017-09-08 cs.CV
LANDMARK: Language-guided Representation Enhancement Framework for Scene Graph Generation
Southeast University（东南大学）；Anhui University（安徽大学）
场景图生成（SGG）是一个复杂的任务，遭受复杂的视觉特征和数据集长尾问题。近年来，通过设计新颖的损失函数和数据平衡策略，提出了各种无偏策略。不幸的是，这些无偏的方法未能强调语言先验的特征细化的角度。受谓词与隐含在主宾对和全局语境中的语义高度相关的启发，我们提出了LANDMARK（LANGUage-guided representationenhanceMent frAmewoRK），它从语言-视觉交互模式、全局语境和谓词对相关性中学习谓词相关的表示。具体来说，我们首先将对象标签投影到三个不同的语义嵌入，用于不同的表示学习。然后，语言注意力模块（LAM）和经验估计模块（EEM）分别将主宾词嵌入处理为注意向量和谓词分布。语言上下文模块（LCM）从每个词嵌入中编码全局上下文，避免了从局部信息中孤立学习。最后，模块输出用于更新视觉表示和SGG模型的预测。所有的语言表示都是纯粹从对象类别生成的，因此不需要额外的知识。该框架与模型无关，并持续提高现有SGG模型的性能。此外，代表层的无偏策略赋予了LANDMARK与其他方法兼容的优势。代码可在https://github.com/rafa-cxg/PySGG-cxg上获得。
2023-03-02 cs.AI cs.CL cs.CV
Facial Landmark Detection: a Literature Survey
Rensselaer Polytechnic Institute（伦斯勒理工学院）
基准面部标志点在面部组件和面部轮廓周围的位置捕获由于头部运动和面部表情引起的刚性和非刚性面部变形。因此，它们对于各种面部分析任务很重要。多年来，已经开发了许多面部标志点检测算法来自动检测这些关键点，在本文中，我们对它们进行了广泛的回顾。我们将人脸标志点检测算法分为三大类：整体方法、约束局部模型（CLM）方法和基于回归的方法。它们在利用面部外观和形状信息的方式上有所不同。整体方法显式地建立模型来表示全局面部外观和形状信息。CLM显式地利用全局形状模型，但构建局部外观模型。基于回归的方法隐式地捕获面部形状和外观信息。对于每个类别中的算法，我们讨论了它们的基本理论以及它们的差异。我们还比较了它们在不同面部表情、头部姿势和遮挡情况下在受控和野生基准数据集上的表现。在评价的基础上，我们指出了它们各自的优势和劣势。还有一个单独的部分来回顾最新的基于深度学习的算法。调查还包括基准数据库和现有软件的清单。最后，我们确定了未来的研究方向，包括结合不同类别的方法，利用各自的优势，解决地标检测“在野外”。
2018-05-15 cs.CV
LineMarkNet: Line Landmark Detection for Valet Parking
Fudan University（复旦大学）；ZongMu Technology（纵目科技）；Technical University of Braunschweig（布伦瑞克工业大学）
本文提出LineMarkNet深度线地标检测系统，通过环视摄像头BEV特征融合、多任务解码器和图变换器，结合时间与多视图一致性滤波，实现代客泊车场景中准确高效的实时线地标检测。
2023-09-25 cs.CV
Infinite 3D Landmarks: Improving Continuous 2D Facial Landmark Detection
DisneyResearch|Studios（迪士尼研究工作室）
本文针对2D人脸landmark检测器的三大实际问题，提出联合训练空间变换网络实现最优人脸归一化、在规范3D空间推断landmark并预测相机参数以提升精度和获取3D形状，以及引入语义校正网络解决多数据集标注不一致问题，显著提升了检测准确性和时间稳定性。
2024-05-30 cs.CV cs.GR
Reasoning Structural Relation for Occlusion-Robust Facial Landmark Localization
Shanghai University（上海大学）
在人脸特征点定位任务中，由于人脸特征的部分可观测性，各种遮挡严重降低了定位精度。本文提出了一种结构关系网络（SRN）的遮挡鲁棒的地标定位。与大多数现有的方法，简单地利用形状约束，建议SRN的目的是捕捉不同的面部组件之间的结构关系。这些关系可以被认为是针对遮挡的更强大的形状约束。为了实现这一点，一个层次结构关系模块（HSRM）的目的是分层原因的结构关系，代表长距离和短距离的空间依赖。与现有的网络结构相比，HSRM可以有效地利用其几何感知的网络结构，减少了由遮挡引起的语义歧义的空间关系建模。此外，SRN通过合成遮挡的面部来增强训练数据。为了进一步扩展我们的SRN为闭塞的视频数据，我们制定了闭塞的脸合成为马尔可夫决策过程（MDP）。具体而言，它基于与预先训练的SRN的性能降级相关联的累积奖励来规划动态遮挡的移动。该过程增加了用于鲁棒面部地标跟踪的硬样本。大量的实验结果表明，所提出的方法取得了出色的性能遮挡和掩盖的脸。代码可在https://github.com/zhuccly/SRN上获得。
2021-12-19 cs.CV
A Multi-Task Deep Learning Framework for Pose-Invariant Face Recognition and Facial Landmark Localization
该研究提出一种多任务深度学习框架，结合ResNet50与带空间注意力的EfficientNetV2B0分支，改造CPLFW数据集后验证，实现姿态不变人脸识别与面部关键点定位，获81.58%识别准确率及96.38的关键点定位均方误差。
2026-10-14 cs.CV
Facial Anatomical Landmark Detection using Regularized Transfer Learning with Application to Fetal Alcohol Syndrome Recognition
University of Oxford（牛津大学）
胎儿酒精综合征（FAS）是由产前酒精暴露引起的，可导致一系列颅面部畸形，以及行为和神经认知问题。目前FAS的诊断通常通过识别一组面部特征来完成，这些特征通常通过手动检查获得。解剖标志检测提供了丰富的几何信息，对于检测FAS相关面部异常的存在非常重要。该成像应用的特征在于数据外观的大变化和标记数据的有限可用性。当前基于深度学习的热图回归方法被设计用于自然图像中的面部标志检测，其假设大数据集的可用性，因此不太适合于该应用。为了解决这一限制，我们开发了一种新的正则化迁移学习方法，该方法利用了在大型面部识别数据集上学习的网络知识。与专注于调整预训练权重的标准迁移学习相比，所提出的学习方法使模型行为规则化。它显式地重用目标任务数据上的域相似源模型的丰富视觉语义，作为用于正则化地标检测优化的附加监督信号。具体来说，我们为所提出的迁移学习开发了四个正则化约束，包括约束分类和中间层的特征输出，以及在空间和通道级别上匹配激活注意力图。在临床影像数据集上的实验结果表明，该方法在训练样本有限的情况下能有效提高模型的泛化能力，优于文献中的其他方法。
2021-09-12 cs.CV cs.LG eess.IV
Precise Facial Landmark Detection by Reference Heatmap Transformer
Zhongnan University of Economics and Law（中南财经政法大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）；China Three Gorges University（三峡大学）
本文提出Reference Heatmap Transformer（RHT），通过软硬变换模块和Multi-Scale Feature Fusion Module融合参考热图信息与语义特征，在复杂姿态、遮挡和光照条件下提升面部关键点检测精度，并在多个基准数据集上超越现有方法。
2023-03-14 cs.CV
You Only Landmark Once: Lightweight U-Net Face Super Resolution with YOLO-World Landmark Heatmaps
Università degli Studi di Milano（米兰大学）；Istituto Italiano di Tecnologia（意大利理工学院）
提出轻量级U-Net，利用YOLO-World生成的地标热图作为监督，无需额外训练辅助网络，实现8倍人脸超分辨率重建，提升关键区域细节。
2026-06-05 cs.CV
Improving Facial Landmark Detection Accuracy and Efficiency with Knowledge Distillation
本文提出面向面部关键点检测的知识蒸馏方法，将大模型知识迁移至轻量模型，以在多样表情、朝向和光照下兼顾高精度与嵌入式实时性能，并在 IEEE ICME 2024 PAIR 竞赛 165 支参赛队伍中获得第 6 名。
2024-04-09 cs.CV
Why semantics matters: A deep study on semantic particle-filtering localization in a LiDAR semantic pole-map
University of Macau（澳门大学）
提出基于 mask-range transformer 的多层语义 pole-map 及语义粒子滤波定位方案，利用杆状结构语义提升自动驾驶车辆在不确定性下的定位精度。
2023-05-23 cs.CV cs.RO
Location retrieval using visible landmarks based qualitative place signatures
University of Leeds（利兹大学）；University Gustave Eiffel（古斯塔夫·埃菲尔大学）；IGN-ENSG（法国国家地理学院-国立地理科学学校）；Tongji University（同济大学）；Shandong University（山东大学）；Qingdao University of Science & Technology（青岛科技大学）
基于视觉信息的位置检索是通过将观察结果与环境的某种形式的表示进行比较来检索代理（例如人类，机器人）或他们所看到的区域的位置。现有的方法通常需要精确的测量和存储所观察到的环境特征，这可能并不总是鲁棒的，由于季节，视点，遮挡等的变化，他们也具有挑战性的规模，并可能不适用于人类由于缺乏测量/成像设备。考虑到人类在描述环境时经常使用不太精确但容易产生的定性空间语言和高级语义地标，本文提出了一种定性位置检索方法，通过使用定性位置签名（QPS）描述位置/地点，QPS定义为从观众的角度来看，有序对共同可见的地标之间的感知空间关系。在将空间划分为每个附加有单独签名的位置单元之后，提出了一种由粗到细的位置检索方法，以基于观众的定性观察来有效地识别观众的可能位置。使用公开可用的地标数据集，以及考虑可能的感知误差的模拟观察，所提出的方法的可用性和有效性进行了评估。
2022-07-26 cs.AI cs.CV
