Self-supervised Secondary Landmark Detection via 3D Representation Learning
University of Minnesota（明尼苏达大学）
最近的技术发展促进了计算机化跟踪包括人类在内的移动动物的关节和其他标志的巨大进步。这种追踪有望在生物学和生物医学领域取得重大进展。现代跟踪模型严重依赖于劳动密集型的注释数据集的主要地标的非专家的人。然而，这样的注释方法可能是昂贵的和不切实际的次要地标，也就是说，那些反映动物的细粒度的几何形状，往往是特定于定制的行为任务。由于视觉和几何模糊性，非专家往往没有资格进行二级标志注释，这可能需要解剖学和动物学知识。这些障碍大大阻碍了下游行为研究，因为学习跟踪模型表现出有限的泛化能力。我们假设主要和次要地标之间存在共享表示，因为次要地标的运动范围可以近似地由主要地标的运动范围跨越。我们提出了一种方法来学习这种空间关系的主要和次要的地标在三维空间中，这可以反过来，自我监督的次要地标检测器。这种3D表示学习是通用的，因此可以应用于不同生物体（包括猕猴、苍蝇和人类）的各种多视图设置。
2021-10-01 cs.CV
Self-supervised Landmark Learning with Deformation Reconstruction and Cross-subject Consistency Objectives
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出一种自监督标志点学习方法，结合给定配准模型提取标志点，并引入标志点发现损失保证跨受试者解剖一致性，在骨关节炎进展预测任务中优于现有方法。
2023-08-09 cs.CV
Semantic Semi-Incremental Data-Association-Free Object SLAM
Computer Science and Artificial Intelligence Laboratory, Massachusetts Institute of Technology（计算机科学与人工智能实验室，麻省理工学院）
研究针对 SLAM 中数据关联难题，提出广义无数据关联 SLAM 框架，利用深度学习语义信息，通过半增量估计方案联合估计多要素，经合成与真实数据集评估，相比基线展现出卓越性能，提升框架实用性与可解释性。
2026-07-28 cs.AI cs.CV cs.RO
Improving Landmark Localization with Semi-Supervised Learning
MILA-University of Montreal（蒙特利尔大学MILA研究所）；NVIDIA（英伟达）；Ecole Polytechnique of Montreal（蒙特利尔高等理工学院）；CIFAR（加拿大高等研究院）；Facebook AI Research（脸书人工智能研究院）
我们提出了两种技术，以提高部分注释数据集的图像中的地标定位。我们的主要目标是利用常见的情况下，精确的地标位置只提供了一个小的数据子集，但分类或回归任务的类标签与地标更丰富。首先，我们提出了顺序多任务处理的框架，并通过地标定位的架构来探索它，其中使用类标签的训练作为辅助信号来指导未标记数据上的地标定位。我们的方法的一个关键方面是，错误可以通过一个完整的地标定位模型反向传播。其次，我们提出并探索了一个无监督学习技术的地标定位的基础上有一个模型预测同变地标相对于应用到图像的变换。我们表明，这些技术大大提高了地标预测，即使只有一小部分数据集具有地标标签，也可以学习有效的检测器。我们在两个玩具数据集和四个真实数据集上展示了结果，包括手和脸，并在两个野外数据集上报告了新的最先进的技术，例如，只有5%的标记图像，我们的表现优于先前在AFLW数据集上训练的最先进的技术。
2018-10-28 cs.CV
LSDM: Long-Short Diffeomorphic Motion for Weakly-Supervised Ultrasound Landmark Tracking
University of Leicester（莱斯特大学）；University Hospitals of Leicester NHS Trust（莱斯特大学医院NHS信托）；Affiliated Hospital of Nantong University（南通大学附属医院）
随着时间的推移对解剖标志的准确跟踪对于诸如微创手术和肿瘤放射治疗的疾病评估具有高度的兴趣。超声成像是一种很有前途的模式，受益于低成本和实时采集。然而，生成精确的地标轨迹是非常具有挑战性的，因为尝试可以容易地被不同的干扰（例如地标变形、视觉模糊和部分观察）扭曲。在本文中，我们提出了一个长短同构运动网络，这是一个多任务的框架，具有可学习的变形之前，寻找合理的变形的地标。具体来说，我们设计了一种新的双态表示在长和短的时间域划定运动的利润和减少长期累积跟踪误差。为了进一步减轻局部解剖模糊性，我们提出了一个期望最大化运动对齐模块，以迭代优化长和短变形，对齐到相同的方向和空间表示。所提出的多任务系统可以以弱监督的方式进行训练，这只需要很少的地标标注用于跟踪，并且对于长短变形学习，零标注。我们在两个超声标志跟踪数据集上进行了广泛的实验。实验结果表明，我们提出的方法可以实现更好的或有竞争力的地标跟踪性能相比，其他国家的最先进的跟踪方法，具有较强的泛化能力，在不同的扫描仪类型和不同的超声模态。
2023-01-31 cs.CV
Aggregation via Separation: Boosting Facial Landmark Detector with Semi-Supervised Style Translation
The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）；SenseTime Research（商汤科技研究院）；YouTu Lab, Tencent（腾讯优图实验室）
人脸标志点检测，或人脸对齐，是一个基本的任务，已被广泛研究。在本文中，我们研究了一个新的角度的人脸标志点检测，并证明它会导致进一步显着的改善。考虑到任何人脸图像都可以被分解为捕获光照，纹理和图像环境的风格空间以及风格不变的结构空间，我们的关键思想是利用每个人的分离风格和形状空间来通过风格转换来增强现有结构。有了这些增强的合成样本，我们的半监督模型令人惊讶地大大优于全监督模型。大量的实验验证了我们的想法的有效性与国家的最先进的结果在WFLW，300W，COFW，和AFLW数据集。我们提出的结构是通用的，可以组装成任何人脸对齐框架。该守则可在https://github.com/thesouthfrog/stylealign上公开查阅。
2019-08-18 cs.CV
One-Shot Medical Landmark Localization by Edge-Guided Transform and Noisy Landmark Refinement
Peking University（北京大学）；Deepwise AI Lab（深睿医疗人工智能实验室）；Microsoft Research Asia（微软亚洲研究院）；The University of Hong Kong（香港大学）
作为许多医学应用的重要上游任务，监督地标定位仍然需要不可忽略的注释成本来实现期望的性能。此外，由于收集过程繁琐，医学标志数据集的大小有限，影响了大规模自监督预训练方法的有效性。为了解决这些挑战，我们提出了一个两阶段的框架，一次性医疗标志定位，首先推断标志的无监督注册从标记的样本到无标记的目标，然后利用这些嘈杂的伪标签训练强大的检测器。为了处理显着的结构变化，我们学习了一个端到端的级联的全局对齐和局部变形，新的损失函数的指导下，将边缘信息。在第二阶段，我们探讨了选择可靠的伪标签和交叉一致性的半监督学习的自我一致性。我们的方法在不同身体部位的公共数据集上实现了最先进的性能，这证明了它的普遍适用性。
2022-07-31 cs.CV
CLIP-Loc: Multi-modal Landmark Association for Global Localization in Object-based Maps
Frontier Research Center, Toyota Motor Corporation（丰田汽车公司前沿研究中心）
提出CLIP-Loc方法，利用视觉语言模型和自然语言地标描述，在基于对象地图的全局定位中高效提取多模态对应关系，减少迭代次数并提高定位精度。
2024-02-08 cs.CV cs.RO
Automatic cephalometric landmarks detection on frontal faces: an approach based on supervised learning techniques
University of Brasilia（巴西利亚大学）；University of Campinas（坎皮纳斯大学）；University of São Paulo（圣保罗大学）；University of Granada（格拉纳达大学）；Department of Federal Police（联邦警察局）
人脸标志点在人脸识别、颅面识别、年龄和性别估计等领域有着广泛的应用。在法医领域，重点是分析一组特定的面部标志，定义为头影测量标志。以前的工作表明，这些解剖参考的描述性充分的间接应用（照片人体测量描述）增加了这些点的标记精度，有助于这些分析的可靠性更高。然而，其中大多数是手工进行的，所有这些都是专家审查员固有的主观性。从这个意义上说，这项工作的目的是开发和验证的自动技术，以检测从数字图像的正面面孔在法医领域的头影测量标志。所提出的方法在监督学习过程中使用计算机视觉和图像处理技术的组合。所提出的方法获得了类似的精度，一组人类手动头影测量参考标记和结果是更准确的对其他国家的最先进的面部标志检测框架。它实现了0.014的归一化平均距离（像素）误差，类似于平均专家间离散度（0.009），明显优于其他自动方法（0.026和0.101）。
2019-04-24 cs.CV
Supervision-by-Hallucination-and-Transfer: A Weakly-Supervised Approach for Robust and Precise Facial Landmark Detection
School of Information Engineering, Zhongnan University of Economics（经济法律大学信息工程学院）；College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机科学与软件工程学院）；School of Information Science and Engineering, Yunnan University（云南大学信息科学与工程学院）
本文提出通过幻觉与迁移的弱监督方法，提升面部地标检测的鲁棒性和精度。
2026-01-19 cs.CV
Semi-Supervised Exploration in Image Retrieval
Layer6 AI
我们提出了我们的解决方案地标图像检索挑战2019。这项挑战基于大型Google Landmarks Dataset V2[9]。目标是检索包含每个提供的查询图像的相同标志的所有数据库图像。我们的解决方案是全局和局部模型的组合，以形成初始KNN图。然后，我们使用最近提出的图遍历方法EGT [1]的新扩展（称为半监督EGT）来细化图并检索更好的候选者。
2019-06-12 cs.CV
Accurate Object Association and Pose Updating for Semantic SLAM
Zhejiang University of Technology（浙江工业大学）；Tianjin University of Technology（天津理工大学）
目前的疫情导致医疗系统在高负荷下运行。为了缓解这一问题，可以使用高度自主的机器人在医院中有效地执行无接触操作，减少医护人员和患者之间的交叉感染。虽然语义同时定位与地图构建（SLAM）技术可以提高机器人的自主性，但语义对象关联仍然是一个值得研究的问题。解决这一问题的关键是利用语义信息正确关联一个目标地标的多个目标测量值，并实时的细化目标地标的位姿。为此，我们提出了一个层次化的对象关联策略和姿态细化方法。前者包括两个层次，即，短期对象关联和全局对象关联。在第一层，我们采用多目标跟踪的短期对象关联，通过它可以避免不正确的关联对象之间的位置接近，外观相似。此外，短期对象关联可以为第二级中的全局对象关联提供更丰富的对象外观和更鲁棒的对象姿态估计。为了改进地图中的对象姿态，我们开发了一种方法来从与对象地标相关联的所有对象测量中选择最佳对象姿态。所提出的方法进行了全面评估7模拟医院sequences1，一个真正的医院环境和KITTI数据集。实验结果表明，该方法在语义SLAM中的对象关联和轨迹估计的鲁棒性和准确性方面都有明显的提高。
2021-12-20 cs.CV
Self-supervised pre-training with diffusion model for few-shot landmark detection in x-ray images
University of Genoa（热那亚大学）
本研究提出利用去噪扩散概率模型（DDPMs）进行X射线图像关键点检测的自监督预训练，在仅50张标注图像下超越传统方法，为少样本场景缓解数据稀缺提供了新方案。
2025-03-06 cs.AI cs.CV
Structure-Guided Self-Supervised Matching for One-Shot Medical Landmark Detection
Department of Computer Science（计算机科学系）；Renmin University of China（中国人民大学）；University of Science and Technology of China（中国科学技术大学）；School of Biomedical Engineering（生物医学工程学院）；School of Artificial Intelligence（人工智能学院）；Shanghai Jiaotong University（上海交通大学）；Department of Orthopedics（骨科系）；Affiliated Hospital of Guizhou Medical University（贵州医科大学附属医院）；Yale University（耶鲁大学）
研究仅单张标注模板图像的一次性医学地标检测，提出SGB-Match框架，通过自监督从无标注图像对学习对应关系，经结构引导偏差改进对比目标，采用全局到局部设计，实验证明其性能优异。
2026-07-07 cs.CV
BEV-SLD: Self-Supervised Scene Landmark Detection for Global Localization with LiDAR Bird's-Eye View Images
Institute for Photogrammetry and Geoinformatics, University of Stuttgart, Germany（摄影测量与地理信息研究所，斯图加特大学，德国）
本文提出BEV-SLD，通过自监督学习利用鸟瞰图像发现特定场景模式，实现鲁棒的全局定位，优于现有方法。
2026-03-17 cs.CV cs.RO
Rethinking Self-training for Semi-supervised Landmark Detection: A Selection-free Approach
Hong Kong University of Science and Technology（香港科技大学）；HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（香港科技大学深港协同创新研究院）
针对半监督关键点检测自训练中伪标签选择的三大难题，提出无需显式选择的STLD方法，通过含伪预训练与收缩回归的任务课程应对确认偏差，在多类基准上表现优于现有方法。
2024-09-16 cs.CV
One-Shot Medical Landmark Detection
Peng Cheng Laboratory（鹏城实验室）
深度学习方法的成功依赖于大量带有注释的数据集的可用性;然而，管理这样的数据集是繁重的，特别是对于医学图像。为了减轻这样的负担的地标检测任务，我们探讨了只使用一个单一的注释图像的可行性，并提出了一个新的框架，称为级联比较检测（CC 2D）的一次性地标检测。CC 2D包括两个阶段：1）自监督学习（CC 2D-SSL）和2）伪标签训练（CC 2D-TPL）。CC 2D-SSL通过比较级联特征表示以由粗到细的方式捕获一致的解剖信息，并在训练集上生成预测。CC 2D-TPL通过使用这些预测训练新的地标检测器来进一步提高性能。CC 2D的有效性在广泛使用的头影测量标志点检测的公共数据集上进行了评估，其在4.0mm内达到了81.01%的竞争性检测精度，与使用多个训练图像的最先进的全监督方法相当。
2021-03-08 cs.CV
LAFS: Landmark-based Facial Self-supervised Learning for Face Recognition
Queen Mary University of London（伦敦玛丽女王大学）
针对无标签人脸识别，提出基于 landmarks 的自监督方法 LAFS，利用人脸关键点补丁和特定增强学习关键表示，在多个基准上显著提升性能，尤其在少样本场景。
2024-03-13 cs.AI cs.CV
Self-Supervised Discovery of Anatomical Shape Landmarks
Scientific Computing and Imaging Institute, University of Utah（犹他大学科学计算与成像研究所）；School of Computing, University of Utah（犹他大学计算学院）
统计形状分析在广泛的医学和生物学应用中是非常有用的工具。然而，它通常依赖于产生相对少量的特征的能力，这些特征可以捕获群体中的相关变异性。用于获得这样的解剖特征的现有技术方法依赖于广泛的预处理或分割和/或显著的调谐和后处理。这些缺点限制了形状统计的广泛应用。我们建议，有效的形状表示应该提供足够的信息来对齐/注册图像。利用这一假设，我们提出了一个自我监督，神经网络方法自动定位和检测图像中的地标，可用于后续分析。该网络发现对应于解剖形状特征的界标，这些特征在特定类别的变换的背景下促进良好的图像配准。此外，我们还对所提出的网络提出了一种正则化方法，可以使这些发现的地标均匀分布。在本文中，我们提出了一个完整的框架，它只需要一组输入图像，并产生可立即用于统计形状分析的地标。我们评估的性能幻影数据集以及2D和3D图像。
2020-06-13 cs.CV cs.LG
SCE-MAE: Selective Correspondence Enhancement with Masked Autoencoder for Self-Supervised Landmark Estimation
University of Toronto（多伦多大学）；ModiFace
SCE-MAE利用掩码自编码器提取区域级特征，通过对应近似与细化模块和局部约束排斥损失优化选择性对应，在地标匹配和检测任务上大幅超越现有方法。
2024-05-28 cs.AI cs.CV
Supervised Transformer Network for Efficient Face Detection
Microsoft Research（微软研究院）
大的姿态变化仍然是现实世界的人脸检测面临的挑战。我们提出了一种新的级联卷积神经网络，被称为监督Transformer网络，以解决这一挑战。第一阶段是一个多任务区域建议网络（RPN），它同时预测候选人脸区域以及相关的面部标志。然后通过将检测到的面部标志映射到其规范位置来扭曲候选区域，以更好地归一化面部模式。第二阶段是RCNN，然后验证扭曲的候选区域是否是有效的面部。我们对级联网络进行端到端学习，包括优化面部标志的规范位置。这种变换的监督学习自动选择最佳尺度来区分面部/非面部模式。通过结合网络两个阶段的特征图，我们在几个公共基准测试中实现了最先进的检测精度。为了实时性能，我们只在从提升级联人脸检测器产生的感兴趣区域上运行级联网络。我们的检测器在单个CPU核心上以30 FPS的速度运行VGA分辨率图像。
2016-07-19 cs.CV
Self-Supervised Temporal Regularization for Landmark-Based Cardiac Segmentation with Automatic AHA Regional Mapping
Biomedical Image Technologies, ETSI Telecomunicación, Universidad Politécnica de Madrid, Madrid, Spain（生物医学图像技术，电信工程学院，马德里理工大学，马德里，西班牙）；Centro de Investigación Biomédica en Red de Bioingeniería, Biomateriales y Nanomedicina (CIBER-BBN), Instituto de Salud Carlos III, Madrid, Spain（生物工程、生物材料和纳米医学网络生物医学研究中心（CIBER-BBN），卡洛斯三世健康研究所，马德里，西班牙）；APOLO Biotech, Ciudad Autónoma de Buenos Aires, Argentina（APOLO Biotech，布宜诺斯艾利斯自治市，阿根廷）；Departamento de Computación, Universidad de Buenos Aires, Ciudad Autónoma de Buenos Aires, Argentina（计算系，布宜诺斯艾利斯大学，布宜诺斯艾利斯自治市，阿根廷）；Instituto de Ciencias de la Computación (ICC), CONICET-Universidad de Buenos Aires, Ciudad Autónoma de Buenos Aires, Argentina（计算机科学研究所（ICC），CONICET-布宜诺斯艾利斯大学，布宜诺斯艾利斯自治市，阿根廷）
提出自监督时间正则化方法，利用图像序列的时间一致性增强心脏分割和运动估计的连续性，并自动映射到AHA 17节段标准，在CAMUS数据集上验证了临床实用性。
2026-07-01 cs.CV
Scalable Semi-supervised Landmark Localization for X-ray Images using Few-shot Deep Adaptive Graph
PAII Inc.（PAII公司）；Ping An Technology（平安科技）；University of Rochester（罗切斯特大学）；University of Maryland（马里兰大学）；Chang Gung Memorial Hospital（长庚纪念医院）
界标定位在医学图像分析中具有重要的作用。基于学习的方法，包括CNN和GCN，已经证明了最先进的性能。然而，这些方法中的大多数都是完全监督的，并且严重依赖于对大型训练数据集的手动标记。本文在基于图的全监督DAG方法的基础上，提出了一种半监督的DAG方法，称为Few-Shot DAG，\ie five-shot DAG。它首先在标记数据上训练DAG模型，然后使用师生SSL机制在未标记数据上微调预训练模型。除了半监督损失之外，我们还提出了另一种损失，使用JS散度来调节中间特征图的一致性。我们广泛评估了我们的方法在骨盆，手和胸部地标检测任务。我们的实验结果表明，一致的和显着的改进，比以前的方法。
2021-04-29 cs.AI cs.CV cs.LG
SCALP: Semi-Supervised Statistical Shape Modeling from Imperfect 3D Photogrammetry via Landmark-Anchored Spectral Warp
Scientific Computing and Imaging Institute, University of Utah（犹他大学科学计算与成像研究所）；Kahlert School of Computing, University of Utah（犹他大学卡勒特计算机学院）；Division of Pediatric Plastic Surgery, UPMC Children’s Hospital of Pittsburgh（匹兹堡大学医学中心儿童医院小儿整形外科）
SCALP是一种半监督统计形状建模框架，通过两阶段方法从原始不完美3D摄影测量扫描构建一致形状模型，在婴儿头型分析中优于现有无监督点云方法，提供无辐射的临床可行途径。
2026-08-04 cs.CV cs.LG
Automatic Landmarks Correspondence Detection in Medical Images with an Application to Deformable Image Registration
Centrum Wiskunde & Informatica（荷兰国家数学与计算机科学研究所）；Amsterdam University Medical Centers（阿姆斯特丹大学医学中心）；University of Amsterdam（阿姆斯特丹大学）；Delft University of Technology（代尔夫特理工大学）；Leiden University Medical Center（莱顿大学医学中心）
目的：可变形图像配准（DEFORM）可受益于使用图像中相应标志的额外引导。然而，其益处在很大程度上未被充分研究，特别是由于缺乏用于三维（3D）医学图像的自动界标检测方法。方法：我们提出了一种称为DCNN-Match的深度卷积神经网络（DCNN），它可以学习以自我监督的方式预测3D图像中的地标对应关系。我们在包含模拟变形的成对计算机断层扫描（CT）上训练DCNN-Match。我们探索了使用不同损失函数的DCNN-Match的五种变体，并评估了它们对预测地标的空间密度和相关匹配误差的影响。我们还测试了DCNN-Match变体与开源注册软件Elastix的组合，以评估预测地标在提供额外指导方面的影响。结果如下：我们在宫颈癌患者的下腹部CT扫描上测试了我们的方法：121对包含模拟变形，11对显示临床变形。结果表明，当在模拟（p = $0e^0$）和临床变形（p = 0.030）情况下使用DCNN-Match预测的标志对应时，可显著改善MRI性能。我们还观察到，相对于潜在的变形的自动地标的空间密度影响的程度，改善的速度。最后，DCNN-Match被发现可以推广到磁共振成像（MRI）扫描，而无需重新训练，这表明它很容易适用于其他数据集。结论：DCNN-Match以自我监督的方式学习预测3D医学图像中的标志对应关系，这可以提高机器学习性能。
2023-02-21 cs.CV
Robust and Precise Facial Landmark Detection by Self-Calibrated Pose Attention Network
Zhongnan University of Economics and Law（中南财经政法大学）；Shenzhen University（深圳大学）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）；University of Alberta（阿尔伯塔大学）；Systems Research Institute, Polish Academy of Sciences（波兰科学院系统研究所）；China Three Gorges University（三峡大学）
目前全监督人脸标志点检测方法进展迅速，取得了显著的效果。然而，他们仍然遭受时，应对大姿势和严重的遮挡不准确的面部形状约束和不足的标记训练样本下的脸。在本文中，我们提出了一个半监督框架，即，自校准姿态注意力网络（SPAN），以在具有挑战性的场景中实现更强大和精确的面部标志检测。具体而言，边界感知的地标强度（BALI）字段提出了更有效的面部形状约束模型，通过融合边界和地标强度字段信息。此外，自校准姿态注意力（SCPA）模型的目的是提供一个自学习的目标函数，通过引入自校准机制和姿态注意力掩模，执行中间监督没有标签信息。我们表明，通过将BALI场和SCPA模型集成到一个新型的自校准姿势注意力网络中，可以学习更多的面部先验知识，并且我们的方法对具有大姿势和严重遮挡的面部的检测准确性和鲁棒性得到了提高。具有挑战性的基准数据集获得的实验结果表明，我们的方法优于最先进的方法在文献中。
2021-12-23 cs.CV
Accurate and Robust Object-oriented SLAM with 3D Quadric Landmark Construction in Outdoor Environment
Northeastern University（东北大学）；Ulster University（阿尔斯特大学）
面向对象的SLAM是自动驾驶和机器人领域的一项热门技术。在本文中，我们提出了一个立体视觉SLAM与鲁棒的二次路标表示方法。该系统由四个部分组成，包括深度学习检测、面向对象的数据关联、双二次地标初始化和基于对象的位姿优化。现有的基于二次曲面的SLAM算法存在观测相关问题，且对观测噪声敏感，限制了其在户外场景中的应用。针对这一问题，提出了一种基于二次参数解耦的二次参数初始化方法，提高了对观测噪声的鲁棒性。充分的对象数据关联算法和具有多个线索的面向对象的优化实现了对局部观测具有鲁棒性的高度准确的对象姿态估计。实验结果表明，该系统是更强大的观测噪声，并显着优于目前的最先进的方法在户外环境中。此外，所提出的系统演示了实时性能。
2021-10-18 cs.CV cs.RO
Weakly Supervised Learning of Objects, Attributes and their Associations
Queen Mary, University of London（伦敦大学玛丽女王学院）
当人类描述图像时，他们倾向于使用名词和形容词的组合，分别对应于对象及其相关属性。为了自动生成这样的描述，需要对对象、属性及其关联进行建模。传统方法需要对对象和属性位置进行强注释，这使得它们的可伸缩性较低。在本文中，我们从弱标记的图像，如媒体共享网站（如Flickr），其中只有图像级别的标签（对象或属性），没有他们的位置和协会广泛提供对象属性关联模型。这是通过引入一种新的弱监督非参数贝叶斯模型。一旦学习，给定一个新的图像，我们的模型可以描述图像，包括对象，属性及其关联，以及它们的位置和分割。在基准数据集上进行的大量实验表明，我们的弱监督模型在基于对象-属性关联的图像描述和检索等任务上与强监督模型表现相当。
2015-03-31 cs.CV
Towards Omni-Supervised Face Alignment for Large Scale Unlabeled Videos
Ningxia University（宁夏大学）；Shanghai University（上海大学）
在本文中，我们提出了一个时空关系推理网络（STRRN）的方法来研究全监督的视频人脸对齐问题。与现有的完全监督的方法依赖于手工的大量注释不同，我们的学习器利用大规模未标记的视频加上可用的标记数据来生成辅助的合理训练注释。由于相邻的面部标志通常在连续帧中是相关和连贯的，因此我们的方法自动推理出地标之间的区别性时空关系，以实现稳定的面部跟踪。具体来说，我们仔细开发了一个可解释的和高效的网络模块，它解开每个静态帧的面部几何关系，同时强制执行跨相邻帧的双向循环一致性，从而允许从原始面部序列的内在时空关系的建模。大量的实验结果表明，我们的方法超越了最完全监督的最先进的性能。
2019-12-16 cs.CV
A Landmark-Aware Visual Navigation Dataset
Rutgers University（罗格斯大学）；Stony Brook University（石溪大学）；Georgia State University（佐治亚州立大学）
提出LAVN数据集，包含RGBD观测和人类点-点击对，用于有监督学习以人为中心的探索策略和地图构建，覆盖室内外场景。
2025-02-22 cs.CV
Robust Facial Landmark Detection under Significant Head Poses and Occlusion
Rensselaer Polytechnic Institute（伦斯勒理工学院）
在一般的“野外”图像上的面部标志检测已经有了巨大的改进。然而，在具有严重遮挡的图像和具有大头部姿势的图像（例如，侧面脸）上检测面部标志仍然是具有挑战性的。事实上，现有的算法通常只能处理其中之一。在这项工作中，我们提出了一个统一的强大的级联回归框架，可以处理严重遮挡的图像和大的头部姿势的图像。具体地，该方法迭代地预测界标遮挡和界标位置。对于遮挡估计，而不是直接预测二进制遮挡向量，我们引入了一种监督回归方法，在每次迭代中逐渐更新地标可见性概率，以实现鲁棒性。此外，我们显式地添加遮挡模式作为约束，以提高遮挡预测的性能。对于地标检测，我们结合地标可见性概率，局部外观和局部形状来迭代更新它们的位置。实验结果表明，该方法在严重遮挡图像和头部姿态较大的图像上的效果明显优于现有的方法。它也可以与一般“野外”图像的其他方法相媲美。
2017-09-23 cs.CV
Unsupervised Performance Analysis of 3D Face Alignment with a Statistically Robust Confidence Test
Centre Inria（法国国家信息与自动化研究所中心）；Université de Lorraine（洛林大学）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
本文提出一种3D人脸对齐的无监督性能分析方法，通过鲁棒估计预测与模型关键点间的刚性变换并计算统计鲁棒置信度分数，在无需人工标注的情况下有效评估关键点定位和数据集标注的准确性。
2023-10-30 cs.CV
ACE-Net: Fine-Level Face Alignment through Anchors and Contours Estimation
SRI International（斯坦福国际研究院）
我们提出了一种新的面部轮廓和轮廓估计框架，ACE网，精细的人脸对齐任务。ACE-Net预测的面部锚点和轮廓比传统的面部标志更丰富，同时克服了其定义中的模糊性和不一致性。我们引入了弱监督损失，使ACE-Net能够从现有的面部标志数据集学习，而无需重新注释。相反，合成数据，从GT轮廓可以很容易地获得，在训练过程中使用，以弥合地标和真实的面部轮廓之间的密度差距。我们评估了ACE-Net相对于HELEN数据集的面部对齐准确性，HELEN数据集有194个注释的面部标志，而它只使用来自300-W数据集的68或36个标志进行训练。我们表明，ACE-Net生成的轮廓优于直接从68个GT地标插值的轮廓，ACE-Net也优于仅在基于GT地标的轮廓的全面监督下训练的模型。
2022-01-09 cs.CV
Improving Landmark Recognition using Saliency detection and Feature classification
Delhi Technological University（德里理工大学）
图像地标识别是视觉和感知领域最受欢迎的分类挑战之一。经过这么多年的建筑物和纪念碑的一般分类从图像，人们现在专注于细粒度的问题-认识到每一个建筑物或纪念碑的类别。我们提出了一个集成网络的目的，印度地标图像的分类。为此，我们的方法通过将基于图形的视觉显着性（GBVS）网络的预测与监督的基于特征的分类算法（如kNN和随机森林）相结合来提供强大的分类。最后的架构是所有提到的网络的自适应学习。建议的网络产生一个可靠的分数，以消除虚假类别的情况下。我们的模型的评估是在一个新的数据集上完成的，这涉及到诸如地标混乱、可变缩放、部分遮挡等挑战。
2018-11-30 cs.CV
Semantic Style Transfer for Enhancing Animal Facial Landmark Detection
University of Haifa（海法大学）
本文提出将语义风格迁移用于动物面部关键点检测训练，通过在裁剪面部图像上应用监督式风格迁移和数据增强，在猫面部关键点检测任务中保留98%基线精度并提升鲁棒性，且方法可推广至其他物种。
2025-05-08 cs.CV
Learning from Synchronization: Self-Supervised Uncalibrated Multi-View Person Association in Challenging Scenes
University of Strasbourg（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）；INSERM（法国国家健康与医学研究院）；ICube（ICube实验室）；IHU Strasbourg（斯特拉斯堡大学医院研究所）；University Hospital of Strasbourg（斯特拉斯堡大学医院）
提出自监督无标定多视角人员关联方法 Self-MVA，通过跨视角图像同步任务及几何线性约束学习特征，在三个挑战性基准上超过现有无监督与全监督方法。
2025-03-17 cs.CV
Synthetic Augmentation for Anatomical Landmark Localization using DDPMs
Medical University of Graz（格拉茨医科大学）；Graz University of Technology（格拉茨工业大学）
本文提出利用2通道输入的DDPM同时生成医学图像与标志热图以增强解剖标志定位训练数据，并通过MRF和SSM评估生成质量，在手部X光片ALL任务中验证其有效性。
2024-10-17 cs.CV
S$^3$Track: Self-supervised Tracking with Soft Assignment Flow
Algolux（Algolux公司）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；TU Kaiserslautern（凯泽斯劳滕工业大学）
本文提出一种基于可微软目标分配的自监督多目标跟踪方法，通过时序和多视图数据学习实例感知特征，在多个数据集上显著优于其他无监督方法。
2023-05-17 cs.CV
CatFLW: Cat Facial Landmarks in the Wild Dataset
University of Haifa（海法大学）
本文提出CatFLW数据集，包含2016张猫脸图像和48个关键点标注，并介绍了一种半监督标注方法，显著减少标注时间，推动动物面部分析自动化。
2023-05-07 cs.CV
ViFiCon: Vision and Wireless Association Via Self-Supervised Contrastive Learning
Rutgers University（罗切斯特大学）；Stony Brook University（石溪大学）；Saudi Electronic University（沙特电子大学）；Georgia State University（佐治亚州立大学）
ViFiCon通过自监督对比学习实现视觉与无线模态的关联，利用RGB-D相机和WiFi测距数据，减少隐私和能耗，无需标注数据即可实现高精度关联。
2026-04-24 cs.CV
BRULÈ: Barycenter-Regularized Unsupervised Landmark Extraction
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
图像特征的无监督检索对于许多计算机视觉任务来说是至关重要的，其中注释缺失或稀缺。在这项工作中，我们提出了一种新的无监督的方法来检测图像中的地标，验证它对人脸关键点提取的流行任务。该方法基于在潜在空间中自动编码想要的地标的思想，同时丢弃不必要的信息（并有效地保留可解释性）。通过一种新的两步正则化方法实现了可解释的潜在空间表示（瓶颈只包含想要的关键点）。第一个正则化步骤评估从一组给定的地标到某个平均值（重心Wasserstein距离）的运输距离。第二正则化步骤通过对初始图像和编码的界标同步地应用随机几何变形来控制与重心的偏差。我们使用300-W，CelebA和MAFL数据集在无监督和半监督训练场景中证明了该方法的有效性。所提出的正则化范例被证明可以防止过拟合，并且检测质量被证明可以超越最先进的人脸模型。
2021-03-30 cs.CV
Learning a Neural Association Network for Self-supervised Multi-Object Tracking
University of Bonn（波恩大学）；Monash University（莫纳什大学）；University of Edinburgh（爱丁堡大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔人工智能与机器学习研究所）
针对多目标跟踪全监督标注成本高的问题，提出基于神经卡尔曼滤波与EM算法的自监督数据关联框架，在多个基准上取得同类型方法最优性能。
2025-09-03 cs.CV
3FabRec: Fast Few-shot Face alignment by Reconstruction
Korea University（高丽大学）
当前用于面部特征点检测的监督方法需要大量的训练数据，并且由于大量的参数而可能遭受对特定数据集的过拟合。我们介绍了一种半监督的方法，其中的关键思想是首先从大量的未标记的人脸图像中生成隐含的人脸知识。在第一个完全无监督的阶段，我们训练对抗性自动编码器通过低维人脸嵌入来重建人脸。在第二个监督阶段，我们将解码器与传输层交错，以将彩色图像的生成重新分配给地标热图的预测。我们的框架（3FabRec）在几个常见的基准测试中达到了最先进的性能，最重要的是，能够在极小的训练集上保持令人印象深刻的准确性，最少只有10张图像。由于交错层仅向解码器添加少量参数，因此推理在GPU上以数百FPS运行。
2020-05-21 cs.CV
Detection and Classification of Pole-like Landmarks for Domain-invariant 3D Point Cloud Map Matching
University of Fukui（福井大学）
本研究提出一种基于深度学习的两模块杆状地标分类方法，结合RANSAC地图匹配与自监督k-means聚类，在NCLT数据集上验证了其提升3D点云视觉自定位精度的效果。
2023-05-11 cs.CV
Self-Supervised Depth Completion for Active Stereo
Technical University of Denmark（丹麦技术大学）；SLAMcore（SLAMcore公司）
主动立体声系统用于许多需要3D信息的机器人应用中。然而，这些深度传感器，遭受立体声伪影，并不提供密集的深度estimations.In这项工作中，我们提出了第一个自我监督的深度完成方法，主动立体声系统，预测准确的密集深度图。我们的系统利用基于特征的视觉惯性SLAM系统来产生运动估计和准确（但稀疏）的3D地标。3D地标既用作模型输入，也用作训练期间的监督。运动估计被用于我们的新的重建损失，依赖于被动和主动立体帧的组合，从而显着改善在室内环境中常见的无纹理区域。由于不存在公开可用的活动立体数据集，我们发布了一个真实的数据集以及活动深度完成和预测所需的公开可用的合成数据集（TartanAir [42]）的附加信息。通过严格的评估，我们表明我们的方法在两个数据集上都优于最先进的方法。此外，我们展示了我们的方法如何获得更完整，因此更安全，3D地图时，在机器人平台上使用。
2022-01-20 cs.CV
Self-supervised Multi-view Person Association and Its Applications
Carnegie Mellon University（卡内基梅隆大学）；Uber ATG（优步先进技术集团）；Adobe Research（奥多比研究院）；Amazon Lab 126（亚马逊Lab 126）
由于频繁的遮挡、强烈的视点和外观变化以及异步视频流，从多个移动摄像机对参与复杂群体活动的人进行可靠的无标记运动跟踪是具有挑战性的。为了解决这个问题，同一个人跨遥远的观点和时间实例的可靠关联是必不可少的。我们提出了一个自我监督的框架，通过利用运动跟踪，互斥约束和多视图几何形状来适应一个通用的人的外观描述符的未标记的视频。适应判别描述符中使用的跟踪聚类公式。我们验证了描述符学习在WILDTRACK [14]和三个新的复杂社交场景上的有效性，这些场景由多个摄像机拍摄，最多有60人“在野外”。我们报告了关联准确性（高达18%）和稳定连贯的3D人体骨骼跟踪（5至10倍）的基线显着改善。使用重建的3D骨架，我们将输入视频切割成多角度视频，其中指定人物的图像从最佳可见的前置摄像头显示。我们的算法检测人与人之间的遮挡，以确定相机切换时刻，同时仍然保持良好的动作流。
2020-04-18 cs.CV
Weakly Supervised Image Annotation and Segmentation with Objects and Attributes
我们建议使用非参数贝叶斯模型从Flickr等媒体共享网站上丰富的弱标记图像中学习来模拟复杂的视觉场景。鉴于对象和属性的弱图像级注释没有位置或它们之间的关联，我们的模型旨在学习对象和属性类的外观以及它们在每个对象实例上的关联。一旦学习，给定一个图像，我们的模型可以被部署来以联合和连贯的方式解决许多视觉问题，包括识别场景中的对象（自动对象注释），使用它们的属性描述对象（属性预测和关联），以及定位和描绘对象（目标检测和语义分割）。这是通过开发一种新的弱监督马尔可夫随机场堆叠印度自助餐过程（WS-MRF-SIBP）来实现的，该过程将对象和属性建模为潜在因素，并明确捕获它们在超像素内和超像素之间的相关性。在基准数据集上的大量实验表明，我们的弱监督模型显着优于弱监督的替代品，并经常与现有的强监督模型的各种任务，包括语义分割，自动图像标注和检索的基础上的对象-属性关联。
2017-08-08 cs.CV
Uncertainty-aware Self-supervised 3D Data Association
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；Honda Research Institute（本田研究院）
3D对象跟踪器通常需要在大量带注释的数据上进行训练，这是昂贵且耗时的。相反，我们建议通过3D对象跟踪器的自监督度量学习来利用大量未标记的数据集，重点是数据关联。通过跨帧的自动目标检测和关联，廉价地获得未标记数据的大规模注释。我们展示了如何以原则性的方式使用这些自监督注释来学习对3D跟踪有效的点云嵌入。我们估计并将不确定性纳入自监督跟踪中，以学习更强大的嵌入，而不需要任何标记数据。我们设计嵌入来区分帧间的对象，并使用不确定性感知的自我监督训练来学习它们。最后，我们展示了他们跨帧执行准确数据关联的能力，以实现有效和准确的3D跟踪。项目视频和代码在https://jianrenw.github.io/Self-Supervised-3D-Data-Association。
2020-08-18 cs.CV cs.RO
Image Understands Point Cloud: Weakly Supervised 3D Semantic Segmentation via Association Learning
East China Normal University（华东师范大学）；Xiamen University（厦门大学）；Shanghai Jiao Tong University（上海交通大学）
弱监督点云语义分割方法需要1%或更少的标签，希望实现几乎与完全监督方法相同的性能，最近引起了广泛的研究关注。该框架中的一个典型解决方案是使用自训练或伪标记从点云本身挖掘监督，但忽略来自图像的关键信息。事实上，相机广泛存在于LiDAR场景中，这种补充信息对于3D应用来说似乎非常重要。在本文中，我们提出了一种新的跨模态弱监督的方法进行三维分割，将互补信息从未标记的图像。基本上，我们设计了一个双分支网络，配备了主动标签策略，以最大限度地发挥标签的微小部分的力量，并直接实现2D到3D的知识转移。然后，我们建立了一个跨模态自训练框架的期望最大值（EM）的角度，它迭代之间的伪标签估计和参数更新。在M-Step中，我们提出了一种跨模态关联学习，通过加强3D点和2D超像素之间的周期一致性来从图像中挖掘互补监督。在E步骤中，推导出一种伪标签自校正机制来过滤噪声标签，从而为网络提供更准确的标签以进行充分的训练。大量的实验结果表明，我们的方法甚至优于国家的最先进的完全监督的竞争对手少于1\%的积极选择的注释。
2022-09-16 cs.CV
SSAM: Self-Supervised Association Modeling for Test-Time Adaption
School of Computer Science and Information Engineering, Hefei University of Technology, China（计算机科学与信息工程学院，合肥工业大学，中国）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center, China（人工智能研究院，合肥综合性国家科学中心，中国）
提出SSAM框架，通过双阶段关联学习（软原型估计和原型锚定图像重建）动态优化图像编码器，解决测试时自适应中的分布偏移问题，显著超越现有方法且保持计算效率。
2025-05-31 cs.CV
Discovering Multi-Label Actor-Action Association in a Weakly Supervised Setting
University of Bonn（波恩大学）
由于收集和注释用于时空动作检测的数据是非常昂贵的，因此需要学习具有较少监督的方法。弱监督方法不需要任何限界框注释，并且可以仅从指示动作是否发生在视频剪辑中的标签进行训练。然而，当前的方法不能处理在视频中存在同时执行多个动作的多个人的情况。在这项工作中，我们第一次解决这个非常具有挑战性的任务。我们提出了一个基于多实例和多标签学习的基线。此外，我们提出了一种新的方法，使用一组动作作为表示，而不是单独的动作类建模。由于计算，全功率集的概率变得棘手的动作类的数量增加，我们分配一个动作集的约束下，每个检测到的人的分配是一致的注释的视频剪辑。我们评估所提出的方法在具有挑战性的AVA数据集上，所提出的方法优于MIML基线，并且与完全监督的方法相比具有竞争力。
2021-01-21 cs.CV
Landmarks Augmentation with Manifold-Barycentric Oversampling
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
生成对抗网络（GANs）的训练需要大量数据，这刺激了新增强方法的开发，以缓解这一挑战。通常，这些方法要么无法产生足够的新数据，要么将数据集扩展到原始流形之外。在本文中，我们提出了一种新的增广方法，保证保持新的数据在原始数据流形由于最优传输理论。该算法在最近邻图中找到团，并在每次采样迭代中随机抽取一个团来计算具有随机均匀权重的Wasserstein重心。然后，这些重心成为可以添加到数据集中的新的自然元素。我们将这种方法应用于地标检测的问题，并在未配对和半监督的情况下增加可用的注释。此外，该想法在心脏数据上进行了验证，用于医学分割任务。我们的方法减少了过拟合，提高了质量指标，超出了原始数据的结果，超出了流行的现代增强方法获得的结果。
2021-12-20 cs.CV
Teacher Supervises Students How to Learn From Partially Labeled Images for Facial Landmark Detection
Baidu Research（百度研究院）；University of Technology Sydney（悉尼科技大学）
人脸标志点检测的目的是定位人脸的解剖定义点。在本文中，我们研究了部分标记的人脸图像中的人脸标志点检测。典型的方法是（1）在标记的图像上训练检测器;（2）使用该检测器的预测作为未标记的图像的伪标记来生成新的训练样本;（3）在标记的样本和部分伪标记的样本上重新训练检测器。通过这种方式，检测器可以从标记和未标记的数据中学习，从而变得鲁棒。在本文中，我们提出了一个教师和两个学生之间的互动机制，以产生更可靠的伪标签的未标记的数据，这是有益的半监督人脸标志检测。具体来说，两个学生被实例化为双检测器。教师学习判断学生生成的伪标签的质量，并在再训练阶段之前过滤掉不合格的样本。通过这种方式，学生检测器从他们的老师那里得到反馈，并通过自己生成的优质数据进行重新训练。由于这两个学生是由不同的样本训练的，因此与任何一个预测相比，他们的预测组合作为最终预测将更加稳健。在300-W和AFLW基准上的大量实验表明，教师和学生之间的交互有助于更好地利用未标记数据，并实现了最先进的性能。
2019-08-13 cs.CV
Can 3D Pose be Learned from 2D Projections Alone?
Amazon Lab126 Inc.（亚马逊Lab126公司）
在计算机视觉中，从一幅图像中估计三维姿态是一项具有挑战性的任务。我们提出了一个弱监督的方法来估计3D姿态点，只给2D姿态地标。我们的方法不需要2D和3D点之间的对应关系来建立显式的3D先验。我们利用对抗框架对3D结构施加先验，仅从随机的2D投影中学习。给定一组2D姿势地标，生成器网络假设它们的深度以获得3D骨架。我们提出了一个新的随机投影层，它随机投影生成的3D骨架，并将生成的2D姿势发送到机器人。通过从2D姿态的真实分布中区分所生成的姿态和姿态样本，改进了该方法。训练不需要发生器或ADC的2D输入之间的对应关系。我们将我们的方法应用于3D人体姿态估计的任务。在Human3.6M数据集上的结果表明，我们的方法优于许多以前的监督和弱监督方法。
2018-08-22 cs.CV
