Towards Multi-domain Face Landmark Detection with Synthetic Data from Diffusion model
School of Electrical Engineering, Korea University(高丽大学电气工程学院)
针对卡通、漫画等域标注数据稀缺问题,提出两阶段扩散模型训练流程生成跨域对齐的关键点-人脸合成数据,并据此微调检测器,提升多域人脸关键点检测性能。
2026-11-10 cs.CV
MAMMA: Markerless & Automatic Multi-Person Motion Action Capture
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Carnegie Mellon University(卡内基梅隆大学)
本文提出MAMMA,一种无标记动作捕捉管道,通过多视角视频准确恢复SMPL-X参数。该方法通过预测密集的2D接触感知表面地标,实现即使在重叠情况下也能估计人物对应关系,且在无需标记的情况下实现高精度动作捕捉。
2026-04-07 cs.CV
Fake It Till You Make It: Face analysis in the wild using synthetic data alone
Microsoft(微软)
我们证明了在野外单独使用合成数据进行与面部相关的计算机视觉是可能的。社区长期以来一直享受着将训练数据与图形合成的好处,但真实数据和合成数据之间的领域差距仍然是一个问题,特别是对于人脸。研究人员试图通过数据混合、领域自适应和领域对抗训练来弥合这一差距,但我们证明了有可能以最小的领域差距合成数据,因此在合成数据上训练的模型可以推广到真实的野外数据集。我们描述了如何将程序生成的参数化3D人脸模型与全面的手工制作资源库相结合,以前所未有的真实感和多样性呈现训练图像。我们训练机器学习系统来完成与人脸相关的任务,如地标定位和人脸解析,这表明合成数据既可以在准确性上与真实数据相匹配,也可以开辟新的方法,使人工标记成为不可能。
2021-10-05 cs.CV
Task-Assisted Domain Adaptation with Anchor Tasks
University of Illinois, Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Snap Inc.(Snap公司);Bytedance Inc.(字节跳动公司)
某些任务(如表面法线或单视图深度估计)需要逐像素的地面实况,这在真实图像上难以获得,但在合成图像上容易获得。然而,由于域偏移,在合成图像上学习的模型通常不能很好地推广到真实图像。我们改进领域自适应的关键思想是引入一个单独的锚任务(如面部标志),其注释可以免费获得,或者已经在合成和真实数据集上可用。为了进一步利用锚点和主任务之间的隐式关系,我们应用我们的\freeze技术,该技术在源域上学习跨任务指导与最终网络层,并在目标域上使用它。我们评估我们的方法在两对数据集(室内场景和人脸)上的表面法线估计,具有两种锚任务(语义分割和面部标志)。我们发现,盲目地应用领域自适应或训练辅助任务只在一个域可能会损害性能,而使用锚任务在两个域上表现得更好。我们的\freeze技术优于竞争对手的方法,达到性能与最近流行的表面正常估计方法使用形状从阴影域知识的面部图像。
2020-11-10 cs.CV stat.ML
Can Synthetic Faces Undo the Damage of Dataset Bias to Face Recognition and Facial Landmark Detection?
University of Basel(巴塞尔大学)
众所周知,用于人脸识别和人脸地标检测的深度学习方法在现代训练数据集中存在偏差。在这项工作中,我们建议使用合成人脸图像来减少数据集偏差对这些任务的负面影响。使用3D变形人脸模型,我们生成大量的合成人脸图像,完全控制面部形状和颜色,姿势,照明和背景。通过一系列实验,我们通过使用合成面孔进行预训练,广泛测试了引发深度网络的效果。我们观察到人脸识别和面部地标检测任务的以下积极影响:1)使用合成人脸图像的启动在所有基准测试中一致地提高了性能,因为它减少了训练数据中偏差的负面影响。2)减少数据集偏差损害的传统方法,如数据增强和迁移学习,不如使用合成人脸进行训练有效。3)使用合成数据,我们可以将真实世界数据集的大小减少75%用于人脸识别,并将其减少50%用于面部地标检测,同时保持性能。因此,提供了一种手段,将数据汇集过程集中在数量较少但质量较高的数据上。
2019-06-23 cs.CV
landmarker: a Toolkit for Anatomical Landmark Localization in 2D/3D Images
IDLab;Department of Electronics and Information Systems(电子与信息系统系);Ghent University(根特大学);imec;Biometrics Research Group(生物识别研究组);Department of Morphology, Imaging, Orthopedics, Rehabilitation and Nutrition(解剖学、成像、骨科、康复和营养系)
本文提出基于PyTorch的landmarker工具包,通过静态与自适应热图回归等方法及模块化设计,解决医学影像中2D/3D解剖标志定位缺乏专用工具的问题,提升精度并加速研发。
2025-05-05 cs.AI cs.CV cs.LG
Synthetic Augmentation for Anatomical Landmark Localization using DDPMs
Medical University of Graz(格拉茨医科大学);Graz University of Technology(格拉茨工业大学)
本文提出利用2通道输入的DDPM同时生成医学图像与标志热图以增强解剖标志定位训练数据,并通过MRF和SSM评估生成质量,在手部X光片ALL任务中验证其有效性。
2024-10-17 cs.CV
Efficient Convolutional Neural Networks for Depth-Based Multi-Person Pose Estimation
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Idiap Research Institute(Idiap研究所)
实现鲁棒的多人2D身体标志定位和姿态估计对于例如在HRI设置中遇到的人类行为和交互理解是必不可少的。最近已经提出了精确的方法,但它们通常依赖于相当深的卷积神经网络(CNN)架构,因此需要大量的计算和训练资源。在本文中,我们研究了不同的架构和方法来解决这些问题,并实现快速,准确的多人2D姿态估计。为了提高速度,我们建议使用深度图像,其结构包含有关身体标志的足够信息,同时比纹理彩色图像更简单,因此可能需要较不复杂的CNN进行处理。在这方面,我们作出以下贡献。i)我们研究了几种CNN架构设计,其将依赖于检测器级联概念的姿态机与轻量级且高效的CNN结构相结合; ii)为了解决对具有高可变性的大型训练数据集的需求,我们依赖于将多人合成深度数据与真实传感器背景相结合的半合成数据; iii)我们探索领域自适应技术,以解决在真实深度图像上进行测试所引入的性能差距; iv)为了提高我们的快速轻量级CNN模型的准确性,我们在几个架构级别上研究了知识蒸馏,这有效地提高了性能。对合成和真实数据的实验和结果突出了我们设计选择的影响,为解决实际应用中通常面临的标准问题的方法提供了见解,并导致架构在性能和速度方面有效地匹配我们的目标。
2019-12-02 cs.CV
ChildGAN: Large Scale Synthetic Child Facial Data Using Domain Adaptation in StyleGAN
University of Galway(戈尔韦大学);Xperi Corporation(Xperi公司)
本文提出ChildGAN,基于StyleGAN2通过域自适应生成大规模合成儿童面部数据,经多种视觉测试验证其高质量,可作为真实儿童数据集的替代方案。
2023-07-25 cs.CV
DocEmul: a Toolkit to Generate Structured Historical Documents
我们提出了一个工具包来生成结构化的合成文件,模拟实际的文件生产过程。合成文档可用于训练系统以执行文档分析任务。在我们的案例中,我们解决了记录计数任务的手写结构化集合包含有限数量的例子。使用DocEmul工具包,我们可以生成一个更大的数据集来训练一个深度架构,以预测每个页面的记录数量。该工具包能够生成合成集合,并执行数据增强以创建更大的可训练数据集。它包括一种从真实页面中提取页面背景的方法,该页面背景可以用作基底,其中可以基于可变结构和使用草书字体来写入记录。此外,还可以通过添加随机噪声、页面旋转和其他视觉变化来扩展合成集合。我们在两个不同的手写体集合上进行了一些实验,使用工具包生成合成数据来训练一个能够计算真实集合中记录数量的卷积神经网络。
2017-10-10 cs.CV
FaceDig: Automated tool for placing landmarks on facial portraits for geometric morphometrics users
Charles University(查理大学)
针对几何形态计量学中人工面部标志点标注耗时、易出错的问题,研究团队推出开源AI工具FaceDig,基于大规模多样本人脸数据集训练,可实现与专家精度相当的2D正面人脸标志点自动标注,兼容主流分析工具,提升研究可复现性。
2024-11-03 cs.AI cs.CV cs.LG
Cephalogram Synthesis and Landmark Detection in Dental Cone-Beam CT Systems
Friedrich-Alexander-University Erlangen-Nuremberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Erlangen Graduate School in Advanced Optical Technologies (SAOT)(埃尔朗根先进光学技术研究生院)
由于缺乏标准化的3D头影测量分析方法,从3D锥形束计算机断层扫描(CBCT)体积合成的2D头影测量被广泛用于牙科CBCT系统中的头影测量分析。然而,与传统的基于X射线胶片的头颅X线片相比,这种合成头颅X线片缺乏图像对比度和分辨率。此外,3D重建扫描期间的辐射剂量会导致潜在的健康风险。在这项工作中,我们提出了一个基于S形的强度变换,利用X射线胶片的非线性光学特性,以增加合成头影照片的图像对比度。为了提高图像分辨率,研究了超分辨率深度学习技术。出于低剂量目的,提出了像素到像素生成对抗网络(pix 2 pixGAN),用于直接从两个CBCT投影合成2D头影照片。针对合成头影图像中的界标检测问题,提出了一种结合LeNet-5和ResNet 50的高效界标自动检测方法。我们的实验证明了pix 2 pixGAN在2D头影合成中的有效性,参考从3D CBCT体积合成的头影,实现了平均峰值信噪比(PSNR)值为33.8。Pix 2 pixGAN还在超分辨率方面实现了最佳性能,实现了32.5的平均PSNR值,而不会引入棋盘格或锯齿状伪影。我们提出的自动标志检测方法在ISBI测试1数据的2 mm临床可接受范围内实现了86.7%的成功检测率,这与最先进的方法相当。该方法可直接应用于合成X线片中的标志点检测,在4 mm精度范围内,对3D立体和2D投影合成X线片的标志点检测成功率分别为93.0%和80.7%…
2021-03-20 cs.CV eess.IV
Comprehensive Dataset of Synthetic and Manipulated Overhead Imagery for Development and Evaluation of Forensic Tools
Drexel University(德雷塞尔大学)
本文提出了一种综合性合成与 manipulated 天顶影像数据集,用于开发和评估取证工具,支持可控生成多种操纵类别及任务基准性能。
2023-05-09 cs.CR cs.CV
Pretrained equivariant features improve unsupervised landmark discovery
National University of Singapore(新加坡国立大学)
定位语义上有意义的标志点是大量计算机视觉管道的关键组成部分。由于具有真实地标注释的可用数据集数量很少,因此设计鲁棒的无监督和半监督地标检测方法非常重要。最近的许多无监督学习方法依赖于地标的等方差特性来合成图像变形。我们的工作集中在这些广泛使用的方法上,并揭示了其核心问题,即无法产生等变中间卷积特征。这一发现使我们制定了一个两步的无监督方法,通过首先学习强大的基于像素的特征,然后使用预先训练的特征通过传统的等方差方法学习地标检测器来克服这一挑战。我们的方法在几个具有挑战性的地标检测数据集(如BBC Pose数据集和Cat-Head数据集)中产生了最先进的结果。它在一系列其他基准测试中进行了测试。
2021-04-07 cs.AI cs.CV cs.LG
T-FAKE: Synthesizing Thermal Images for Facial Landmarking
Saarland University(萨尔兰大学);Technical University of Berlin(柏林技术大学);MPI for Informatics, SIC(信息研究所)
本文提出T-FAKE合成热面部数据集和RGB2Thermal损失函数,通过域自适应风格迁移生成带关键点标注的热图像,显著提升热图像面部关键点检测性能。
2025-06-03 cs.CV
Learning landmark guided embeddings for animal re-identification
Queensland University of Technology(昆士兰科技大学);The University of Queensland(昆士兰大学)
由于不同个体之间的身体标记的细微变化以及对野生动物的姿势没有限制,图像中个体动物的重新识别可能是模糊的。人员重新识别是一项类似的任务,并且已经使用深度卷积神经网络(CNN)来处理它,该深度卷积神经网络学习用于人的图像的区别性嵌入。然而,学习个体动物的区别特征比人的外表更具挑战性,因为与人的身份的标记数据集相比,生态数据集的大小相对较小。我们建议通过明确利用身体标志信息来改进嵌入学习。身体标志被提供给CNN的输入,作为可以从单独的身体标志预测器获得的置信热图。鼓励模型通过学习重建输入热图的辅助任务来使用热图。身体标志引导特征提取网络学习独特图案的表示及其在身体上的位置。我们评估所提出的方法在一个大的合成数据集和一个小的真实数据集。我们的方法在合成和真实数据集上分别比没有身体标志输入的相同模型高出26%和18%。该方法对输入坐标中的噪声具有鲁棒性,并且可以容忍高达图像大小的10%的坐标误差。
2020-01-09 cs.CV
ArtFacePoints: High-resolution Facial Landmark Detection in Paintings and Prints
FAU Erlangen-Nürnberg(埃尔朗根-纽伦堡大学)
人脸标志点检测是艺术作品相似性分析的重要环节,可以对同一或相似艺术家的肖像进行比较。通过面部标志,不同类型的肖像,如绘画和印刷品,可以使用基于控制点的图像配准自动对齐。我们提出了一种基于深度学习的方法,用于绘画和印刷品的高分辨率图像中的面部标志检测。它将任务划分为用于粗略地标预测的全局网络和用于基于预测的全局地标坐标自动确定的眼睛、鼻子和嘴巴区域中的精确地标细化的多个区域网络。我们创建了一个合成增强的面部地标艺术数据集,包括艺术风格转移和几何地标移位。我们的方法证明了我们的高分辨率艺术品数据集的内部面部标志的准确检测,同时与竞争方法相比,与公共低分辨率艺术品数据集相当。
2022-10-17 cs.CV
Deep Learning based Automatic Quantification of Urethral Plate Quality using the Plate Objective Scoring Tool (POST)
Sidra Medicine(锡德拉医学中心);Qatar University(卡塔尔大学);Weill Cornell Medicine Qatar(威尔康奈尔医学院卡塔尔分校);Aalborg University(奥尔堡大学);Hamad Medical Corporation(哈马德医疗公司)
目的:探索深度学习算法使用板客观评分工具(POST)进一步简化和优化2D图像上尿道板(UP)质量评价的能力,旨在提高尿道下裂修复中UP评价的客观性和可重复性。方法:在接受原发性尿道下裂修复术的青春期前男孩的691张图像数据集中,由专家标记5个关键POST标志。该数据集随后被用于开发和验证基于深度学习的地标检测模型。所提出的框架从龟头定位和检测开始,其中使用预测的限界框裁剪输入图像。接下来,使用深度卷积神经网络(CNN)架构来预测五个POST地标的坐标。这些预测的标志,然后用于评估远端尿道下裂的UP质量。结果:该模型准确定位龟头区域,平均精度(mAP)为99.5%,总灵敏度为99.1%。归一化平均误差(NME)为0.07152,在预测的地标的坐标,与均方误差(MSE)为0.001和20.2%的失败率在0.1 NME的阈值。结论:此深度学习应用程序在使用POST评估UP质量方面显示出鲁棒性和高精度。目前正在利用国际多中心图像数据库进行进一步评估。外部验证可以使深度学习算法受益,并导致更好的评估,决策和手术结果预测。
2022-09-28 cs.AI cs.CV
X-ray-transform Invariant Anatomical Landmark Detection for Pelvic Trauma Surgery
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Johns Hopkins University(约翰斯·霍普金斯大学);Applied Physics Laboratory, Johns Hopkins University(约翰斯·霍普金斯大学应用物理实验室);Johns Hopkins Hospital(约翰斯·霍普金斯医院)
X射线图像引导使复杂手术的经皮替代方案成为可能。不幸的是,除了投影简化之外,解剖结构上的间接视图大大增加了外科医生的任务负荷。额外的3D信息,如解剖标志的知识,可以在复杂的情况下有利于手术决策。在透射成像中自动检测这些地标是具有挑战性的,因为特定地标的图像域特征基本上取决于观察方向而变化。因此,据我们所知,上述问题尚未得到解决。在这项工作中,我们提出了一种方法来自动检测X射线图像中的解剖标志独立的观看方向。为此,基于卷积层的顺序预测框架在骨盆解剖结构的合成生成的数据上进行训练,以预测单个X射线图像中的23个标志。视图独立性取决于训练条件,在这里,分别在LAO/RAO和CRAN/CAUD中覆盖(120 x 90)度的球形段上实现,以AP为中心。在合成数据上,所提出的方法实现了5.6 +- 4.5 mm的平均预测误差。我们证明了所提出的网络可以立即应用于骨盆的临床采集数据。特别是,我们表明,我们的术中地标检测与术前CT一起使X射线姿态估计,最终,有利于初始化基于图像的2D/3D配准。
2018-03-22 cs.CV
Procedural Humans for Computer Vision
Mesh Labs Cambridge, Microsoft(微软剑桥网格实验室)
最近的工作已经显示了合成数据用于计算机视觉的好处,其应用范围从自动驾驶到人脸地标检测和重建。使用合成数据有许多好处,从隐私保护和偏见消除到注释的质量和可行性。生成以人为中心的合成数据在现实主义和领域差距方面是一个特别的挑战,尽管最近的工作表明,有效的机器学习模型可以单独使用合成人脸数据进行训练。我们表明,这可以通过建立在Wood等人的管道上来扩展到包括整个身体,以生成完整的人类合成图像,并为计算机视觉应用提供地面实况注释。在本报告中,我们描述了如何构建面部和身体的参数化模型,包括关节手;我们的渲染管道,以基于此身体模型生成逼真的人类图像;一种训练DNN回归覆盖整个身体的密集地标集的方法;以及一种将我们的身体模型拟合到从多个视图预测的密集地标的方法。
2023-01-03 cs.CV cs.GR
Probabilistic Task Parameterization of Tool-Tissue Interaction via Sparse Landmarks Tracking in Robotic Surgery
University of Tennessee Knoxville(田纳西大学诺克斯维尔分校);Stanford University(斯坦福大学)
针对机器人手术工具-组织交互建模的标注依赖或刚性假设问题,提出结合稀疏关键点跟踪与概率建模的框架,通过PCA构建动态局部变换并嵌入TP-GMM,实现大变形下组织地标传播与工具位姿预测,提升手术运动视觉理解。
2025-04-14 cs.CV cs.LG cs.RO
Semantic Semi-Incremental Data-Association-Free Object SLAM
Computer Science and Artificial Intelligence Laboratory, Massachusetts Institute of Technology(计算机科学与人工智能实验室,麻省理工学院)
研究针对 SLAM 中数据关联难题,提出广义无数据关联 SLAM 框架,利用深度学习语义信息,通过半增量估计方案联合估计多要素,经合成与真实数据集评估,相比基线展现出卓越性能,提升框架实用性与可解释性。
2026-07-28 cs.AI cs.CV cs.RO
Deep-MDS Framework for Recovering the 3D Shape of 2D Landmarks from a Single Image
Shiraz University(设拉子大学)
本文提出了一种利用非度量多维缩放(NMDS)方法的低参数深度学习框架,以在单个输入图像中恢复人脸上的2D地标的3D形状。因此,NMDS的方法是第一次使用建立从一个2D地标空间到相应的3D形状空间的映射。深度神经网络学习NMDS方法所使用的2D地标之间的成对相异性,其目标是学习输入图像上对应的2D地标的成对3D欧几里得距离。该方案导致秩大于2的对称相异度矩阵,使得NMDS方法朝向适当地恢复对应的2D地标的3D形状。在构成的图像和复杂的图像形成过程的情况下,如透视投影,导致遮挡在输入图像中,我们认为自动编码器组件在所提出的框架,作为遮挡去除部分,它把不同的输入视图的人脸到一个轮廓视图。使用不同的合成和真实世界人脸数据集(包括BFM、CelebA、CoMA-FLAME和CASIA-3D)的性能评估的结果表明,所提出的框架在效率和准确性方面具有与来自文献的相关的最先进和强大的3D重建方法相当的性能,尽管其训练参数的数量较少。
2022-10-27 cs.AI cs.CV cs.LG
Learning to Find Eye Region Landmarks for Remote Gaze Estimation in Unconstrained Settings
ETH Zurich(苏黎世联邦理工学院);MPI for Informatics(马克斯·普朗克信息学研究所)
传统的基于特征和基于模型的凝视估计方法已经证明在具有受控照明和专用相机的设置中表现良好。然而,在不受约束的现实世界的设置,这样的方法是超越最近的外观为基础的方法,由于建模因素,如照明变化和其他视觉伪影的困难。我们提出了一种新的基于学习的方法,使传统的方法是最新的外观为基础的方法具有竞争力的眼睛区域的地标定位。尽管专门针对合成数据进行了训练,但我们的方法在真实图像上的虹膜定位和眼睛形状配准方面超过了现有技术。然后,我们使用检测到的地标作为迭代模型拟合和基于轻量级学习的凝视估计方法的输入。我们的方法优于现有的模型拟合和外观为基础的方法在人的独立和个性化的凝视估计的背景下。
2018-05-12 cs.CV
Automatic Tool Landmark Detection for Stereo Vision in Robot-Assisted Retinal Surgery
ETH Zürich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
计算机视觉和机器人技术越来越多地应用于医疗干预。特别是在需要极其精确的干预措施中,它们可以发挥作用。一个这样的应用是机器人辅助视网膜显微手术。在最近的工作中,这种干预是在立体显微镜下进行的,并使用机器人控制的手术工具。然而,计算机视觉和机器人技术的互补性尚未得到充分利用。为了提高机器人控制,我们感兴趣的解剖结构的三维重建和自动工具定位使用立体显微镜。在本文中,我们解决了这个问题,第一次使用一个单一的管道,从未校准的相机,以达到度量三维重建和注册,在视网膜显微手术。我们的方法的关键组成部分是:(a)手术工具标志检测,和(b)三维重建与立体显微镜,使用检测到的标志。为了解决前者,我们提出了一种新的深度学习方法,该方法以高于实时速度的速度检测和识别高清图像中的关键点。我们使用检测到的2D关键点以及从机器人传感器获得的相应的3D坐标,使用仿射投影模型来校准立体显微镜。我们设计了一个在线3D重建管道,利用平滑度约束,并执行机器人到相机的注册。整个管道在开放天空猪眼序列上进行了广泛的验证。给出了所有步骤的定量和定性结果。
2017-11-20 cs.CV cs.RO
Aggregation via Separation: Boosting Facial Landmark Detector with Semi-Supervised Style Translation
The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学);SenseTime Research(商汤科技研究院);YouTu Lab, Tencent(腾讯优图实验室)
人脸标志点检测,或人脸对齐,是一个基本的任务,已被广泛研究。在本文中,我们研究了一个新的角度的人脸标志点检测,并证明它会导致进一步显着的改善。考虑到任何人脸图像都可以被分解为捕获光照,纹理和图像环境的风格空间以及风格不变的结构空间,我们的关键思想是利用每个人的分离风格和形状空间来通过风格转换来增强现有结构。有了这些增强的合成样本,我们的半监督模型令人惊讶地大大优于全监督模型。大量的实验验证了我们的想法的有效性与国家的最先进的结果在WFLW,300W,COFW,和AFLW数据集。我们提出的结构是通用的,可以组装成任何人脸对齐框架。该守则可在https://github.com/thesouthfrog/stylealign上公开查阅。
2019-08-18 cs.CV
Simulating Realistic MRI variations to Improve Deep Learning model and visual explanations using GradCAM
IIT Kharagpur(印度理工学院克勒格布尔分校);IIT Bombay(印度理工学院孟买分校);IIT Madras(印度理工学院马德拉斯分校);Philips Research Philips Healthcare(飞利浦研究 飞利浦医疗保健)
在医学领域中,MRI中的界标检测在减少医疗技术人员在诸如扫描规划、图像配准等任务中的工作量方面起着重要作用。首先,在三个相应的视图-矢状、冠状和轴向中,人工注释分布在大脑解剖结构上的88个界标,随后从专家临床技术人员处获取子解剖结构方面的指导,以更好地定位现有界标,以便即使在倾斜扫描中也识别和定位重要的图谱界标。为了克服有限的数据可用性,我们实现了现实的数据增强生成合成的三维体数据。我们使用修改后的HighRes 3DNet模型来解决脑MRI体积界标检测问题。为了在看不见的数据上直观地解释我们的训练模型,并从较弱的模型中区分出较强的模型,我们实现了加权类激活映射(Grad-CAM),它会产生一个粗略的定位图,突出显示模型所关注的区域。我们的实验表明,所提出的方法显示出良好的结果,整个管道可以扩展到可变数量的地标和其他解剖结构。
2021-11-01 cs.AI cs.CV eess.IV
RayEmb: Arbitrary Landmark Detection in X-Ray Images Using Ray Embedding Subspace
University of Tsukuba(筑波大学);Tokyo Medical University(东京医科大学)
针对X射线图像2D-3D配准中因标志点可见性差导致失败的问题,提出RayEmb方法,利用射线嵌入子空间检测任意标志点建立对应关系,无需手动标注,在真实数据上表现优于传统方法。
2024-10-10 cs.CV
Unsupervised Learning of Object Landmarks through Conditional Image Generation
University of Oxford(牛津大学);University of Edinburgh(爱丁堡大学)
我们提出了一种学习视觉对象(如眼睛和鼻子在脸上)的地标检测器,而无需任何人工监督的方法。我们将此转换为生成图像的问题,所述图像将如在第一示例图像中看到的对象的外观与如在第二示例图像中看到的对象的几何形状相结合,其中两个示例的不同之处在于视点改变和/或对象变形。为了分解外观和几何形状,我们在选择和提取几何相关特征的几何提取过程中引入了一个紧密的瓶颈。与通常使用生成对抗网络的标准图像生成问题相比,我们的生成任务以外观和几何形状为条件,因此不那么模糊,以至于采用简单的感知损失公式就足够了。我们证明了我们的方法可以从合成图像变形或视频中学习对象地标,所有这些都无需人工监督,同时优于最先进的无监督地标检测器。我们进一步表明,我们的方法适用于各种各样的数据集-人脸,人,3D对象和数字-没有任何修改。
2018-12-13 cs.CV
LampMark: Proactive Deepfake Detection via Training-Free Landmark Perceptual Watermarks
Nanyang Technological University(南洋理工大学);Qilu University of Technology(齐鲁工业大学);Shandong University(山东大学)
针对被动深度伪造检测算法泛化性不足的问题,提出主动检测方法LampMark,通过免训练的地标感知水印,从面部地标生成二进制水印并嵌入图像,通过水印一致性检测深度伪造,性能优于现有方法。
2024-11-26 cs.CV
Artificial Image Tampering Distorts Spatial Distribution of Texture Landmarks and Quality Characteristics
The University of Buckingham(白金汉大学)
基于人工智能的计算机视觉的进步导致合成图像生成和人工图像篡改的显着增长,这对破坏个人身份识别的不道德剥削产生了严重影响,并可能使人工智能预测变得更难以解释。Deepfake和其他人工生成的人脸照片破坏了使用不同电子身份证件进行人脸生物识别认证的可靠性。护照可以欺骗自动边境控制系统和人类警卫。本文扩展了我们以前的工作,使用纹理标志的持久同源性(PH)检测变形攻击。我们证明了人为的图像篡改扭曲了纹理标志的空间分布(即PH值)以及一组图像质量特征。我们将证明,篡改造成的失真,这两个苗条的特征向量提供了显着的潜力用于构建具有低出错率且适合在受限设备上实现的可解释(手工)篡改检测器。
2022-08-04 cs.CV math.AT
T2ID-CAS: Diffusion Model and Class Aware Sampling to Mitigate Class Imbalance in Neck Ultrasound Anatomical Landmark Detection
Department of Computer Science, University of Central Florida(计算机科学系,中央佛罗里达大学);Department of Otolaryngology Head Neck Surgery, University of Cincinnati College of Medicine(耳鼻喉科与头颈外科系,辛辛那提大学医学院);Department of Internal Medicine, University of Central Florida College of Medicine(内科系,中央佛罗里达大学医学院)
针对颈部超声解剖标志检测中的类别不平衡问题,提出结合文本到图像潜在扩散模型与类别感知采样的T2ID-CAS方法生成高质量合成样本,有效提升了少数类表示,使YOLOv9检测的平均精度均值从66基线显著提升至88.2。
2025-04-29 cs.AI cs.CV cs.LG
Automated C-Arm Positioning via Conformal Landmark Localization
University of Vermont(佛罗里达大学);Cleveland Clinic(克利夫兰诊所);University of Vermont Medical Center(佛罗里达大学医学中心)
本文提出利用X射线图像预测三维位移并结合不确定性建模、保形预测与骨骼姿态正则化的C型臂自主导航流程,在DeepDRR合成数据上验证了高精度与可靠置信边界。
2025-10-17 cs.CV
Super-FAN: Integrated facial landmark localization and super-resolution of real-world low resolution faces in arbitrary poses with GANs
The University of Nottingham(诺丁汉大学)
本文解决了两个具有挑战性的任务:提高低分辨率的面部图像的质量和准确定位面部标志在这样的低分辨率图像。为此,我们做出了以下5个贡献:(a)我们提出了Super-FAN:第一个同时解决这两个任务的端到端系统,即提高面部分辨率并检测面部标志。Super-FAN的新颖之处在于通过热图回归和优化新的热图损失来集成子网络以进行面部对齐,从而将结构信息并入基于GAN的超分辨率算法中。(b)我们通过报告不仅在正面图像(如先前的工作)上,而且在整个面部姿势谱上,不仅在合成低分辨率图像(如先前的工作)上,而且在真实世界图像上,都取得了良好的结果,来说明联合训练这两个网络的好处。(c)我们提出了一种新的基于残差的架构,以改善最先进的人脸超分辨率。(d)量化,我们表现出很大的改善,在国家的最先进的人脸超分辨率和对齐。(e)质量,我们第一次在真实世界的低分辨率图像上显示出良好的效果。
2018-03-27 cs.CV
A Novel Hybrid Approach for Cephalometric Landmark Detection
Shiraz University(设拉子大学)
头影测量分析在牙科,特别是在正畸学中作为治疗计划工具,用于测量牙齿,颌骨和颅骨的大小和特殊关系,具有重要作用。使用这种分析的第一步是定位一些重要的标志,称为头影测量标志的颅面X线图像。在过去的十年中,人们对自动化这一过程的兴趣越来越大。本文提出了一种新的头影测量标志点自动检测的混合方法。在这里,根据其解剖特征和众所周知的头影测量分析中的用途,将标志分为三个主要集合。因此,有一个可靠的和准确的检测系统,三种方法,即边缘跟踪,加权模板匹配,基于分析的估计,这三种方法是一致的,很好地适用于一个类别。边缘跟踪方法被建议用于预测那些位于边缘上的界标。加权模板匹配方法非常适合于定位在一个明显的和特定的结构,可以提取或搜索在给定的X射线图像的标志。最后但并非最不重要的方法被称为基于分析的估计。这种方法是基于这样一个事实,即在头影测量分析中使用的标志之间的关系和一些标志的位置从来没有单独使用。因此,第三种建议的方法在直接估计期望关系方面具有新颖性。所提出的方法的有效性进行了比较与国家的最先进的方法和结果是有前途的,特别是在现实世界中的应用。
2015-06-12 cs.CV
Robust Landmark Detection for Alignment of Mouse Brain Section Images
UCSD(加州大学圣地亚哥分校);Salk Institute for Biological Studies(索尔克生物研究所)
全脑切片的场成像和荧光成像是小鼠脑研究的基本工具。随着切片和成像变得更加有效,越来越需要自动化切片的后处理以用于对准和三维可视化。还需要促进数字地图集的开发,即用细胞类型和神经束追踪数据注释的全脑地图,这将允许将图像堆栈自动配准到公共坐标系。目前,切片的配准需要人工识别界标。在这项工作中,我们描述了第一步,在开发一个半自动化的系统,以构建一个组织学在las的小鼠脑干,结合图集引导的注释,地标为基础的注册和图集生成的迭代框架。我们描述了一种基于建模纹理的非监督方法,用于识别和匹配区域和边界标志。实验结果表明,检测出的特征点与大脑结构有较好的对应关系,并且在畸变情况下具有较好的鲁棒性.这些结果将作为登记和建立地图集的基础。
2018-03-09 cs.CV
Deep Learning-based Biological Anatomical Landmark Detection in Colonoscopy Videos
Southern University of Science and Technology(南方科技大学);The Chinese University of Hong Kong(香港中文大学);Air Force Medical Center, PLA(中国人民解放军空军特色医学中心)
结肠镜检查是用于可视化患者的整个胃肠道(GI)以捕获病变区域的标准成像工具。然而,临床医生需要花费过多的时间来查看从结肠镜检查视频中提取的大量图像。因此,高度要求自动检测结肠内的生物解剖标志,这可以通过提供针对病变区域的位置的引导信息来帮助减轻临床医生的负担。在这篇文章中,我们提出了一种新的基于深度学习的方法来检测结肠镜检查视频中的生物解剖标志。首先,对原始结肠镜检查视频序列进行预处理以拒绝干扰帧。其次,使用基于ResNet-101的网络分别检测三个生物解剖标志,以获得中间检测结果。第三,为了在整个视频周期内实现更可靠的地标周期定位,我们建议通过基于其时间分布识别错误预测的帧并将其重新分配回正确的类来对中间检测结果进行后处理。最后,平均检测准确率达到99.75%.与此同时,0.91的平均IoU显示了我们预测的里程碑时期与地面事实之间的高度相似性。实验结果表明,我们提出的模型是能够准确地检测和定位生物解剖标志从结肠镜视频。
2021-08-06 cs.CV
DSL-FIQA: Assessing Facial Image Quality via Dual-Set Degradation Learning and Landmark-Guided Transformer
National Taiwan University(台湾大学);Snap Inc.(Snap公司)
本文提出DSL-FIQA,结合双集合退化表征学习与人脸关键点引导Transformer,并构建平衡多样的CGFIQA-40k数据集,显著提升通用人脸图像质量评估性能。
2024-06-13 cs.AI cs.CV eess.IV
Occlusion Coherence: Detecting and Localizing Occluded Faces
University of California at Irvine(加州大学尔湾分校)
遮挡物的存在显著影响对象识别的准确性。然而,遮挡通常被视为非结构化的噪声源,并且遮挡物的显式模型已经落后于对象外观和形状的模型。在本文中,我们描述了一个层次的可变形部分模型的人脸检测和地标定位,明确模型的一部分遮挡。所提出的模型结构使得有可能用大量的合成遮挡实例来增强正训练数据。这使我们能够轻松地将遮挡模式的统计数据纳入到有区别的训练模型中。我们在几个基准上测试了该模型,用于地标定位和检测,包括具有显著遮挡特征的具有挑战性的新数据集。我们发现,除了一个明确的遮挡模型产生一个检测系统,优于现有的方法,遮挡的情况下,同时保持竞争力的准确性检测和地标定位未遮挡的情况下。
2016-08-25 cs.CV
Towards Fine-grained Image Classification with Generative Adversarial Networks and Facial Landmark Detection
University of Mohaghegh Ardabili(莫哈格·阿尔达比勒大学)
细粒度分类仍然是一项具有挑战性的任务,因为区分类别需要学习复杂性和局部差异。图像中对象的姿态、比例和位置的多样性使得问题变得更加困难。虽然最新的视觉Transformer型号实现了高性能,但它们需要大量的输入数据。为了解决这个问题,我们充分利用了基于GAN的数据增强来生成额外的数据集实例。Oxford-IIIT Pets是我们选择用于该实验的数据集。它由37种猫和狗组成,在规模,姿势和照明方面存在差异,这加剧了分类任务的难度。此外,我们增强了最近的生成对抗网络(GAN)StyleGAN 2-ADA模型的性能,以生成更逼真的图像,同时防止过度拟合训练集。我们通过训练定制版本的MobileNetV 2来预测动物面部标志,然后相应地裁剪图像。最后,我们将合成图像与原始数据集相结合,并将我们提出的方法与标准GANs增强和没有增强的训练数据的不同子集进行了比较。我们通过评估最近的视觉Transformer(ViT)模型上的细粒度图像分类的准确性来验证我们的工作。
2021-08-28 cs.CV
Less is More: Generating Grounded Navigation Instructions from Landmarks
Google Research(谷歌研究院)
我们研究了从室内路线上捕获的360度图像自动生成导航指令。现有的生成器存在视觉基础差的问题,导致它们依赖于语言先验和幻觉对象。我们的MARKY-MT5系统通过专注于视觉地标来解决这个问题;它包括第一阶段地标检测器和第二阶段生成器-多模式,多语言,多任务编码器-解码器。为了训练它,我们在房间交叉房间(RxR)数据集的顶部引导接地地标注释。使用文本解析器,来自RxR姿势跟踪的弱监督,以及在1.8b图像上训练的多语言图像-文本编码器,我们识别了971 k英语,印地语和泰卢固语地标描述,并将其接地到RxR中的特定区域。在Room-to-Room上,人类寻路者按照MARKY-MT5的指令获得了71%的成功率(SR),略低于他们按照人类指令获得的75%的SR-并且远远高于其他生成器的SR。对RxR的较长、不同路径的评估在三种语言上获得了61-64%的SR。在新的环境中生成这种高质量的导航指令是向会话导航工具迈出的一步,可以促进对遵循指令的代理的大规模培训。
2022-04-04 cs.CL cs.CV
POLARIS: Training-Free Audio Fingerprinting with Saliency-Based Landmarks and Delaunay Grouping
Vanderbilt University(范德堡大学)
POLARIS是一种免训练的音频指纹系统,利用显著性地标和Delaunay分组生成稀疏指纹,通过自适应两跳邻域扩展应对失真,在合成和真实重录基准上优于现有免训练方法及神经基线。
2026-09-17 cs.CV cs.SD eess.AS
Self-Supervised Discovery of Anatomical Shape Landmarks
Scientific Computing and Imaging Institute, University of Utah(犹他大学科学计算与成像研究所);School of Computing, University of Utah(犹他大学计算学院)
统计形状分析在广泛的医学和生物学应用中是非常有用的工具。然而,它通常依赖于产生相对少量的特征的能力,这些特征可以捕获群体中的相关变异性。用于获得这样的解剖特征的现有技术方法依赖于广泛的预处理或分割和/或显著的调谐和后处理。这些缺点限制了形状统计的广泛应用。我们建议,有效的形状表示应该提供足够的信息来对齐/注册图像。利用这一假设,我们提出了一个自我监督,神经网络方法自动定位和检测图像中的地标,可用于后续分析。该网络发现对应于解剖形状特征的界标,这些特征在特定类别的变换的背景下促进良好的图像配准。此外,我们还对所提出的网络提出了一种正则化方法,可以使这些发现的地标均匀分布。在本文中,我们提出了一个完整的框架,它只需要一组输入图像,并产生可立即用于统计形状分析的地标。我们评估的性能幻影数据集以及2D和3D图像。
2020-06-13 cs.CV cs.LG
GoDP: Globally optimized dual pathway system for facial landmark localization in-the-wild
University of Houston(休斯顿大学)
人脸特征点定位是姿态不变人脸识别的一个基本模块。最常用的人脸标志点检测方法是级联回归,它由两个步骤组成:特征提取和人脸形状回归。最近的方法使用深度卷积网络来提取每个步骤的鲁棒特征,而整个系统可以被视为深度级联回归架构。在这项工作中,不是采用深度回归网络,而是提出了一种全局优化的双路径(GoDP)深度架构,通过解决级联像素标记问题来识别目标像素,而无需诉诸高级推理模型或复杂的堆栈架构。所提出的端到端系统依赖于距离感知的softmax函数和双通道提案细化架构。结果表明,它优于国家的最先进的级联回归为基础的方法在多个野外人脸对齐数据库。该模型在AFLW数据库上实现了1.84的归一化平均误差(NME),比3DDFA高61.8%。人脸识别实验表明,GoDP,加上DPM-headhunter,能够提高44.2%的rank-1识别率相比,Dlib工具箱在一个具有挑战性的数据库。
2017-12-19 cs.CV
POPoS: Improving Efficient and Robust Facial Landmark Detection with Parallel Optimal Position Search
Alibaba(阿里巴巴)
本文提出并行最优位置搜索框架POPoS,通过伪距多边测量校正热图误差、多边测量锚点损失优化距离图及单步并行计算算法,在五个基准数据集上实现了高精度、高效率且鲁棒的人脸关键点检测,尤其在低分辨率热图场景下表现优异。
2024-12-20 cs.CV
Hybrid Approach for 3D Head Reconstruction: Using Neural Networks and Visual Geometry
MCQ-Scan;IMT Lille Douai(IMT里尔-杜埃国立高等工程师学校);Univ. Lille(里尔大学);CNRS UMR 9189 CRIStAL(法国国家科研中心UMR 9189 CRIStAL)
从单幅输入图像中恢复人脸的三维几何结构是计算机视觉中一个具有挑战性的研究领域。在本文中,我们提出了一种使用基于深度学习和几何技术的混合方法从单个或多个图像重建3D头部的新方法。我们提出了一个编码器-解码器网络的基础上的U-网架构和训练的合成数据。它可以从一张输入照片中预测像素法向量和地标图。地标用于姿态计算和优化问题的初始化,这反过来又通过使用参数变形模型和法向量场来重建3D头部几何形状。通过对单视图和多视图设置的定性和定量评估测试,实现了最先进的结果。尽管该模型仅在合成数据上训练,但它成功地恢复了真实世界图像的3D几何形状和精确姿态。
2021-04-28 cs.CV
A high fidelity synthetic face framework for computer vision
Microsoft(微软)
人脸分析是计算机视觉的核心应用之一,其任务范围包括地标对齐、头部姿态估计、表情识别和人脸识别等。然而,构建可靠的方法需要耗时的数据汇集,并且通常需要更耗时的手动注释,这可能是不可靠的。在我们的工作中,我们提出合成这样的面部数据,包括地面实况注释,这几乎是不可能通过手动注释获得的一致性和规模可能通过使用合成数据。我们使用参数化的人脸模型和手工制作的资产,使我们能够生成具有前所未有的质量和多样性(不同的形状,纹理,表情,姿势,灯光和头发)的训练数据。
2020-07-16 cs.CV cs.LG
MAISI: Medical AI for Synthetic Imaging
NVIDIA(英伟达公司);National Institutes of Health(国家卫生研究院);University of Arkansas for Medical Sciences(亚利桑那医学科学大学)
MAISI通过扩散模型生成合成CT图像,解决医学影像分析中的数据稀缺和隐私问题,支持灵活的体积维度和体素间距,可应用于多种下游任务。
2025-12-12 cs.AI cs.CV eess.IV
2D Versus 3D Diffusion for In Silico Training of Interventional X-ray AI Models
Johns Hopkins University(约翰霍普金斯大学)
本文比较了基于3D条件潜在扩散模型生成CT体数据用于DRR合成与基于视图条件的2D扩散模型直接生成合成X射线两种方法,发现2D扩散生成的合成X射线可用于训练解剖标志检测模型,性能接近真实数据训练模型。
2026-06-23 cs.AI cs.CV eess.IV
Faster Than Real-time Facial Alignment: A 3D Spatial Transformer Network Approach in Unconstrained Poses
Carnegie Mellon University(卡内基梅隆大学)
面部对齐涉及在图像上找到一组具有已知语义含义的标志点。然而,在2D方法中,地标点的这种语义含义常常丢失,在2D方法中,地标要么被移动到可见边界,要么随着面部的姿态改变而被忽略。为了在大姿态上提取一致的对准点,在对准步骤中必须考虑面部的3D结构。然而,从单个2D图像中提取3D结构通常首先需要对准。我们提出了一种新的方法,同时提取三维形状的脸和语义一致的二维对齐通过三维空间Transformer网络(3DSTOM)建模的相机投影矩阵和扭曲参数的三维模型。通过利用通用3D模型和薄板样条(TPS)翘曲函数,我们能够生成受试者特定的3D形状,而不需要大的3D形状基础。此外,我们提出的网络可以在端到端框架中对来自300 W-LP数据集的完全合成数据进行训练。与其他3D方法不同,我们的方法只需要一次通过网络,从而比实时的【形】对齐更快。我们的模型在野外注释面部标志(AFLW)和AFLW 2000 -3D数据集上的评估表明,我们的方法比其他3D对齐方法具有最先进的性能。
2017-09-08 cs.CV
RDFace: A Benchmark Dataset for Rare Disease Facial Image Analysis under Extreme Data Scarcity and Phenotype-Aware Synthetic Generation
Western University(西安大略大学);Concordia University(康考迪亚大学);University of Toronto(多伦多大学);University of Winnipeg(温尼伯大学)
RDFace包含456张儿童面部图像,涵盖103种罕见遗传疾病,旨在开发和评估在低数据条件下高效的人工智能模型,通过合成生成和数据增强提升诊断准确率。
2026-04-03 cs.AI cs.CV
covEcho Resource constrained lung ultrasound image analysis tool for faster triaging and active learning
Indian Institute of Technology Palakkad(印度理工学院帕拉卡德分校);Hospital Universitario Puerta de Hierro(普埃尔塔·德·耶罗大学医院);Sree Chitra Tirunal Institute for Medical Sciences & Technology(斯里·奇特拉·蒂鲁纳尔医学科学与技术研究所);Government Medical College Thiruvananthapuram(特里凡得琅政府医学院)
肺部超声(LUS)可能是唯一的医学成像模式,可用于连续和定期监测肺部。这对于追踪肺部感染发作期间的肺部表现或追踪疫苗接种对肺部的影响(如COVID-19等大流行病)非常有用。在将肺的严重程度自动分类为各种类别或自动分割各种LUS标志和表现方面已经有许多尝试。然而,所有这些方法都是基于训练静态机器学习模型,这些模型需要大量的临床注释的大型数据集,并且计算量很大,而且大多数时候是非实时的。在这项工作中,提出了一种基于实时轻量级主动学习的方法,用于在资源受限的情况下更快地对COVID-19受试者进行分诊。该工具基于"你只看一次“(YOLO)网络,能够根据对各种LUS标志、伪影和表现的识别、肺部感染严重程度的预测,基于临床医生的反馈或图像质量以及具有高感染严重度和高图像质量的重要帧的总结的主动学习的可能性做进一步分析结果表明,该工具具有平均平均精度(mAP)为66%的交集超过联盟(IoU)阈值为0.5的LUS地标的预测。14 MB轻量级YOLOv 5s网络在Quadro P4000 GPU中运行时可达到123 FPS。该工具可应作者的要求提供使用和分析。
2022-06-21 cs.CV eess.IV
OmniFit: Multi-modal 3D Body Fitting via Scale-agnostic Dense Landmark Prediction
Nanjing University(南京大学);Westlake University(西湖大学);iROOTECH;Nanjing University of Science and Technology(南京理工大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州))
OmniFit通过尺度无关的密集地标预测,实现对多模态输入(如完整扫描、部分深度观测和图像)的无缝处理,首次在日常和宽松服装场景中超越多视图优化基线,达到毫米级精度。
2026-04-23 cs.CV cs.GR
nnLandmark: A Self-Configuring Method for 3D Medical Landmark Detection
German Cancer Research Center (DKFZ) Heidelberg, Division of Medical Image Computing(德国癌症研究中心(DKFZ)海德堡,医学影像计算部);Medical Faculty Heidelberg, Heidelberg University(海德堡大学医学系);Pattern Analysis and Learning Group, Department of Radiation Oncology, Heidelberg University Hospital(放射肿瘤学部模式分析与学习组,海德堡大学医院);Faculty of Mathematics and Computer Science, Heidelberg University(海德堡大学数学与计算机科学学院);German Cancer Consortium (DKTK), DKFZ, core center Heidelberg(德国癌症联盟(DKTK),DKFZ,海德堡核心中心);School of Biomedical Engineering, Shenzhen University Medical School, Shenzhen University, Shenzhen, Guangdong, China(深圳大学医学院生物医学工程学院,深圳大学,深圳,广东,中国);Helmholtz Imaging, DKFZ, Heidelberg(海德堡成像,DKFZ,海德堡)
nnLandmark是一种用于3D医学标记检测的自配置方法,通过结合定制化热图生成、损失设计和超参数优化,实现了在多个数据集上的高性能表现,提供标准化环境和开箱即用的易用性,推动方法论进展。
2026-02-23 cs.CV